상승 원인의 구분과 같은 분류 기간끼리의 비교
상담 목적을 필수로 묻기 시작한 뒤 적합 문의 비율이 올랐다면 곧바로 홍보 성과로 읽지 말고, 오른 이유를 세 가지로 나눠 같은 방식으로 분류된 기간끼리 비교합니다. 병원이 온라인 문의 양식에 상담 목적을 필수로 선택하게 하면, 그 뒤로 병원 진료에 맞는 문의의 비율이 높아진 것처럼 보이는 일이 있습니다. 이 변화를 곧바로 홍보가 좋아져 적합한 사람이 더 많이 문의했다고 읽으면 잘못 판단할 수 있습니다. 문항을 바꾸면 같은 문의라도 세어지는 방식이 달라지기 때문입니다.
비율이 오른 이유는 적어도 세 가지로 나눠 생각합니다. 첫째는 실제로 문의하는 사람의 구성이 바뀐 경우입니다. 둘째는 예전에는 목적을 알 수 없어 미상으로 남던 문의가, 필수 질문 덕분에 적합으로 분류되기 시작한 경우입니다. 셋째는 필수 질문이 문턱이 되어, 목적이 분명하지 않은 사람이 문의를 포기한 경우입니다. 둘째와 셋째는 문의하는 사람이 달라지지 않았거나, 오히려 문의가 줄었는데도 비율만 오른 것입니다.
그래서 비교는 같은 방식으로 분류된 기간끼리 합니다. 문항을 바꾼 날 이전은 적합, 부적합, 미상의 세 칸으로 나눠 세고, 이후는 미상이 거의 없는 두 칸으로 셉니다. 두 기간의 적합 비율을 곧바로 나란히 놓지 않고, 이전 기간의 미상이 얼마나 컸는지부터 확인합니다. 미상이 컸다면 비율이 오른 까닭의 많은 부분은 둘째 이유일 수 있습니다.
셋째 이유는 문의 건수로 확인합니다. 온라인 양식의 문의만 줄고 전화 문의는 그대로라면, 필수 질문이 온라인 양식에서 문턱이 됐을 가능성이 더 커집니다. 비율은 올랐는데 전체 문의 건수가 함께 줄었다면, 필수 질문이 일부 문의를 막았을 수 있습니다.
이렇게 나누는 이유는 다음 결정을 바르게 하기 위해서입니다. 비율 상승을 모두 홍보의 성과로 읽으면 효과가 없던 광고에 예산을 더 쓰게 될 수 있고, 문턱 때문에 문의가 줄어든 것을 놓치면 병원을 찾으려던 사람을 계속 잃게 됩니다. 문항을 바꾼 것 자체는 좋은 결정일 수 있지만, 그 효과와 홍보의 효과는 따로 설명해야 합니다.
적합 비율이 오른 세 가지 이유
| 이유 | 확인하는 방법 | 해석 |
|---|---|---|
| 실제 문의 구성의 변화 | 문항 변경 뒤 기간끼리 적합 비율이 계속 오르는지 | 홍보나 안내의 변화가 반영됐을 수 있음 |
| 미상 문의의 새 분류 | 변경 전 기간에 미상으로 남은 문의의 비중 | 문의는 그대로인데 분류 방식이 바뀐 효과 |
| 필수 질문이 만든 문턱 | 변경 전후의 전체 문의 건수 | 일부 문의가 들어오지 않아 비율만 오른 효과 |
세 줄은 한꺼번에 일어날 수 있습니다. 첫째 줄만 홍보의 성과로 읽고, 둘째와 셋째 줄은 문항을 바꾼 데서 생긴 효과로 따로 설명합니다. 셋째 줄에 해당한다면 필수 질문의 문구나 선택지를 다시 검토합니다.
원인을 나눠 확인하는 순서
- 홍보 담당이 문항을 바꾼 날짜를 확인하고, 그 날을 기준으로 기간을 나눕니다. 같은 무렵 광고나 홈페이지에 바뀐 것이 있었는지도 함께 확인합니다.
- 상담 담당에게 변경 전 기간의 문의를 적합, 부적합, 미상의 세 칸으로 세어 달라고 요청합니다.
- 변경 전후의 전체 문의 건수를 나란히 놓고, 문의가 줄었는지 확인합니다.
- 앞의 표 세 줄에 따라 비율이 오른 이유를 나눕니다. 한 가지 이유로 모두 설명되지 않으면 여러 줄을 함께 표시합니다.
- 아래 재비교 방식표에 따라 같은 방식으로 분류된 기간끼리 다시 비교합니다.
- 보고서에는 문항을 바꾼 날짜와 세 가지 이유를 함께 밝히고, 첫째 줄에 해당하는 변화만 홍보 성과로 설명합니다.
둘째 단계에서 변경 전 문의를 다시 셀 때는, 문의 내용을 읽어 목적을 알 수 있는 것은 적합이나 부적합으로 나누고, 읽어도 알 수 없는 것만 미상으로 남깁니다. 이렇게 다시 센 숫자가 있어야 변경 전후를 조금 더 가깝게 대조할 수 있습니다. 다시 세는 기준은 변경 뒤 선택지와 같게 맞추고, 누가 언제 다시 셌는지를 함께 남깁니다.
다섯째 단계에서 변경 직후 몇 주는 따로 표시합니다. 이용자가 새 문항에 익숙해지는 동안 선택이 흔들릴 수 있고, 상담 담당도 새 분류에 맞춰 세는 방법을 익히는 기간이기 때문입니다. 적응 기간의 길이는 병원이 정하고, 정한 기간을 보고서에 밝힙니다.
같은 방식으로 분류된 기간끼리의 비교법
| 기간 | 세는 방법 | 비교에서의 쓰임 |
|---|---|---|
| 문항 변경 전 | 적합, 부적합, 미상의 세 칸으로 셈 | 미상 비중을 확인하는 기준 |
| 변경 직후 적응 기간 | 새 문항대로 세되 따로 표시 | 비교에서 빼고 참고로만 씀 |
| 변경 뒤 안정 기간 | 새 문항대로 두 칸으로 셈 | 이 기간끼리만 적합 비율을 비교 |
세 줄 가운데 셋째 줄의 기간끼리 비교한 결과가 첫째 이유, 곧 실제 문의 구성의 변화를 보여 줍니다. 첫째 줄의 기간과 셋째 줄의 기간을 곧바로 비교한 숫자는 분류 방식의 차이가 섞여 있으므로 성과 판단에 쓰지 않습니다. 다만 둘째 이유의 크기를 짐작하는 데는 첫째 줄 기간의 미상 비중을 씁니다.
적합 비율 상승을 다시 읽은 가상 피부과 사례
아래는 설명을 위해 만든 가상의 상황입니다. 한 피부과는 온라인 문의 양식에 상담 목적을 필수로 선택하는 칸을 넣었습니다. 다음 달 대행사 보고서에는 병원 진료에 맞는 문의의 비율이 크게 올랐다며, 이번 달 광고 문구를 바꾼 효과라는 설명이 실렸습니다.
홍보 담당은 먼저 문의 양식이 바뀐 날을 달력에서 찾아 비교의 기준일로 정했습니다. 상담 담당에게 변경 전 석 달의 문의를 세 칸으로 다시 세어 달라고 하자, 변경 전에는 목적을 알 수 없는 미상 문의가 적지 않았다는 것이 드러났습니다. 전체 문의 건수는 변경 뒤에 조금 줄어 있었습니다. 대행사가 광고 문구를 바꾼 날도 문항을 바꾼 날과 며칠 차이였다는 것을 달력에서 함께 확인했습니다.
홍보 담당은 원인표에 따라 세 줄을 모두 확인했습니다. 미상이 컸으므로 둘째 줄의 효과가 있었고, 문의 건수가 줄었으므로 셋째 줄의 효과도 있을 수 있었습니다. 첫째 줄의 효과는 변경 뒤 안정 기간끼리 비교해야 알 수 있었는데, 아직 그 기간이 한 달뿐이라 판단을 미뤘습니다. 광고 문구를 바꾼 날과 문항을 바꾼 날이 가까워, 안정 기간의 숫자가 모여도 두 변화를 완전히 나누기는 어렵다는 점도 함께 기록했습니다.
홍보 담당은 원장에게 올리는 요약에 문항을 바꾼 날짜와 세 가지 이유를 함께 밝히고, 광고 문구의 효과는 안정 기간의 숫자가 더 모인 뒤에 판단하겠다고 밝혔습니다. 필수 질문의 선택지가 너무 좁아 문의를 포기한 사람이 있었는지 확인하려고, 선택지에 기타 항목을 더하는 방안도 원장과 함께 검토하기로 했습니다. 기타 항목을 더할지는 안정 기간의 숫자와 함께 한 달 뒤 원장과 다시 정하기로 하고, 그 날짜를 달력에 표시했습니다.
문항 변경일과 다시 센 숫자의 인계
홍보 담당이 바뀌면 문항을 바꾼 날짜, 변경 전 기간을 세 칸으로 다시 센 숫자, 적응 기간으로 표시한 기간을 함께 넘깁니다. 새 담당자가 이 기록 없이 변경 전후의 비율을 곧바로 비교하면 같은 오해가 되풀이됩니다.
대행사가 바뀌는 경우에도 문항 변경일과 재비교 방식을 먼저 알립니다. 문의 양식을 다시 고치게 되면 고친 날짜를 새 기준일로 삼아 같은 순서를 다시 밟습니다. 상담 담당이 바뀌는 경우에는 세 칸으로 다시 세는 기준을 새 담당에게 알려, 같은 문의가 담당에 따라 다르게 분류되지 않게 합니다.
적합 문의 비율 자주 묻는 질문
Q1. 전화 문의에도 같은 필수 질문을 적용해야 합니까?
A1. 전화 문의에서도 상담 목적을 묻는다면, 온라인과 같은 선택지로 기록해야 두 경로를 함께 셀 수 있습니다. 온라인만 바꾸고 전화는 그대로라면, 두 경로를 나눠 보고합니다. 경로마다 문항을 바꾼 날짜가 다르다면 그 날짜도 각각 밝힙니다.
Q2. 필수 질문 때문에 문의가 줄었다면 문항을 되돌려야 합니까?
A2. 바로 되돌리지 않는 것이 기본입니다. 선택지를 넓히거나 설명 문구를 고친 뒤에는 고친 날을 새 기준일로 삼고, 그 뒤 전체 문의 건수가 돌아왔는지부터 확인합니다. 줄어든 문의가 어떤 문의였는지는 전화로 들어온 문의 가운데 양식을 쓰다 그만뒀다는 말이 있었는지로 확인합니다.
Q3. 미상을 없애려고 모든 문의를 적합과 부적합으로만 나누면 안 됩니까?
A3. 목적을 알 수 없는 문의를 억지로 나누면 분류가 흔들립니다. 담당마다 짐작하는 방향이 달라, 같은 문의가 담당에 따라 적합이 되기도 하고 부적합이 되기도 합니다. 알 수 없는 문의는 미상으로 남기고, 미상의 비중을 함께 보고하는 편이 정확합니다.
Q4. 대행사가 이미 광고 효과로 보고했다면 어떻게 합니까?
A4. 문항 변경의 효과가 섞여 있다는 점을 대행사에 알리고, 안정 기간끼리 비교한 숫자로 다시 보고해 달라고 요청합니다. 원장에게는 두 숫자가 다른 이유를 함께 설명합니다. 다시 받은 보고서는 처음 보고서와 함께 보관해, 숫자가 바뀐 이유를 나중에도 찾을 수 있게 합니다.
Q5. 선택지에 기타를 넣으면 다시 미상이 늘지 않습니까?
A5. 기타를 선택한 문의는 내용을 읽어 상담 담당이 다시 분류합니다. 기타가 많이 모이는 목적이 있다면 그 목적을 선택지에 더합니다. 선택지를 더한 날도 문항을 바꾼 날처럼 기록해, 그 앞뒤 기간을 곧바로 비교하지 않습니다.
예외와 뒤따르는 점검
문항을 바꾼 시기에 광고나 홈페이지도 함께 바꿨다면, 여러 변화가 한꺼번에 섞입니다. 이런 경우에는 무엇을 언제 바꿨는지를 달력에 모두 표시하고, 한 가지 이유로 설명하지 않습니다. 앞으로는 여러 변화를 같은 시기에 하지 않도록, 문항이나 광고를 바꾸기 전에 다른 변경 일정과 겹치지 않는지 먼저 확인합니다.
점검은 분기마다 합니다. 홍보 담당은 안정 기간끼리의 적합 비율, 미상과 기타의 비중, 전체 문의 건수를 나란히 놓고, 비율 변화가 어느 이유에서 왔는지 다시 확인합니다.