일정 변경으로 달라지는 예약 조건
병원마케팅 실험 중 진료 일정이 바뀌면 결과를 그대로 쓰지 않고, 두 쪽이 같은 조건이었는지에 따라 표시만 하기, 기간 나누기, 다시 실험하기 가운데 하나로 처리합니다. 광고 문구나 글의 모양을 바꾸어 두 가지를 견주는 실험을 하는 중에, 병원의 진료 일정이 바뀌는 일이 있습니다. 의료진 한 명이 휴가를 가거나 토요일 진료를 줄이거나 새 진료 시간이 열리는 경우입니다.
일정이 바뀌면 이용자가 예약할 수 있는 날짜와 시간도 바뀝니다. 실험 결과에서 예약이 줄었다면 바꾼 문구 때문인지, 예약할 수 있는 시간이 줄었기 때문인지 갈라지지 않습니다. 이 상태로 결과를 그대로 쓰면 문구에 대한 판단이 틀어질 수 있습니다.
그래서 실험 중 일정이 바뀌었다면 결과를 쓰기 전에 그 변화가 얼마나 영향을 주었는지 확인하고, 세 가지 가운데 하나로 처리합니다.
이 글은 광고나 글의 실험 결과를 읽고 쓰는 병원 쪽 사람을 두고 씁니다. 실험을 어떻게 설계하는지는 다루지 않고, 실험 중에 병원 사정이 바뀌었을 때 결과를 어떻게 다루는지를 다룹니다.
진료 일정은 병원 사정에 따라 바뀌는 것이 자연스럽습니다. 실험을 위해 일정을 묶을 수는 없으므로, 바뀐 것을 결과를 읽는 방법에 반영합니다.
실험 기간이 길어질수록 그사이에 일정이 바뀔 날도 함께 늘어납니다. 그래서 실험을 시작하는 날에 이 검증을 함께 계획합니다.
표시만 하기·기간 나누기·다시 실험하기
| 처리 | 언제 쓰는가 | 결과는 어떻게 되는가 |
|---|---|---|
| 표시만 하기 | 바뀐 일정이 짧고, 실험하는 두 쪽에 똑같이 영향을 준 경우 | 결과를 쓰되 바뀐 날짜를 함께 밝힙니다. |
| 기간 나누기 | 일정이 바뀐 날이 분명하고, 앞뒤 기간이 각각 충분히 긴 경우 | 바뀌기 전 기간만 결과로 씁니다. |
| 다시 실험하기 | 바뀐 일정이 길거나 한쪽에만 영향을 준 경우 | 이번 결과는 쓰지 않고 새로 시작합니다. |
둘째 열의 한쪽에만 영향을 준 경우란, 예를 들어 한 광고는 주중에만 나가고 다른 광고는 주말에만 나가는데 주말 진료가 줄어든 경우입니다. 이때는 두 쪽의 조건이 달라졌으므로 결과를 견줄 수 없습니다.
셋째 줄로 정하는 것은 실패가 아닙니다. 조건이 달라진 결과로 판단하지 않았다는 것 자체가 실험을 제대로 다룬 결과입니다.
세 가지 가운데 무엇으로 할지는 실험을 맡은 사람과 결과를 받는 사람이 함께 정합니다. 한쪽이 혼자 정하면 결과를 받은 쪽이 그 처리를 받아들이기 어렵습니다.
두 쪽이 같은 조건이었는지라는 기준
실험은 바꾼 것 하나만 다르고 나머지는 같다는 전제로 결과를 읽습니다. 일정 변화가 두 쪽에 똑같이 걸렸다면 그 전제는 지켜진 것이고, 한쪽에만 걸렸다면 깨진 것입니다.
전제가 지켜졌는지 판단이 서지 않는다면 표시만 하고 쓰지 않습니다. 다시 실험하는 쪽으로 정하는 편이, 틀린 결과로 문구를 바꾸는 것보다 낫습니다.
두 쪽에 똑같이 걸렸는지는 두 쪽이 나간 날짜와 시간을 일정 변경과 맞대어 확인합니다. 짐작으로 정하지 않습니다.
판단은 결과를 읽기 전에 합니다. 결과를 먼저 읽으면 원하는 결과가 나온 쪽으로 처리를 정하고 싶어집니다.
결과를 쓰기 전에 밟는 순서
- 실험 기간 동안 진료 일정이 바뀐 날이 있었는지 검토합니다.
- 바뀐 날과 바뀐 내용을 기록에 옮깁니다.
- 그 변화가 실험하는 두 쪽 가운데 어디에 영향을 주었는지 확인합니다.
- 바뀐 날의 앞뒤 기간이 각각 얼마나 되는지 셉니다.
- 세 가지 처리 가운데 어디에 해당하는지 정합니다.
- 정한 처리와 그 까닭을 한 줄로 씁니다.
- 결과 보고서 맨 위에 그 줄을 싣습니다.
- 다시 실험하기로 했다면 일정이 안정된 뒤의 시작 날짜를 정합니다.
첫째 단계는 실험을 마친 뒤가 아니라 실험하는 동안 주마다 확인합니다. 마친 뒤에 알게 되면 기간을 나누거나 다시 실험할 날을 놓칩니다.
셋째 단계에서 영향을 검토할 때는 실험하는 두 쪽이 나간 요일과 시간대를 바뀐 일정과 한 줄씩 맞댑니다. 한쪽만 겹친다면 그쪽만 영향을 받은 것입니다.
넷째 단계에서 센 앞뒤 기간은 둘째 처리를 쓸 수 있는지를 가르는 근거가 됩니다. 바뀌기 전 기간이 짧다면 기간을 나누어도 쓸 결과가 남지 않습니다.
일곱째 단계의 줄은 결과보다 위에 싣습니다. 보고서를 읽는 사람이 결과를 읽기 전에 어떤 조건에서 나온 결과인지 먼저 알게 하려는 것입니다.
여덟째 단계의 시작 날짜는 일정을 정하는 쪽에 확인한 뒤 정합니다. 곧 또 바뀔 일정이 있다면 그 뒤로 미룹니다.
실험 기록에 남기는 칸
| 칸 | 쓰임 |
|---|---|
| 실험 기간과 바꾼 것 | 무엇을 견주었는지 남깁니다. |
| 일정이 바뀐 날과 내용 | 결과를 읽을 때 함께 검토합니다. |
| 영향을 받은 쪽 | 두 쪽 모두인지 한쪽인지 남깁니다. |
| 정한 처리와 까닭 | 결과를 어떻게 썼는지 남깁니다. |
둘째 칸은 진료 일정을 정하는 쪽에서 알려 주어야 채울 수 있습니다. 실험을 시작할 때 일정이 바뀌면 바로 알려 달라고 미리 부탁합니다.
넷째 칸의 까닭은 두 쪽에 똑같이 걸렸는지, 기간이 충분했는지처럼 표의 기준으로 씁니다. 기준의 말로 쓰여 있어야 뒤에 다른 사람이 읽어도 같은 판단에 이릅니다.
네 칸은 실험을 시작하는 날 만들고, 실험하는 동안 이어 채웁니다. 끝난 뒤에 한꺼번에 채우면 일정이 바뀐 날이 빠지기 쉽습니다.
예약 안내 문구 실험 중 일정이 바뀐 가상 의원
아래는 설명을 위해 만든 가상의 사례입니다. 실제 병원의 자료가 아닙니다.
가상의 이비인후과 H의원은 예약 안내 문구 두 가지를 네 주 동안 번갈아 내보내는 실험을 했습니다. 셋째 주에 의료진 한 명이 갑자기 휴가를 가면서 그 주의 오후 진료가 줄었습니다.
담당자는 결과를 쓰기 전에 기록을 확인했습니다. 두 문구는 같은 날 번갈아 나갔으므로 오후 진료가 줄어든 영향은 두 쪽에 똑같이 걸렸습니다.
H의원은 표시만 하는 처리로 정했습니다. 네 주의 결과를 쓰되, 보고서 맨 위에 셋째 주 오후 진료가 줄었다는 줄을 넣었습니다. 결과를 열어 보니 셋째 주는 두 쪽 모두 예약이 적었지만, 두 문구의 차이는 셋째 주를 빼고 셈해도 같은 쪽으로 나왔습니다.
처리를 정한 것은 결과를 읽기 전이었습니다. 담당자는 결과를 받을 원장과 함께 일정 기록과 두 문구가 나간 날짜를 맞대어 처리를 정한 뒤, 그다음에 결과를 열었습니다.
셋째 주의 오후 진료가 줄어든 기간은 닷새였습니다. 네 주 가운데 짧은 기간이었고, 두 문구에 똑같이 걸렸으므로 표의 첫째 줄에 해당했습니다.
일정 변경을 실험 담당에게 알리는 경로
담당자가 일정 변경을 안 것은 셋째 주가 끝난 뒤였습니다. H의원은 다음 실험부터 진료 일정이 바뀌면 실험 담당에게도 같은 날 알리는 순서를 정했습니다.
실험 기록에는 이번 처리와 까닭을 한 줄로 남겼습니다. 다음 실험에서 비슷한 일이 생기면 그 줄을 먼저 읽습니다.
일정을 정하는 쪽에서는 알리는 일이 하나 늘었지만, 한 줄 문자로 충분했습니다. 바뀐 날과 바뀐 시간만 보내면 됩니다.
보고서를 받은 원장은 셋째 주의 줄을 먼저 읽고 결과를 읽었습니다. 두 문구 가운데 한쪽으로 바꾸는 일은 그다음 주에 정해졌습니다.
다음 실험을 시작할 때는 그 달의 진료 일정부터 먼저 확인했습니다.
실험과 진료 일정 변경 자주 묻는 질문
Q1. 일정 변경을 실험이 끝난 뒤에야 알았다면 어떻게 합니까?
A1. 그대로 세 가지 처리 가운데 하나를 정하되, 늦게 알았다는 사실과 그 까닭을 보고서 맨 위의 줄에 함께 남깁니다. 늦게 안 일이 되풀이되는지는 실험 기록을 모아 점검합니다.
Q2. 두 실험을 함께 하는 중에 일정이 바뀌면 어떻게 합니까?
A2. 실험마다 따로 세 가지 처리 가운데 하나를 정합니다. 한 실험에는 두 쪽에 똑같이 걸렸어도 다른 실험에는 한쪽에만 걸렸을 수 있으므로, 실험마다 나간 요일과 시간대를 따로 맞대어 확인합니다.
Q3. 다시 실험하면 앞의 결과는 버리나요?
A3. 앞의 결과는 판단에 쓰지 않을 뿐 지우지는 않습니다. 새 실험의 결과가 나오면 두 결과가 같은 쪽을 가리키는지 나란히 놓고 검증하는 자료가 됩니다.
Q4. 일정 변경 말고 다른 일도 영향을 주지 않나요?
A4. 줍니다. 공휴일이나 날씨처럼 두 쪽에 함께 걸리는 일은 표시만 하고, 한쪽에만 걸리는 일은 일정 변경과 같은 방법으로 판단합니다.
Q5. 업체가 실험을 맡고 있으면 누가 판단하나요?
A5. 일정 변경은 병원이 알고 있는 일이므로 병원이 업체에 알리고 함께 판단합니다. 알리지 않으면 업체는 변화를 모른 채 결과를 보고합니다.
다르게 다루는 경우
실험하는 것이 예약과 관계없는 반응, 예를 들어 글을 끝까지 읽은 비율이라면 진료 일정 변화의 영향은 작습니다. 이때는 표시만 하는 처리로 충분할 수 있습니다.
병원이 새 진료 시간을 연 경우처럼 일정이 늘어난 경우도 같은 방법으로 판단합니다. 늘어난 쪽도 조건이 바뀐 것이기 때문입니다.
일정이 자주 바뀌는 시기, 예를 들어 연말이나 휴가철에는 실험을 시작하지 않는 것도 방법입니다. 시작하기 전에 그 기간의 일정을 먼저 확인합니다.
실험 기간 전체에 걸쳐 일정이 같은 방식으로 바뀌어 있었다면, 예를 들어 실험 시작 전부터 토요일 진료가 줄어 있었다면 그것은 변화가 아니라 조건입니다. 이때는 결과를 그대로 쓰고 그 조건을 함께 밝힙니다.
실험 기간이 아주 짧아 일정 변화가 기간의 절반 넘게 차지한다면, 처리를 따지기 전에 실험 자체를 다시 정합니다.
실험 기록에 쌓는 처리 기준
실험마다 정한 처리와 까닭을 이어 남기면, 어떤 일정 변화가 어떤 처리로 이어졌는지 병원 안의 기준이 생깁니다.
석 달에 한 번 실험 기록을 모아 다시 실험한 경우가 얼마나 되는지 확인합니다. 다시 실험이 잦다면 실험 기간을 정할 때 일정 검증을 더 앞으로 옮깁니다.
일정 변경을 실험 담당에게 알리는 순서가 지켜졌는지도 함께 확인합니다. 변경을 늦게 안 실험이 이어진다면 알리는 길부터 고칩니다.
다시 실험하기로 한 경우에는 새 실험의 시작 날짜와 함께 앞 실험이 왜 멈췄는지를 새 기록의 첫 줄에 남깁니다.
기록을 점검한 날도 실험 기록의 맨 위에 한 줄로 남겨, 다음 확인이 언제인지 알 수 있게 합니다.