늘었다는 관측과 작업 효과 증명의 차이
GEO 보고서가 관측된 증가를 작업의 효과로 과장했다면, 경영진은 원인이 확인될 때까지 예산 증액, 업체 평가, 외부 사례 공개처럼 그 원인 주장에 기대는 결정을 보류해야 합니다. GEO 보고서에는 AI 검색 답변에서 병원이 언급된 횟수나 인용된 페이지가 늘었다는 내용이 담깁니다. 여기에 이 증가가 작업 덕분이라는 문장이 붙으면, 경영진은 예산을 늘리거나 업체를 높이 평가하거나 이를 사례로 알리고 싶어질 수 있습니다.
그런데 늘었다는 것은 관측이고, 작업 때문이라는 것은 원인에 대한 주장입니다. AI 검색 답변은 도구의 변경, 계절에 따른 검색 변화, 병원의 다른 홍보처럼 여러 까닭으로 달라질 수 있습니다. 보고서가 이런 다른 까닭을 따지지 않았다면, 원인 주장은 아직 파악되지 않은 것입니다.
그래서 경영진은 보고서의 주장을 증거 수준에 따라 나누어 읽습니다. 그리고 결정마다 필요한 증거 수준이 다르므로, 지금의 증거로 할 수 있는 결정과 보류할 결정을 가립니다. 이 글에서는 예산 확대, 업체 평가, 대외 사례 발표 세 결정을 다룹니다.
보고서 주장의 세 가지 증거 수준
보고서의 주장은 아래 셋 가운데 하나로 읽습니다.
| 증거 수준 | 보고서에 있는 것 | 말할 수 있는 것 |
|---|---|---|
| 관측 | 작업 전후 수치의 변화만 있음 | 늘었다는 사실 |
| 비교 | 작업하지 않은 페이지나 같은 기간 다른 지표와 견준 자료가 있음 | 작업한 쪽이 더 늘었다는 사실 |
| 원인 검토 | 비교에 더해 같은 기간의 다른 변화를 점검한 기록이 있음 | 작업이 증가에 기여했을 가능성이 높다는 판단 |
셋째 줄에서도 표현은 조심스럽게 합니다. 다른 변화를 모두 점검하기는 어려우므로, 점검한 범위를 함께 밝힙니다.
보고서가 첫째 줄의 자료만으로 셋째 줄의 말을 쓰고 있다면, 그것이 과장된 주장입니다. 이때 보고서를 버리지 않고, 첫째 줄의 사실로만 읽습니다.
과장된 주장을 알아보는 문장
보고서에서 과장된 주장을 찾을 때는 원인을 말하는 낱말부터 검토합니다. 덕분에, 때문에, 결과로, 이끌어 냈다처럼 증가의 원인을 작업에 돌리는 말이 있다면, 그 문장 가까이에 비교 자료나 점검 기록이 있는지 파악합니다.
기간을 고른 방식도 검토합니다. 작업 직전의 가장 낮은 달과 작업 뒤의 가장 높은 달만 견주었다면, 변화가 실제보다 크게 보일 수 있습니다. 같은 길이의 기간을 앞뒤로 견주었는지 파악합니다.
지표의 이름도 검토합니다. 언급 횟수, 인용 페이지 수, 노출 질문 수처럼 서로 다른 지표를 한 문장에 섞어 성과로 묶었다면, 지표 하나하나가 어떻게 달라졌는지 다시 읽습니다.
증거 수준을 확인할 보고서 독자
증거 수준을 가리는 일은 보고서를 쓴 업체가 아니라 보고서를 받는 병원 쪽에서 합니다. 경영진이 직접 하기 어렵다면 마케팅 담당이 보고서마다 증거 수준을 한 줄로 요약해 함께 올립니다.
업체에는 보고서에 증거 수준을 밝혀 달라고 요청할 수 있습니다. 어떤 자료로 무엇을 말하는지 나누어 쓰도록 요청하면, 이후 보고서를 읽기가 수월해집니다.
요약 한 줄에는 주장, 근거 자료, 증거 수준을 차례로 씁니다. 경영진은 이 한 줄만 읽고도 어느 결정에 쓸 수 있는 보고서인지 가늠할 수 있습니다.
보고서를 받고 결정하기까지의 차례
아래 순서로 진행합니다.
- 보고서에서 성과를 주장하는 문장을 모두 찾아 목록으로 만듭니다.
- 주장마다 근거 자료가 무엇인지 검증하고, 세 가지 증거 수준 가운데 하나로 정합니다.
- 이번 보고서로 내리려는 결정을 적고, 결정마다 필요한 증거 수준을 확인합니다.
- 지금의 증거 수준과 필요한 수준을 견주어 결정마다 세 가지 판단 가운데 하나를 정합니다.
- 보류한 결정은 무엇이 더 있으면 다시 논의할지 정리해 업체에 요청합니다.
- 판단과 그 근거를 경영 회의 기록에 남깁니다.
둘째 단계에서 근거 자료를 확인할 때는 보고서 본문의 요약 문장보다 첨부된 원자료를 기준으로 합니다. 요약 문장은 이미 해석이 들어간 경우가 있습니다.
다섯째 단계의 요청은 구체적으로 씁니다. 작업하지 않은 페이지와 견준 자료, 같은 기간 병원의 다른 홍보 일정처럼 무엇이 필요한지 이름을 붙여 요청합니다.
증거 수준을 올리는 데 필요한 자료
관측에서 비교로 올리려면 견줄 대상이 필요합니다. 같은 기간 작업하지 않은 페이지나 진료 주제의 변화, 또는 작업 전 같은 길이 기간의 변화가 견줄 대상이 됩니다.
원인 확인 수준에 이르려면, 결과에 끼어들었을 만한 다른 일들을 한 번씩 따진 흔적이 있어야 합니다. 병원의 광고 일정, 기사와 행사, 진료 과목 변경, AI 검색 도구의 알려진 변경처럼 결과에 영향을 줄 수 있는 일을 적고, 각각이 결과와 겹치는지 확인한 기록입니다.
광고 일정이나 행사처럼 병원이 가진 정보는 업체가 아닌 병원이 먼저 정리해 넘깁니다.
결정별 필요한 증거 수준과 판단
결정마다 필요한 증거 수준을 정하고, 지금의 수준과 견주어 진행, 범위를 줄여 진행, 보류 가운데 하나로 판단합니다.
| 결정 | 필요한 증거 수준 | 수준이 모자랄 때의 판단 |
|---|---|---|
| 예산 확대 | 비교 이상 | 관측뿐이면 보류하고, 현재 예산으로 비교 자료를 만듭니다. |
| 업체 평가 | 비교 이상 | 관측뿐이면 범위를 줄여 진행해 약속한 작업을 했는지만 평가합니다. |
| 대외 사례 발표 | 원인 확인 | 비교까지면 보류하고, 관측 사실만 내부 자료로 씁니다. |
셋째 줄에 원인 확인까지 요구하는 것은 대외 발표가 병원 밖의 사람에게 읽히는 글이어서입니다. 원인이 확인되지 않은 성과를 사례로 알리면 의료 광고 관련 규정에 걸릴 수 있는지도 확인해야 합니다.
둘째 줄은 성과와 업무 수행을 나누어 평가합니다. 성과의 원인이 확인되지 않았어도, 약속한 작업을 기한 안에 했는지는 평가할 수 있습니다.
노출 증가 보고서를 받은 경영 회의
아래는 설명을 위해 만든 가상의 상황입니다.
한 정형외과 병원이 GEO 업체에서 석 달 치 보고서를 받았습니다. 보고서 결론에는 AI 답변 속 병원 언급이 부쩍 늘었으며 그 공은 업체의 콘텐츠 정비에 있다는 문장이 있었습니다. 원장은 예산을 늘리고, 이 성과를 병원 소식지에 사례로 싣자고 했습니다.
마케팅 담당은 회의 전에 보고서의 주장을 하나씩 나누었습니다. 언급 횟수가 늘었다는 자료는 있었지만, 정비하지 않은 페이지와 견준 자료는 없었습니다. 같은 기간 병원이 지역 행사에 참여해 기사가 여러 건 나온 일도 보고서에는 빠져 있었습니다.
담당은 이 보고서의 증거 수준을 관측으로 정리해 회의에 올렸습니다. 회의는 결정마다 판단을 내렸습니다. 예산 확대는 보류하고, 업체 평가는 범위를 줄여 약속한 정비를 기한 안에 마쳤는지만 보기로 했습니다. 소식지 사례는 보류했습니다.
원장은 처음에 결정을 미루는 것이 업체를 믿지 못하는 것처럼 보일까 걱정했습니다. 담당은 보류한 것은 업체가 아니라 아직 확인되지 않은 원인 주장이라고 설명했고, 업체에 보낼 요청도 그 뜻을 담아 쓰기로 했습니다.
다음 보고서에 요청한 자료
병원은 업체에 다음 보고서에 담을 자료를 요청했습니다. 정비한 페이지와 정비하지 않은 페이지의 언급 변화를 나란히 보여 주는 자료, 그리고 같은 기간 병원의 기사와 행사 일정을 함께 놓고 본 점검 기록이었습니다.
업체는 다음 보고서에 비교 자료를 붙였습니다. 정비한 페이지 쪽의 변화가 더 컸고, 병원은 증거 수준을 비교로 올려 예산 확대를 다시 논의하기로 했습니다.
업체 평가도 이번에는 비교 자료를 함께 보았습니다. 약속한 정비를 마쳤는지에 더해, 정비한 쪽의 변화가 컸다는 점을 평가 기록에 남겼습니다.
소식지 사례는 그 뒤에도 보류했습니다. 기사가 나온 시기와 겹치는 부분을 가려낸 점검 기록이 아직 없었기 때문입니다.
GEO 보고서 판단 자주 묻는 질문
Q1. 업체가 보고서 형식을 바꾸기 어렵다고 하면 어떻게 합니까?
A1. 보고서 형식은 그대로 두더라도 첨부 원자료만은 달마다 같은 형식으로 받기로 정합니다. 원자료가 있으면 증거 수준은 병원 쪽에서 가릴 수 있습니다.
Q2. 관측 수치가 줄어든 보고서는 어떻게 읽습니까?
A2. 늘었을 때와 같은 기준으로 읽습니다. 줄었다는 것도 관측이므로 작업 탓이라고 단정하지 않고, 같은 기간 병원의 광고 일정이나 행사부터 맞대어 확인합니다.
Q3. 경영진 가운데 한 사람이 보류에 반대하면 어떻게 합니까?
A3. 반대 의견과 그 근거 자료를 회의 기록에 함께 남기고, 그 근거 자료의 증거 수준도 같은 표로 가립니다. 수준이 같다면 이번에는 보류하고 다음 보고서가 나온 뒤 두 의견을 다시 견줍니다.
Q4. 업체가 다른 병원의 사례를 들어 효과를 설명하면 어떻게 읽습니까?
A4. 그 사례의 수치도 같은 세 가지 증거 수준으로 가려 읽습니다. 다른 병원의 비교 자료나 점검 기록을 병원이 직접 볼 수 없다면 관측 수준으로 보고, 이 병원의 결정 근거로는 쓰지 않습니다.
Q5. 보고서마다 기간이 달라 견주기 어려우면 어떻게 합니까?
A5. 다음 보고서부터 같은 길이의 기간으로 맞춰 달라고 요청하고, 이미 받은 보고서는 첨부 원자료에서 같은 길이만 잘라 다시 셉니다. 원자료가 없어 다시 셀 수 없는 보고서는 증거 수준 기록에 그 사실을 함께 남깁니다.
업체와 병원이 함께 발표하는 경우
업체가 병원의 성과를 자기 사례로 발표하고 싶어 하는 경우도 있습니다. 이때도 대외 사례 발표와 같은 기준을 적용합니다. 원인 확인 수준의 자료가 없다면 발표에 병원 이름을 쓰는 것을 허락하지 않습니다.
허락할 때는 발표 문구를 미리 받아, 증거 수준을 넘는 표현이 없는지 확인합니다.
분기마다 기록하는 보고서 증거 수준
보고서를 받을 때마다 증거 수준과 결정별 판단을 한 줄로 남깁니다. 분기마다 이 기록을 모아, 보류한 결정이 어떤 자료를 기다리고 있는지 확인합니다.
같은 업체의 보고서가 분기를 거듭해도 관측 수준에 머문다면, 보고서 형식 자체를 업체와 다시 정합니다. 증거 수준을 밝히는 칸을 보고서 양식에 넣는 방법이 있습니다.
모은 기록은 다음 분기 첫 경영 회의 안건에 올립니다.