안에서 좋아진 것과 밖에서 보이는 GEO 성과의 분리
병원 내부 챗봇 개선과 외부 GEO 성과를 나눠 보고하는 이유는, 두 성과의 이용자·답의 재료·보이는 범위가 모두 달라 합치면 병원이 어느 쪽에 비용을 쓸지 판단할 근거가 흐려지기 때문입니다. 병원 홈페이지에 붙인 자체 챗봇의 답변이 정확해졌다면 그것은 분명한 개선이지만, 외부 AI 검색에서 병원이 더 잘 보이게 되었다는 GEO 성과와 한데 묶어 보고하지 않습니다.
자체 챗봇은 이미 병원 홈페이지에 들어온 사람이 쓰고, 병원이 넣어 준 자료로 답하며, 그 답은 홈페이지 방문자에게만 나타납니다. 외부 생성형 검색은 병원을 아직 모르는 사람도 쓰고, 병원이 통제하지 못하는 여러 출처를 섞어 답하며, 그 답은 병원 밖 검색 이용자 모두에게 나타납니다. 챗봇이 좋아졌다고 외부 검색의 답이 함께 좋아진다고 볼 근거는 없습니다.
그래서 보고서에서는 두 성과를 서로 다른 줄로 나누고, 각각의 지표와 검수에 든 시간도 따로 밝힙니다. 합쳐서 하나의 「AI 답변 품질」로 보고하면, 어느 쪽에 비용을 더 쓸지 병원이 판단할 근거가 흐려질 수 있습니다.
합쳐서 보고하고 싶어지는 이유는 두 성과 모두 「AI」라는 말로 불리기 때문일 수 있습니다. 이름이 비슷해도 하는 일이 다르다는 점을 보고서 첫머리에 한 줄로 밝히면, 읽는 사람이 두 숫자를 같은 흐름으로 이어 붙이는 일을 줄일 수 있습니다.
두 성과를 가르는 네 가지
| 구분 | 병원 자체 챗봇 | 외부 생성형 검색 |
|---|---|---|
| 이용자 | 이미 병원 홈페이지에 들어온 방문자 | 병원을 아직 모르는 사람까지 포함한 검색 이용자 |
| 자료 공급 | 병원이 넣어 준 문서와 답변 목록 | 병원 페이지를 포함한 여러 외부 출처 |
| 노출 범위 | 병원 홈페이지 안 | 병원 밖의 검색 결과와 답변 |
| 성과 지표 | 점검 질문에 대한 정답률, 상담 연결 수 | 관측 질문에서 병원이 인용된 수, 그 경로로 들어온 유입 |
둘째 줄의 자료 공급이 두 성과를 뚜렷하게 가릅니다. 챗봇은 병원이 넣어 준 자료만 쓰므로 자료를 고치면 답이 곧바로 달라지지만, 외부 검색은 병원 페이지를 고쳐도 반영될지, 언제 반영될지를 병원이 정할 수 없습니다.
넷째 줄의 성과 지표도 서로 바꿔 쓸 수 없습니다. 챗봇의 정답률은 병원이 정한 질문에서 얼마나 맞게 답했는지를 보여 주고, 외부 검색의 인용 수는 병원이 정하지 않은 질문에서 병원이 얼마나 등장했는지를 보여 줍니다. 앞의 숫자가 오른다고 뒤의 숫자가 따라 오르지는 않을 수 있습니다.
두 성과를 나누어 보고하는 여섯 단계
- 마케팅 담당자가 보고서에 들어갈 AI 관련 성과를 모두 나열하고, 각각이 자체 챗봇에 관한 것인지 외부 생성형 검색에 관한 것인지 표시합니다.
- 챗봇 담당자가 챗봇의 운영 범위, 곧 어떤 페이지에 붙어 있고 어떤 자료로 답하는지를 정리합니다.
- 챗봇 담당자가 미리 정한 점검 질문 목록으로 챗봇의 답을 확인해 정답률을 내고, 점검에 든 시간을 기록합니다.
- 마케팅 담당자가 외부 AI 검색의 관측 기록에서 병원이 인용된 수를 세고, 접수 때 물은 유입 경로 기록에서 AI 검색을 보고 왔다는 답의 수를 함께 정리합니다. 관측에 든 시간도 기록합니다.
- 마케팅 담당자가 두 성과를 보고서의 서로 다른 칸에 싣고, 각 칸 아래에 지표의 뜻과 한계를 한 줄씩 밝힙니다.
- 운영 책임자가 두 칸을 따로 읽고, 다음 분기 비용을 어느 쪽에 얼마나 쓸지 정합니다.
셋째와 넷째 단계에서 검수 시간을 따로 남기는 이유는, 두 일의 비용이 성격부터 다를 수 있기 때문입니다. 챗봇 점검은 병원 안에서 끝나는 일이고, 외부 검색 관측은 여러 서비스를 오가며 해야 하는 일이라 드는 시간과 방식이 다를 수 있습니다.
다섯째 단계에서 각 칸 아래에 한계를 밝히는 이유는, 숫자만 싣고 뜻을 밝히지 않으면 읽는 사람이 숫자를 넓게 해석할 수 있기 때문입니다. 「점검 질문 100개 기준」, 「관측한 서비스 두 곳 기준」처럼 조건을 붙이면 숫자가 말하는 범위가 분명해집니다.
분리 보고 기록
| 항목 | 기록할 내용 |
|---|---|
| 챗봇 운영 범위 | 챗봇이 붙은 페이지와 답에 쓰는 자료 |
| 챗봇 지표 | 점검 질문 수, 정답 수, 상담 연결 수 |
| 외부 검색 기록 | 관측 질문 수, 병원 인용 수, 관측한 서비스 |
| 유입 경로 | 접수 때 AI 검색을 보고 왔다는 답의 수 |
| 검수 비용 | 챗봇 점검 시간과 외부 관측 시간을 각각 |
기록은 분기마다 같은 칸 구성으로 이어서 씁니다. 두 성과의 흐름이 각자의 칸에 따로 모여야, 몇 분기 뒤에 어느 쪽이 꾸준히 나아지고 있는지를 따로 확인할 수 있습니다.
「AI 답변 품질 19포인트 상승」을 받은 피부과
아래는 설명을 위해 만든 가상의 상황입니다. 숫자는 보고 흐름을 보여 주기 위해 정한 값이며 실제 병원의 성과가 아닙니다.
한 피부과가 대행사로부터 분기 보고서를 받았습니다. 첫 줄에 「AI 답변 품질 19포인트 상승」이 적혀 있었고, 원장은 외부 AI 검색에서 병원이 훨씬 잘 보이게 되었다고 이해했습니다.
마케팅 담당자가 숫자의 출처를 물으니, 19포인트는 홈페이지 자체 챗봇의 점검 결과였습니다. 대행사가 미리 정한 점검 질문 백 개 가운데 챗봇이 맞게 답한 수가 분기 초 일흔둘에서 분기 말 아흔하나로 늘어난 것이었습니다. 챗봇에 넣은 답변 목록을 정리한 결과였습니다.
외부 AI 검색의 관측 기록은 따로 있었습니다. 관측 질문 스무 개에서 병원이 인용된 수는 분기 초 다섯에서 분기 말 여섯이었습니다. 같은 분기 접수 때 AI 검색을 보고 왔다고 답한 환자는 열한 명이었습니다.
대행사가 알려 준 검수 시간은 챗봇 점검이 한 달에 여섯 시간, 외부 검색 관측이 한 달에 네 시간이었습니다.
마케팅 담당자는 대행사에 19포인트가 외부 검색 성과와 어떤 관계인지도 물었습니다. 대행사는 챗봇 개선이 외부 검색에 직접 영향을 준다는 근거는 없다고 답했고, 보고서 첫 줄이 오해를 부를 수 있었다는 점을 받아들였습니다.
나누어 다시 쓴 보고서
마케팅 담당자는 보고서를 두 칸으로 나누어 다시 정리했습니다. 챗봇 칸에는 「점검 질문 100개 중 정답 72개에서 91개로」와 「홈페이지 방문자에게만 해당」이라는 뜻을, 외부 검색 칸에는 「관측 질문 20개 중 병원 인용 5회에서 6회로」와 「관측한 서비스 두 곳 기준」이라는 한계를 함께 밝혔습니다. 보고서 첫 줄도 ‘AI 답변 품질 19포인트 상승’에서 ‘챗봇 정답 72개에서 91개로, 외부 검색 인용 5회에서 6회로’처럼 두 줄로 변경했습니다.
원장은 두 칸을 보고, 챗봇의 개선은 이미 온 방문자의 편의를 높인 것이고 외부 검색에서의 변화는 아직 작다는 점을 확인했습니다. 운영 책임자는 다음 분기 외부 검색 관측의 질문 수를 늘리고, 챗봇 채점은 지금 수준으로 유지하기로 했습니다.
대행사에는 다음 보고서부터 두 성과를 처음부터 다른 칸으로 싣고, 검수 시간도 각각 밝혀 달라고 요청했습니다.
두 성과가 이어져 보일 때
챗봇에 넣은 답변 목록을 정리하면서 홈페이지의 안내 글도 함께 고쳤다면, 고친 홈페이지 글이 외부 AI 검색에 인용되는 일이 생길 수 있습니다. 이때도 두 성과를 합치지 않고, 외부 검색 칸에 「홈페이지 안내 글 수정과 같은 시기」라는 사실만 함께 밝힙니다. 수정이 인용을 늘렸다고 단정할 근거는 병원 쪽 기록만으로는 부족할 수 있습니다.
챗봇이 외부 AI 서비스의 기술을 빌려 쓰는 경우에도 챗봇은 병원 홈페이지 안의 도구입니다. 어떤 기술을 쓰든 이용자와 노출 범위가 홈페이지 안이라면 자체 챗봇 칸으로 보고합니다.
챗봇 대화에서 환자가 자주 묻는 질문을 모아 외부 검색용 정보 글을 새로 쓴다면, 그 정보 글의 성과는 외부 검색 칸에 들어가고 챗봇 대화는 질문을 모은 자료로만 표시합니다. 이때 챗봇 대화 원문은 옮기지 않고 질문의 종류만 씁니다.
병원이 챗봇을 운영하지 않는다면 이 구분은 필요 없지만, 대행사 보고서에 「AI」라는 말이 들어간 숫자가 있다면 그 숫자가 어느 쪽 이야기인지를 한 번 확인합니다.
챗봇 성과 보고 자주 묻는 질문
Q1. 병원 홈페이지 챗봇의 정답률은 누가 채점합니까?
A1. 답변 목록을 만든 쪽이 채점하면 점수가 후하게 나올 수 있어, 병원 원무 쪽이나 의료진처럼 사실을 아는 사람이 따로 채점하는 편이 믿을 만합니다. 질문 목록도 분기마다 조금씩 새로 더해, 목록에 맞춘 답만 늘어나지 않게 합니다.
Q2. 대행사가 챗봇 성과와 GEO 성과를 합쳐야 계약 목표를 채운다고 하면 어떻게 합니까?
A2. 약속한 숫자를 맞추려는 사정은 이해하되, 서명한 문서에 무엇이라고 적혀 있는지로 돌아갑니다. 거기에 병원 밖 검색에서의 인용이 목표로 적혀 있다면 홈페이지 안 도우미의 점수는 그 약속과 다른 이야기이므로 따로 칭찬하고, 목표 달성 여부는 원래 적힌 숫자로만 가립니다. 다음 해 계약에서 두 가지 목표를 나란히 적는 것도 방법입니다.
Q3. 병원 홈페이지 챗봇이 틀린 답을 한 대화는 어떻게 처리합니까?
A3. 그 대화의 질문을 채점용 질문 목록에 더하고, 챗봇에 넣은 자료에서 틀린 답의 근거가 된 문서를 찾아 고칩니다. 같은 내용이 홈페이지 안내 글에도 있다면 함께 고치되, 그 수정은 외부 검색 칸에 따로 기재합니다.
Q4. 외부 AI 검색의 GEO 성과가 작으면 챗봇에 비용을 더 쓰는 편이 낫습니까?
A4. 한 해 예산을 어디에 붙일지는 병원이 지금 무엇을 더 바라는지에 달려 있습니다. 새 환자를 부르는 일이 급하다면 작은 숫자라도 밖의 경로를 키우는 쪽이, 이미 찾아온 분들의 불편을 줄이는 일이 급하다면 홈페이지 안의 도우미를 다듬는 쪽이 맞을 수 있으니, 원장과 그 순서부터 맞춥니다.
Q5. 챗봇 성과와 GEO 성과로 보고서를 두 칸으로 나누면 원장이 헷갈리지 않습니까?
A5. 처음 한두 번은 낯설 수 있으니, 첫 보고 때 마케팅 담당자가 두 칸이 왜 따로 있는지를 말로 한 번 설명하는 기회를 만듭니다. 그다음부터는 칸 맨 위에 「홈페이지 안 방문자」, 「병원 밖 검색 이용자」처럼 대상을 짧게 다는 것만으로 원장이 스스로 두 숫자를 구분해 읽는 경우가 늘 수 있습니다.