세 가지 목적을 따로 재는 예산 근거
AI 노출은 늘고 방문은 그대로일 때 계속 운영할 예산 근거는 방문 수가 아니라, 방문이 없어도 측정되는 안내 정확성과 기관 식별의 기록입니다. AI 검색에서 의원 이름이나 안내 내용이 인용되는 횟수는 늘었는데 누리집 방문은 그대로일 때, 계속 운영할 이유를 설명하기 어려워집니다. 방문 수 하나만 근거로 삼고 있으면 늘어난 인용은 성과로 설명되지 않기 때문입니다.
이때는 이 일이 무엇을 위한 것인지를 세 가지로 구분해 각각 따로 측정합니다. 첫째는 방문 유입입니다. AI 검색에서 누리집으로 사람이 넘어오는 것입니다. 둘째는 안내 정확성입니다. AI가 의원의 진료 시간이나 절차를 말할 때 틀린 내용을 말하지 않는 것입니다. 셋째는 기관 식별입니다. 의원 이름과 위치, 진료 분야가 다른 곳과 섞이지 않고 그대로 인식되는 것입니다.
세 가지는 각각 다른 자료로 확인됩니다. 방문 유입은 방문 기록으로만 파악되지만, 안내 정확성과 기관 식별은 방문이 없어도 확인됩니다. 방문이 늘지 않았다는 말은 첫째 목적에 대한 답일 뿐, 나머지 둘에 대한 답이 아닙니다.
목적별 확인 자료와 방문 여부
세 가지 목적을 확인 자료로 정리하면 이렇습니다.
| 목적 | 무엇이 나아졌다고 말하는가 | 확인 자료 | 방문이 없어도 확인되나 |
|---|---|---|---|
| 방문 유입 | AI 검색을 거쳐 누리집에 들어온 사람이 늘었다. | 방문 기록의 유입 경로 | 확인되지 않는다. |
| 안내 정확성 | AI가 말한 진료 시간·절차·주소에 틀린 내용이 줄었다. | 같은 질문을 주기마다 물어 기록한 답과 사실 오류 건수 | 확인된다. |
| 기관 식별 | 의원 이름과 진료 분야가 다른 곳과 섞이지 않고 인용된다. | 주기마다 기록한 인용 내용과 그 변화 | 확인된다. |
둘째와 셋째 줄의 확인 자료는 방문 기록이 아니라 직접 물어서 기록한 답입니다. 방문이 없는 기간에도 남고, 기간이 쌓이면 늘었는지 줄었는지가 드러납니다.
목적별로 하나씩 내리는 계속 운영 판단
세 가지를 구분했다면 계속 운영할지는 이렇게 판단합니다.
안내 정확성에서 틀린 내용이 줄고 있다면 계속할 이유가 있습니다. AI가 틀린 진료 시간을 말하면 전화 문의가 늘거나 헛걸음이 생기므로, 틀린 내용이 줄어드는 것은 방문 수와 무관하게 원내에서 겪는 일이 줄어드는 것입니다.
기관 식별에서 인용 내용이 의원의 실제 진료 분야와 맞아 가고 있다면 역시 계속할 이유가 있습니다.
반대로 세 가지 모두에서 변화가 없다면 방문 수가 아니라 세 가지 전부를 근거로 중단을 논의합니다. 방문 유입 하나만 없는 경우와, 셋 다 없는 경우는 다른 결정으로 이어집니다.
같은 질문을 같은 방식으로 재는 순서
세 가지를 재는 순서입니다.
먼저 물을 질문을 정합니다. 환자가 실제로 궁금해하는 것 가운데 답이 정해져 있는 것으로 정합니다. 진료 시간, 예약 방법, 주차, 진료 분야처럼 맞고 틀림을 가릴 수 있는 질문입니다. 효과나 비용처럼 답이 상황마다 달라지는 질문은 정확성을 가릴 수 없으므로 이 목록에서 뺍니다.
다음으로 주기를 정합니다. 매일 재면 답이 조금씩 달라지는 것까지 변화로 보이고, 한 해에 한 번이면 달라진 시점을 알 수 없습니다. 달마다 같은 날 정도면 변화와 원내 작업을 맞대기에 충분합니다.
그리고 주기마다 같은 질문을 같은 문장으로 물어 답을 그대로 기록합니다. 질문 문장을 조금씩 고치면 답이 달라진 것이 원내 변화 때문인지 질문 때문인지 가릴 수 없습니다. 기록에는 물은 날짜, 질문 문장, 받은 답, 그 답에서 틀린 내용을 함께 남깁니다.
마지막으로 기록을 앞 주기와 맞댑니다. 틀린 내용의 건수가 줄었는지, 인용에서 의원 이름과 진료 분야가 제대로 나왔는지, 방문 기록에 AI 검색을 거친 유입이 있었는지를 각각 따집니다.
기록을 맞댈 때는 그 주기에 원내에서 무엇을 고쳤는지도 함께 기재합니다. 진료 시간을 누리집에서 고친 달, 예약 안내 글을 새로 올린 달처럼 원내 작업을 기록 옆에 남기면, 틀린 내용이 줄어든 것이 그 작업 뒤였는지를 가려낼 수 있습니다. 작업 기록이 없으면 변화만 남고 이유가 남지 않아, 다음에 무엇을 더 할지 정하기 어려워집니다.
자료별 출처와 세는 대상
세 가지를 재는 데 쓰는 자료입니다.
| 자료 | 어디서 나오나 | 무엇을 세나 |
|---|---|---|
| 인용 기록 | 주기마다 직접 묻고 받은 답을 옮긴 기록 | 의원 이름·진료 분야가 제대로 나온 답의 수 |
| 사실 오류 기록 | 같은 답에서 원내 실제 운영과 어긋난 내용을 표시한 것 | 주기마다 틀린 내용의 건수와 그 종류 |
| 유입 기록 | 누리집 방문 기록의 유입 경로 | AI 검색을 거쳐 들어온 방문 수 |
세 자료 가운데 앞의 둘은 원내에서 직접 만듭니다. 누가 언제 물어 기록할지를 정해 두지 않으면 기록이 끊기고, 끊긴 기간은 나중에 채울 수 없습니다. 유입 기록은 이미 쌓이고 있으므로 유입 경로를 분간할 수 있게 되어 있는지만 점검하면 됩니다.
방문은 그대로, 두 가지가 달라진 가상 사례
아래는 설명을 위해 만든 가상 사례입니다. 한 내과 의원이 반년 동안 누리집의 진료 안내와 예약 절차를 정리하고, 달마다 같은 질문 여덟 개를 물어 답을 기록했습니다. 반년이 지난 뒤 방문 기록을 열자 AI 검색을 거친 유입은 첫 달과 마지막 달이 비슷했습니다. 여기서 중단을 논의했다면 근거는 이 한 줄뿐이었습니다.
세 가지로 나누어 기록을 맞대자 다른 두 줄이 남아 있었습니다.
안내 정확성에서는 틀린 내용의 건수가 첫 달 다섯 건에서 마지막 달 한 건으로 줄었습니다. 줄어든 넷은 지난해 바뀐 진료 시간, 없어진 접수 방법, 옮기기 전 주소, 하지 않는 검사였습니다. 남은 한 건은 주차 안내였고, 이것은 누리집에도 적혀 있지 않던 내용이었습니다. 기록 옆의 원내 작업을 맞대자 넷은 모두 누리집의 해당 안내를 고친 다음 주기부터 답에서 사라졌습니다.
기관 식별에서는 변화가 적었습니다. 의원 이름이 제대로 나온 답은 첫 달 여덟 개 가운데 셋, 마지막 달 넷이었습니다. 나머지 답은 같은 지역의 다른 의원 정보를 섞어 말했습니다. 진료 분야를 묻는 질문에서 특히 그랬습니다.
이 의원은 계속 운영하기로 정하면서 하는 일을 조정했습니다. 안내 정확성은 고칠 것이 줄었으므로 점검 주기만 유지하고, 다음 반년은 기관 식별 쪽에 힘을 옮겨 진료 분야와 위치가 누리집 안에서 한 가지로 기재되어 있는지부터 대조하기로 했습니다. 방문 유입은 세 번째 주기까지 그대로라면 그때 다시 논의하기로 했습니다.
세 줄을 나란히 올리는 보고
결정을 설명할 때는 세 가지를 한 줄씩 나란히 올립니다. 앞의 사례라면 「AI 검색 유입 첫 달과 비슷함 · 사실 오류 다섯 건에서 한 건 · 이름이 제대로 나온 답 셋에서 넷」입니다. 한 줄로 묶어 「성과 있음」이라고 하면 무엇이 나아졌고 무엇이 그대로인지가 드러나지 않습니다.
세 줄 가운데 둘이 나아졌다고 해서 남은 하나를 설명에서 빼지 않습니다. 방문 유입이 그대로라는 사실은 다음 주기에 다시 판단할 대상으로 남겨 두어야 합니다. 반대로 셋 다 변화가 없다면 그 사실도 그대로 올립니다.
기록을 넘길 때는 주기마다의 질문 문장과 받은 답을 함께 넘깁니다. 건수만 남기면 다음 사람이 같은 질문으로 이어 잴 수 없고, 앞의 건수와 맞대어도 같은 기준에서 센 것인지 가려낼 수 없습니다.
AI 노출 예산 근거 자주 묻는 질문
Q1. AI가 답할 때 의원 이름이 아예 나오지 않으면 무엇을 재나요?
A1. 이름이 나오지 않았다는 사실 자체를 기록에 남깁니다. 기관 식별은 제대로 나온 답의 수를 세는 것이므로, 나오지 않은 답은 세지 않은 채로 주기마다 견줍니다. 이름이 나오지 않는 답이 계속된다면 누리집에 의원 이름과 진료 분야, 위치가 한 곳에 함께 기재된 화면이 있는지부터 점검합니다.
Q2. AI가 말한 내용이 틀렸는지 누가 판정하나요?
A2. 원내 운영을 아는 사람이 판정합니다. 진료 시간이나 접수 방법처럼 원내에서 정한 사실은 담당자가 바로 가릴 수 있습니다. 진료 내용에 관한 설명은 원장님의 확인이 필요하므로, 판정이 어려운 답은 따로 표시해 두고 확인된 것만 건수에 넣습니다.
Q3. 누리집 안내를 고쳤는데 다음 주기에도 AI 답이 그대로라면 어떻게 하나요?
A3. 한 주기를 더 기다린 뒤에도 그대로라면, 고친 내용이 글자로 읽히는 형태인지 검토합니다. 진료 시간이나 주소를 그림이나 내려받는 문서 안에만 두면 화면에서는 보여도 글자로 읽히지 않습니다. 고친 자리가 글자로 되어 있는데도 답이 그대로라면 그 사실을 기록에 남기고 다음 주기에 다시 묻습니다.
Q4. 여러 AI 서비스마다 답이 다를 때는 어느 것을 기준으로 하나요?
A4. 서비스별로 따로 기록합니다. 한 서비스에서 줄어든 오류가 다른 서비스에서는 그대로일 수 있으므로, 합쳐 세면 어느 쪽이 나아졌는지 드러나지 않습니다. 기록할 서비스는 환자가 실제로 쓰는 것으로 한정해도 됩니다.
Q5. AI 노출 예산을 줄여야 한다면 주기별 점검과 누리집 수정 가운데 무엇을 먼저 멈추나요?
A5. 주기마다 하는 점검은 남기고, 누리집을 고치는 작업 쪽을 줄이는 편이 되돌리기 쉽습니다. 점검을 멈추면 그 기간의 기록이 비어 나중에 채울 수 없지만, 고치는 작업은 나중에 다시 시작해도 앞의 기록과 이어집니다.
기록이 한 주기뿐일 때
여기까지는 주기가 여러 번 쌓인 뒤에 쓰는 방법입니다. 시작한 지 얼마 되지 않아 기록이 한 주기뿐이라면 늘었는지 줄었는지를 말할 수 없으므로, 계속할지 멈출지를 이 기록으로 판단하지 않습니다. 이때는 첫 기록을 앞으로 견줄 기준으로 남기고 다음 주기를 기다립니다. 다만 첫 기록에서 드러난 사실 오류는 판단과 별개로 그때 바로 고칩니다. 틀린 안내를 그대로 두는 것과 성과를 판단하는 것은 다른 일입니다.