한 번의 답에 그치는 캡처 한 장
정확한 AI 답변 캡처 한 장은 한 번의 답일 뿐이라, 그것만으로 병원 GEO 예산 확대를 결정하지 않고 물은 조건과 되풀이 관측을 함께 따집니다. 병원 이름이나 진료 항목을 물었을 때 인공지능 답변에 우리 병원이 나온 화면을 받아 두는 일이 늘었습니다. 답이 정확하고 설명도 자연스러우면 성과가 확인된 것처럼 여겨집니다. 이 화면을 근거로 예산을 늘리자는 이야기가 나오는데, 그 전에 이 화면이 무엇을 보여 주고 무엇을 보여 주지 않는지 나눠야 합니다.
캡처가 보여 주는 것은 그 시점에 그 질문을 그 조건으로 물었을 때 나온 답 하나입니다. 보여 주지 않는 것은 세 가지입니다. 어떤 조건에서 물었는지, 그 답이 우리 글을 보고 만들어진 것인지, 다시 물어도 같은 답이 나오는지입니다. 이 셋을 확인하지 않으면 한 번의 답을 계속 나오는 상태로 착각합니다.
예산을 늘리는 결정은 되돌리기 어렵습니다. 한 번 늘린 제작 물량은 몇 달간 이어지고 담당자의 시간도 그쪽으로 갑니다. 그래서 캡처는 무엇을 더 확인할지 정하는 출발점으로 쓰고, 결정의 근거로는 쓰지 않습니다.
캡처에서 확인할 세 가지
첫째는 물어본 조건입니다. 같은 질문이라도 로그인한 상태인지, 앞선 대화가 있었는지, 어느 지역에서 물었는지에 따라 답이 달라집니다. 앞선 대화에서 병원 이름을 이미 말했다면 그다음 답에 병원이 나오는 것은 검색 결과가 아니라 대화의 이어짐입니다. 캡처만 보면 이 구분이 되지 않습니다.
둘째는 출처입니다. 답 아래에 참고한 곳이 표시되어 있는지, 표시되어 있다면 우리 글인지 확인합니다. 병원 이름이 정확히 나와도 출처가 다른 곳이면 우리가 만든 글이 쓰인 것이 아닙니다. 출처가 표시되지 않는 답도 있는데, 그때는 어떤 자료를 봤는지 알 수 없다고 적어 두면 됩니다.
셋째는 반복입니다. 같은 질문을 며칠에 걸쳐 여러 번 물어 답이 어떻게 달라지는지 확인합니다. 한 번은 나오고 한 번은 나오지 않으면 그 상태를 기재합니다. 나온 횟수와 물어본 횟수를 함께 적어야 다음에 비교할 수 있습니다.
캡처에 함께 남길 값
캡처를 모을 때 화면만 저장하면 나중에 조건을 알 수 없습니다. 아래 값을 파일 이름이나 옆 칸에 함께 기재합니다.
| 항목 | 적는 값 | 빠지면 생기는 일 |
|---|---|---|
| 물어본 문장 | 그대로 옮긴 질문 | 다음에 같은 조건으로 물을 수 없음 |
| 날짜와 시각 | 물어본 때 | 달라진 시점을 알 수 없음 |
| 이어진 대화 | 앞선 질문이 있었는지 | 대화의 이어짐을 검색 결과로 봄 |
| 출처 표시 | 표시된 곳과 우리 글 여부 | 어느 글이 쓰였는지 모름 |
| 반복 횟수 | 물어본 횟수와 나온 횟수 | 한 번을 계속으로 읽음 |
다섯 줄을 적는 데 걸리는 시간은 캡처를 저장하는 시간과 비슷합니다. 이 값이 없는 캡처는 몇 주 뒤에 다시 보면 판단에 쓰지 못합니다.
예산을 정하기 전에 보는 차례
캡처가 모였다면 다음 순서로 확인합니다. 순서를 정해 두는 이유는 뒤쪽 자료가 더 중요한데 앞쪽에서 판단이 끝나 버리는 일을 막기 위해서입니다.
- 캡처에 적힌 조건을 확인합니다. 이어진 대화에서 나온 답이면 따로 뺍니다.
- 남은 캡처의 출처를 확인합니다. 우리 글이 출처인 것과 아닌 것을 나눕니다.
- 같은 질문을 다시 묻습니다. 날짜를 달리해 세 번 이상 물어 나온 횟수를 기재합니다.
- 그 질문으로 병원에 실제로 연락이 왔는지 확인합니다. 문의를 받을 때 무엇을 보고 연락했는지 한 번 물으면 됩니다.
- 연락이 이어졌다면 어느 글이 그 답의 출처였는지 확인하고 그런 글이 몇 편인지 셉니다.
- 늘릴지 정합니다. 늘린다면 무엇을 얼마나 늘릴지와 다시 볼 날짜를 함께 기재합니다.
네 번째가 판단의 중심입니다. 답에 나오는 것과 사람이 연락하는 것은 다른 일이고, 예산은 두 번째 것을 보고 정합니다. 연락이 없는데 답에만 나오는 상태가 이어지면 늘릴 것은 제작 물량이 아니라 연락 방법을 알리는 안내입니다.
세 번째 단계는 미루기 쉽습니다. 이미 답을 본 질문을 다시 묻는 일이 확인처럼 느껴지지 않기 때문입니다. 그러나 이 단계에서 결과가 갈리는 경우가 많습니다. 여러 번 물어 한 번만 나왔다면 그 답은 지금 상태를 보여 주는 것이 아니라 그날의 결과입니다.
자료별로 근거로 쓸 수 있는 범위
자료마다 어디까지 말할 수 있는지 정합니다.
| 자료 | 말할 수 있는 것 | 말할 수 없는 것 |
|---|---|---|
| 캡처 한 장 | 그때 그 조건에서 이렇게 나왔다. | 지금도 나온다, 계속 나온다. |
| 여러 날의 반복 관측 | 몇 번 중 몇 번 나왔다. | 왜 나왔는지, 무엇 때문에 달라졌는지 |
| 출처에 우리 글이 표시됨 | 그 글이 참고되었다. | 그 글 때문에 순서가 정해졌다. |
| 문의할 때 들은 말 | 그 사람이 무엇을 보고 왔다. | 전체 문의의 비율 |
가운데 두 줄을 넘겨 말하는 일이 자주 생깁니다. 나온 횟수는 셀 수 있지만 그 이유는 밖에서 알 수 없습니다. 이유를 적어야 할 때는 점검한 것과 추측한 것을 나눠 기재합니다.
보고서에 적을 때는 이 표의 가운데 칸 문장을 그대로 씁니다. 표현을 다듬으려다 「잘 나오고 있다」처럼 범위를 넘는 말이 되기 쉽습니다. 확인한 것과 그렇지 않은 것을 구분해 적어 두면 몇 달 뒤 다른 사람이 읽어도 판단이 흔들리지 않습니다.
가상 사례로 보는 예산 판단
아래는 이해를 돕기 위해 만든 가상 사례입니다.
한 비뇨의학과 의원이 인공지능 답변에 병원이 소개된 화면 넉 장을 받았습니다. 답은 정확했고 진료 항목 설명도 홈페이지와 비슷했습니다. 제작 물량을 두 배로 늘리자는 이야기가 나왔지만, 먼저 넉 장의 조건을 적어 보기로 했습니다.
점검해 보니 두 장은 앞선 대화에서 병원 이름을 먼저 말한 뒤에 나온 답이었습니다. 남은 두 장 중 한 장은 출처가 표시되지 않았고, 한 장은 출처가 병원 글이 아닌 다른 곳이었습니다. 같은 질문을 사흘에 걸쳐 여섯 번 물어 보니 병원이 나온 것은 두 번이었습니다.
병원은 물량을 늘리는 대신 두 가지를 했습니다. 답이 참고한 다른 곳에 적힌 병원 정보가 지금과 맞는지 확인해 고쳤고, 답에 자주 나오던 질문과 같은 내용을 다루는 글의 첫머리에 답이 되는 문장을 한 줄로 넣었습니다. 한 달 뒤 같은 질문을 다시 여섯 번 물어 나온 횟수를 적었습니다. 이 기록이 다음에 물량을 정할 때 쓴 자료가 되었습니다.
이 사례에서 넉 장의 캡처는 버려지지 않았습니다. 물량을 늘릴 근거로는 쓰지 못했지만, 어느 곳의 정보가 잘못 남아 있는지 찾는 자료로는 그대로 쓰였습니다. 캡처를 성과 자료로 볼지 점검 자료로 볼지가 갈린 것입니다.
같은 방식으로 되풀이하는 관측 기록
관측은 같은 방식으로 반복해야 비교됩니다. 질문 문장, 물어보는 요일과 시각, 물어보는 횟수를 정해 두고 매번 같게 합니다. 조건이 매번 다르면 달라진 것이 답인지 조건인지 알 수 없습니다.
기록은 한 줄에 한 번씩 남깁니다. 날짜, 질문, 나왔는지, 출처, 짧은 메모 정도면 됩니다. 캡처는 그 줄에 연결해 보관합니다. 화면만 폴더에 쌓으면 몇 주 뒤에 세는 일부터 다시 해야 합니다.
대표나 원장에게 보고할 때는 캡처를 먼저 보여 주지 않습니다. 물어본 횟수와 나온 횟수를 먼저 말하고 캡처는 그 뒤에 예로 보여 줍니다. 순서가 바뀌면 화면의 인상이 숫자보다 앞서고, 보고 도중에 예산 이야기가 시작됩니다.
기록을 남길 사람은 한 명으로 정합니다. 여러 사람이 각자 물어보면 질문 문장과 조건이 조금씩 달라지고, 그 차이가 결과의 차이로 읽힙니다. 맡은 사람이 빠질 때를 대비해 질문 문장과 방식을 파일에 적어 두면 다른 사람이 같은 방식으로 이어서 합니다.
AI 답변 캡처 자주 묻는 질문
Q1. 답에 다른 병원이 함께 나오면 어떻게 기록합니까?
A1. 함께 나온 병원 이름과 나온 순서를 그 줄의 메모에 남깁니다. 그 비교로 예산을 정하지는 않고, 다음 관측 때 같은 질문에서 달라졌는지만 점검합니다.
Q2. 원장이 캡처만 보고 이미 예산 확대를 지시했다면 어떻게 합니까?
A2. 지시를 되돌리기보다 늘린 물량을 다시 볼 날짜를 먼저 정합니다. 그날까지 반복 관측과 문의 기록을 함께 모아, 물량을 유지할지 판단하는 자료로 씁니다.
Q3. 인공지능 답변 서비스가 여러 개면 기록도 따로 합니까?
A3. 서비스마다 조건이 달라 한 줄에 섞지 않습니다. 서비스 이름을 기록 줄의 첫 칸에 넣고, 나온 횟수 비교는 같은 서비스 안에서만 합니다.
Q4. 캡처를 모으는 일을 업체에 맡겨도 됩니까?
A4. 맡길 수 있습니다. 다만 조건을 함께 받기로 정합니다. 화면만 받으면 앞선 대화가 있었는지 알 수 없어 판단에 쓰지 못합니다. 물어본 문장과 횟수, 나온 횟수를 같은 형식으로 받으면 달마다 비교됩니다.
Q5. 답에 우리 병원이 전혀 나오지 않으면 예산을 줄여야 합니까?
A5. 줄이기 전에 질문 문장이 실제 환자가 쓰는 말과 같은지부터 점검합니다. 다른 말로 묻는 환자가 많다면 질문 문장을 고쳐 같은 방식으로 다시 관측합니다.
바로 손대야 하는 틀린 병원 정보
늘릴지 말지와 별개로 즉시 처리할 것이 있습니다. 답에 병원 정보가 틀리게 나오는 경우입니다. 전화번호, 주소, 진료 시간이 지난 값으로 나오면 물량과 관계없이 그 값이 실린 곳을 찾아 고칩니다.
하지 않는 진료가 병원의 것으로 나오는 경우도 같습니다. 문의가 들어와 설명하는 일이 반복되고, 설명을 듣지 못한 사람은 헛걸음을 합니다. 이런 답을 본 캡처는 성과 자료가 아니라 고칠 목록으로 옮깁니다.
한 달 뒤 같은 방식의 재관측
정한 뒤에는 한 달 뒤 같은 질문을 같은 방식으로 다시 묻습니다. 나온 횟수가 늘었는지 줄었는지만 봐도 됩니다. 늘었다면 그사이에 한 일을 적어 두고, 줄었다면 무엇이 바뀌었는지 찾기 전에 먼저 조건이 같았는지 점검합니다.
이 점검을 맡을 사람과 날짜를 정합니다. 관측은 미루면 비교할 수 없게 되는 자료입니다. 한 달이 두 달이 되면 그사이의 변화를 설명할 방법이 없어집니다.