오류 원인을 가릴 때의 단순 질문 우선
복합 질문 관측 비용이 클 때 단순 질문 조사를 먼저 할 경우는, 이미 발견한 오류가 어느 조건에서 생겼는지 가려야 할 때입니다. AI 검색에서 병원 정보가 어떻게 답해지는지 관측할 때, 실제 환자가 묻는 질문은 여러 조건이 섞인 경우가 있습니다. 야간에 진료하면서 주차가 되는 소아청소년과를 묻는 식입니다. 이런 복합 질문은 조건마다 답이 맞는지 따로 대조해야 해서, 하나를 관측하는 데도 시간이 많이 듭니다. 조합할 수 있는 조건이 늘어날수록 관측할 질문의 수도 빠르게 늘어납니다.
복합 질문의 답이 틀렸을 때, 그 답만으로는 어느 조건에서 틀렸는지 알 수 없습니다. 야간 진료 정보가 틀렸는지, 주차 정보가 틀렸는지, 두 조건을 함께 만족하는지 판단하는 과정에서 틀렸는지가 섞여 있기 때문입니다. 이때는 조건 하나씩만 묻는 단순 질문으로 먼저 조사하면 원인이 드러납니다.
반대로 오류의 원인을 가릴 필요가 없고, 실제 환자들이 복합 질문으로 묻는다면 복합 질문을 먼저 관측합니다. 단순 질문에서는 모두 맞게 답해도 복합 질문에서 병원이 빠지는 일이 생길 수 있고, 환자가 실제로 보는 것은 복합 질문의 답이기 때문입니다.
그래서 순서는 두 가지를 비교해 정합니다. 하나는 이미 발견한 오류의 원인을 찾아야 하는지이고, 다른 하나는 실제 문의에서 복합 질문이 얼마나 나오는지입니다. 원인을 찾아야 한다면 단순 질문이 먼저이고, 원인보다 실제 노출 상태를 알아야 한다면 복합 질문을 몇 개로 제한해 먼저 관측합니다. 어느 쪽이든 관측할 질문의 수를 미리 정하고 시작합니다.
상황별로 먼저 할 조사
| 상황 | 먼저 할 조사 | 이유 |
|---|---|---|
| 복합 질문의 답이 틀렸고 원인을 모른다. | 조건별 단순 질문 | 어느 조건에서 틀렸는지 가려야 고칠 곳이 정해진다. |
| 아직 관측한 적이 없고 문의가 복합 질문 위주다. | 대표 복합 질문 몇 개 | 환자가 실제로 보는 답을 먼저 파악한다. |
| 아직 관측한 적이 없고 문의가 단순 질문 위주다. | 단순 질문 | 실제 수요에 맞고 관측 부담도 작다. |
| 단순 질문은 모두 맞고 복합에서만 빠진다. | 복합 질문의 조건 조합 | 조건이 함께 있을 때의 문제를 가려낸다. |
넷째 줄은 단순 질문 조사가 끝난 뒤에 이어지는 단계입니다. 조건 하나씩은 맞게 답하는데 조건이 함께 있을 때 병원이 빠진다면, 병원 정보 가운데 두 조건이 한곳에 함께 적혀 있지 않은 것일 수 있습니다.
둘째와 셋째 줄은 문의 기록을 세어야 정할 수 있습니다. 문의 기록 없이 짐작으로 정하면, 실제로는 단순한 질문이 중심인데 복합 질문을 관측하느라 시간을 쓰는 일이 생깁니다.
관측 순서를 정하고 진행하는 방법
첫째로 실제 문의에서 조건이 섞인 질문을 조사합니다. 한 달 동안 들어온 전화와 상담 문의를 모아 조건이 둘 이상 들어간 질문과 하나만 들어간 질문을 나눠 셉니다. 조건이 섞인 질문이라면 어떤 조건들이 함께 나오는지도 기록해, 반복해서 함께 나오는 조합을 찾습니다.
둘째로 이미 발견한 오류가 있는지 점검합니다. AI 검색 답변에서 병원 정보가 틀리게 나온 사례가 있다면, 그 질문과 답을 날짜와 함께 기록합니다. 사례가 여럿이면 같은 조건이 반복해서 틀리는지도 함께 따집니다.
셋째로 표에서 상황을 찾아 먼저 할 조사를 정합니다. 오류가 있고 원인을 모른다면 그 복합 질문을 조건별로 쪼개 단순 질문 목록을 만듭니다. 복합 질문에 들어 있던 조건마다 하나씩 질문을 만들고, 질문의 나머지 표현은 원래 문장과 같게 맞춥니다.
넷째로 정한 질문을 관측합니다. 같은 질문을 날짜를 달리해 두세 번 입력하고, 답에 나온 병원 정보와 조건마다 맞았는지를 기록합니다. 한 번의 답으로 결론 내리지 않습니다. 세 번의 결과가 서로 다르면 결과마다 따로 기록하고, 다음 주에 한 번 더 관측합니다.
다섯째로 결과에 따라 다음 단계를 정합니다. 단순 질문에서 틀린 조건을 찾았다면 그 조건을 설명하는 병원 글과 공식 정보를 고칩니다. 단순 질문은 모두 맞았다면 조건 조합을 관측하는 단계로 옮겨 갑니다.
질문마다 남기는 관측 기록
| 기록 항목 | 복합 질문에서 | 단순 질문에서 |
|---|---|---|
| 질문 문장 | 입력한 문장 그대로 | 조건 하나만 남긴 문장 |
| 포함된 조건 | 들어간 조건 모두 | 남긴 조건 하나 |
| 답에 나온 병원 정보 | 병원 이름과 조건에 대한 설명 | 그 조건에 대한 설명 |
| 틀린 조건 | 틀린 조건이 무엇인지 | 맞았는지 틀렸는지 |
| 확인 날짜 | 입력한 날짜 | 입력한 날짜 |
넷째 줄에서 복합 질문의 틀린 조건을 바로 기록할 수 없는 경우가 단순 질문이 필요한 경우입니다. 단순 질문의 넷째 줄을 모으면 복합 질문의 어느 조건이 문제였는지가 채워집니다. 기록은 한 표에 모아 복합 질문 한 줄 아래에 그 질문에서 나온 단순 질문 줄을 이어서 배치합니다.
조사 순서를 정한 가상 소아청소년과
아래는 설명을 위해 만든 가상의 사례입니다. 한 소아청소년과 의원의 마케팅 담당은 AI 검색에 평일 저녁 진료하고 주차되는 소아청소년과를 물었을 때 의원이 답에 나오지 않는다는 것을 발견했습니다. 원장은 비슷한 복합 질문을 수십 개 만들어 모두 관측하자고 했습니다. 담당 혼자 그 질문들을 모두 관측하려면 몇 주가 걸릴 일이었습니다.
담당은 그 전에 원인을 먼저 가리기로 했습니다. 복합 질문을 쪼개 평일 저녁 진료 소아청소년과, 주차되는 소아청소년과, 그리고 동네 이름을 넣은 소아청소년과라는 단순 질문 세 개를 만들었습니다. 각 질문을 날짜를 달리해 세 번씩 입력했습니다. 입력할 때는 같은 서비스와 같은 기기를 써서 환경의 차이가 섞이지 않게 했습니다.
동네 이름 질문과 주차 질문에서는 의원이 나왔고 정보도 맞았습니다. 평일 저녁 진료 질문에서는 의원이 나오지 않거나, 나와도 저녁 진료가 없다고 설명되었습니다. 홈페이지를 점검하자 저녁 진료 시간이 이미지로만 올라가 있었고, 글자로 된 진료 시간 안내에는 저녁 진료가 빠져 있었습니다. 플레이스의 진료 시간에도 저녁 진료가 한 요일만 적혀 있었습니다.
담당은 진료 시간 안내에 저녁 진료를 글자로 넣고 플레이스 정보와 맞췄습니다. 수십 개의 복합 질문을 관측하는 대신, 원인이 드러난 조건 하나를 고친 뒤 처음의 복합 질문을 다시 관측하기로 했습니다.
조사 결과 보고와 다음 관측
담당은 원장에게 단순 질문 세 개의 관측 기록을 보여 주며, 문제가 저녁 진료 정보 하나였다고 보고했습니다. 복합 질문 수십 개를 관측했다면 같은 원인을 찾는 데 훨씬 많은 시간이 들었을 것이라는 설명도 함께 했습니다. 원장은 복합 질문 목록을 만드는 일은 실제 문의를 센 뒤로 미루는 데 동의했습니다.
진료 시간 안내를 고친 뒤 몇 주 동안 처음의 복합 질문을 같은 방식으로 다시 입력해 결과를 기록하기로 했습니다. 답이 바뀌는 시점은 병원이 정할 수 없으므로, 확인 날짜를 남기고 변화를 기록합니다. 저녁 진료가 글자로 들어간 뒤 단순 질문의 답이 먼저 바뀌는지, 복합 질문의 답이 함께 바뀌는지를 나눠 비교하기로 했습니다.
실제 문의에서 복합 질문이 얼마나 나오는지도 원무에 한 달 동안 세어 달라고 요청했습니다. 그 결과로 다음 관측에서 복합 질문을 몇 개까지 넣을지 정하기로 했습니다.
복합 질문과 단순 질문 관측 자주 묻는 질문
Q1. 단순 질문의 결과가 날마다 다르면 원인을 어떻게 가립니까?
A1. 틀린 결과가 나온 날의 조건을 먼저 대조합니다. 같은 서비스와 같은 기기를 썼는데도 달랐다면, 그 조건의 병원 정보가 곳마다 다르게 적혀 있지 않은지 점검합니다.
Q2. AI 검색 질문 관측을 외부 업체에 맡겨도 됩니까?
A2. 맡길 수 있습니다. 다만 질문 문장, 확인 날짜, 조건마다 맞았는지를 병원이 정한 기록 양식대로 받아야 결과를 비교할 수 있습니다. 결과 요약만 받으면 어느 조건이 틀렸는지 다시 가려낼 방법이 없습니다.
Q3. 복합 질문에 넣을 조건 조합은 누가 정합니까?
A3. 실제 문의를 세는 원무 담당과 관측을 맡은 마케팅 담당이 함께 정합니다. 원무가 센 조합 가운데 병원이 실제로 갖춘 조건이 들어간 것만 목록에 넣습니다. 정한 조합은 관측 목록 위에 정한 날짜와 함께 남깁니다.
Q4. 질문 표현을 조금만 바꿔도 답이 달라지면 어떻게 합니까?
A4. 표현을 바꾼 질문을 따로 기록하고, 어느 표현에서 병원이 빠지는지 비교합니다. 환자가 실제로 쓰는 표현을 문의 기록에서 찾아 그 표현을 관측 목록의 기준으로 삼습니다.
Q5. 단순 질문과 복합 질문의 관측 결과는 병원 안에서 누구와 공유합니까?
A5. 고칠 곳이 병원 정보라면 원무와 홈페이지 담당에게, 설명 글이라면 원고 담당에게 공유합니다. 원장에게는 무엇이 원인이었고 무엇을 고쳤는지를 짧게 보고합니다. 공유할 때는 관측 기록의 원본 표를 함께 넘깁니다.
의료 판단이 든 조건의 예외
의료적 판단이 들어가는 조건, 예를 들어 어떤 증상이면 어느 진료가 맞는지를 묻는 질문은 관측하더라도 병원 글에서 답을 단정하지 않습니다. 이런 조건은 상담이 필요하다는 안내로 다룹니다.
관측한 답을 기록할 때 질문에 개인 정보를 넣지 않습니다. 환자의 실제 문의를 참고하더라도 누가 물었는지는 남기지 않고 질문의 형태만 옮깁니다. 관측에 쓰는 질문 목록은 병원 안에서만 보관합니다.
점검은 병원 정보를 고친 뒤 몇 주 간격으로 합니다. 고친 조건의 단순 질문과 처음의 복합 질문을 함께 다시 입력해 결과를 기록하고, 둘 다 맞게 나오면 관측 간격을 넓힙니다. 진료 시간이나 운영 조건이 달라진 달에는 관련 질문을 다시 관측합니다. 관측 기록은 날짜순으로 한 표에 이어서 남겨, 같은 질문의 답이 언제 달라졌는지 추적할 수 있게 합니다.