검색하지 않은 답에 없는 인용
검색이 드문 AI 질문의 인용률 목표를 나눠 정하는 이유는, AI가 검색 없이 답한 질문에서는 병원 글이 아무리 좋아도 인용이 나올 수 없어 한 목표에 섞으면 인용률이 무엇을 셌는지 흐려지기 때문입니다. AI 검색 관측에서 인용률은 병원 글이 답의 출처로 나오는지를 셉니다. 그런데 AI는 모든 질문에 웹 검색을 하지 않습니다. 어떤 질문에는 검색 없이 이미 가진 지식으로 답하고, 그런 답에는 출처가 나오지 않습니다.
증상의 뜻을 묻는 질문에는 검색 없이 설명만 하고, 특정 지역의 병원을 묻는 질문에는 검색해 출처를 보이는 일이 있습니다. 같은 인용률 목표 안에 두 가지 질문이 섞여 있으면 숫자가 무엇을 말하는지 흐려집니다.
검색 없이 답한 질문을 인용률 목표에 그대로 두면, 병원 글이 아무리 좋아도 그 질문에서는 인용이 나올 수 없습니다. 인용률이 낮게 나와도 글의 문제인지 검색이 없었던 탓인지 가려내기 어렵습니다. 인용률이 낮다는 보고를 받으면 글을 더 쓰거나 고치는 쪽으로 움직이기 쉬운데, 그 전에 숫자가 무엇을 셌는지부터 따져야 합니다.
그렇다고 그 질문을 관측에서 없애면, 검색 없이 나온 답이 병원의 안내와 어긋나는지도 알 수 없게 됩니다. 질문 목적, 검색 상태, 지표 정의 세 가지를 따져 두 관측의 목표를 나누는 방법은 아래와 같습니다.
목표를 나누기 전 따질 세 가지
| 따질 항목 | 무엇을 확인하는가 | 나누는 쪽으로 기우는 경우 |
|---|---|---|
| 질문 목적 | 병원이나 지역의 정보를 구하는 질문인지, 일반 지식을 구하는 질문인지 | 일반 지식을 구하는 질문일 때 |
| 검색 상태 | 관측할 때 AI가 검색을 하고 출처를 보였는지 | 최근 세 번의 관측에서 한 번도 검색하지 않았을 때 |
| 지표 정의 | 인용률을 셀 때 어떤 답이 분모에 들어가는지 | 분모에 검색하지 않은 답이 섞여 있을 때 |
첫째와 둘째 줄이 모두 해당하는 질문은 인용률 목표에서 일반 응답 관측으로 옮깁니다. 둘 가운데 하나만 해당하는 질문은 인용률 목표에 남기되 따로 표시합니다. 셋째 줄은 질문을 옮긴 뒤 인용률을 다시 정의하는 근거입니다.
첫째 줄의 목적은 질문 문장으로 정하고, 답의 내용으로 정하지 않습니다. 둘째 줄에서 세 번을 관측하는 까닭은 한 번의 관측으로는 검색 여부가 우연인지 가려내기 어렵기 때문입니다. 셋째 줄은 질문 하나하나가 아니라 인용률이라는 지표 전체에 대한 점검입니다.
없애지 않고 나누는 목표
검색 기반 관측의 목표는 인용률입니다. 검색해 출처를 보인 답 가운데 병원 글이 출처로 나온 답이 얼마나 되는지를 셉니다. 인용률 목표에 남은 질문도 관측할 때마다 검색 여부를 가려, 검색하지 않은 답은 그날의 분모에서 뺍니다.
일반 응답 관측의 목표는 정확성입니다. 검색 없이 나온 답의 설명이 병원 글의 설명과 어긋나지 않는지를 대조합니다. 두 목표는 따로 기록하고 한 숫자로 합치지 않습니다. 합치면 일반 응답 관측의 결과가 인용률을 끌어내리거나, 정확성 문제가 인용률 뒤에 가려질 수 있습니다.
목표를 나누는 순서
- 인용률 목표에 들어 있는 질문 목록을 꺼냅니다.
- 질문마다 목적을 병원·지역 정보와 일반 지식으로 나눕니다.
- 최근 세 번의 관측 기록에서 질문마다 검색 여부를 확인합니다.
- 두 가지가 모두 해당하는 질문을 일반 응답 관측으로 옮깁니다.
- 한쪽에만 해당하는 질문은 옮기지 않고 목록에 표시합니다.
- 인용률의 분모를 검색한 답으로 다시 정의합니다.
- 일반 응답 관측에서 대조할 병원 글의 설명을 정합니다.
- 바꾼 지표 정의와 바꾼 날짜를 보고서 첫머리에 밝힙니다.
둘째 단계에서 병원·지역 정보는 위치, 진료 시간, 진료 항목처럼 특정 병원을 가리켜야 답할 수 있는 질문을 말합니다. 일반 지식은 어느 병원에 물어도 같은 설명이 나올 질문을 말합니다. 두 가지에 모두 걸치는 질문은 병원·지역 정보로 나눕니다. 병원 정보를 구하는 부분이 있으면 검색이 필요할 수 있기 때문입니다.
넷째 단계에서 옮긴 질문은 관측 목록에서 지우지 않고 일반 응답 관측 칸으로 옮겨 씁니다. 일곱째 단계에서는 병원 글 가운데 그 질문에 답하는 문단을 정해, 관측할 때마다 같은 문단과 견줍니다. 여덟째 단계에서 날짜를 밝히는 것은 바꾸기 전의 보고서를 읽는 사람이 숫자를 잘못 견주지 않게 하려는 것입니다.
나누는 데 쓰는 자료
| 자료 | 쓰임 |
|---|---|
| 목적을 표시한 질문 목록 | 질문 목적을 가립니다. |
| 관측 기록의 검색 여부 | 검색 상태를 판별합니다. |
| 지표 정의 문서 | 인용률의 분모를 다시 정합니다. |
| 병원 글의 설명 문단 | 일반 응답의 정확성을 대조합니다. |
둘째 줄의 검색 여부는 관측할 때 함께 남겨야 나중에 확인할 수 있습니다. 지금까지 남기지 않았다면 다음 관측부터 남기고, 세 번이 모일 때까지 질문을 옮기지 않습니다.
셋째 줄의 지표 정의 문서에는 분자와 분모가 각각 무엇인지 한 문장씩 씁니다. 넷째 줄의 설명 문단은 병원 글을 고치면 함께 고쳐, 대조 기준이 예전 글에 머물지 않게 합니다.
가상 사례로 본 목표 나누기
아래는 설명을 위해 만든 가상의 사례입니다. 실제 병원의 자료가 아닙니다.
가상의 내과 Q의원은 질문 열 개로 인용률을 관측하고 있었는데, 인용률이 몇 달째 낮게 나왔습니다. 담당자가 질문 목적을 나누자 여섯 개는 병원·지역 정보를 구하는 질문이었고, 네 개는 증상의 뜻처럼 일반 지식을 구하는 질문이었습니다.
일반 지식 질문 네 개의 최근 세 번 관측 기록을 확인하자, 세 개는 한 번도 검색하지 않았고 한 개는 한 번 검색했습니다. 한 번도 검색하지 않은 세 개는 두 가지가 모두 해당하므로 일반 응답 관측으로 옮겼습니다. 옮긴 세 질문은 증상의 뜻, 검사가 어떤 순서로 이루어지는지, 생활 습관에 관한 질문이었습니다. 한 번 검색한 한 개는 첫째 줄만 해당하므로 인용률 목표에 남기고 표시했습니다. 그 질문이 검색했던 한 번의 답에서는 다른 곳의 글이 출처로 나왔습니다.
담당자는 옮기기 전에 옮길 세 질문의 지난 인용률 기록을 따로 떼어 보관했습니다. 나중에 옮긴 까닭을 설명할 때 쓰기 위해서입니다.
지금까지의 인용률은 검색하지 않은 답까지 분모에 넣어 셈한 것이었습니다. Q의원은 인용률을 검색해 출처를 보인 답 가운데 병원 글이 출처로 나온 답의 비율로 다시 정의했습니다. 정의 문장은 ‘관측한 모든 답 가운데 병원 글이 출처로 나온 비율’에서 ‘검색해 출처를 보인 답 가운데 병원 글이 출처로 나온 비율’로 변경했습니다.
바꾼 정의를 보고서에 싣는 방법
바꾼 뒤 인용률 목표에는 질문 일곱 개가, 일반 응답 관측에는 질문 세 개가 남았습니다. 보고서 첫머리에는 바꾼 날짜와 바꾸기 전후의 정의를 함께 실었습니다.
바꾸기 전의 인용률과 바꾼 뒤의 인용률은 한 줄로 잇지 않고, 정의가 달라진 곳에 선을 그어 나누었습니다. 다음 관측부터는 모든 질문의 검색 여부를 관측 기록에 함께 남기기로 했습니다.
일반 응답 관측의 결과는 인용률 표 아래에 따로 표를 만들어 실었습니다. 첫 일반 응답 관측에서 세 질문의 답은 병원 글의 설명과 어긋나지 않았습니다. 표시한 한 질문은 인용률 표 안에 남기되 표시를 함께 실었습니다.
AI 질문 인용률 목표 자주 묻는 질문
Q1. AI가 질문에 웹 검색을 할지 말지는 무엇으로 정해지나요?
A1. 병원이 정확히 알 수 없습니다. 서비스마다, 시기마다 달라질 수 있으므로 관측에서 실제로 나타난 상태를 근거로 씁니다. 같은 질문이라도 날에 따라 다르게 처리될 수 있습니다.
Q2. 인용률 관측 질문 문장을 바꿔 AI가 검색을 하게 만들면 안 되나요?
A2. 관측 질문은 환자가 실제로 쓰는 문장이어야 합니다. 검색을 끌어내려고 문장을 바꾸면 관측 결과가 실제 환자의 경험과 멀어집니다. 다른 문장이 궁금하다면 그 문장을 새 질문으로 더하고, 원래 질문은 그대로 관측합니다.
Q3. AI가 검색 없이 내놓은 답에 병원 이름이 들어 있으면 인용률에 넣나요?
A3. 기록하되 인용률에 넣지 않습니다. 출처가 없는 언급이라 어디에서 온 정보인지 확인할 수 없습니다. 이름이 나온 날짜와 질문을 남기면, 검색이 이루어진 날에 같은 이름이 출처와 함께 나오는지 견줄 수 있습니다.
Q4. 검색했는지 표시가 없는 AI 서비스는 어떻게 기록하나요?
A4. 검색 여부를 알 수 없음으로 따로 기록합니다. 검색하지 않음으로 기록하면 질문이 잘못 옮겨질 수 있습니다. 검색 여부를 알아낼 다른 방법이 있는지는 그 서비스의 안내에서 찾습니다.
Q5. 관측 기록에서 검색 여부를 적는 칸은 어떻게 만드나요?
A5. 관측 기록에 검색함, 검색하지 않음, 알 수 없음 가운데 하나를 표시하는 칸을 더합니다. 표시한 사람과 날짜도 함께 남겨 다음 관측 때 같은 기준으로 표시합니다.
다르게 정하는 경우
제도나 안내가 바뀐 직후처럼 새 정보가 필요한 일반 질문은 검색이 다시 늘어날 수 있습니다. 이런 질문은 옮긴 뒤에도 검색 상태를 더 자주 점검합니다.
AI 서비스가 기본 설정을 바꿔 검색을 더 하게 되었다면, 옮긴 질문 전체의 검색 상태를 다시 조사합니다.
병원 이름을 넣은 질문처럼 병원 정보를 구하는 질문이 검색 없이 답해졌다면, 옮기지 않고 그 답이 맞는지부터 확인합니다.
관측하는 AI 서비스를 둘 이상 쓰고 있다면 검색 상태는 서비스마다 따로 기록합니다. 한 서비스에서 검색하지 않았다고 다른 서비스에서도 그렇다고 할 수 없기 때문입니다.
검색 상태의 이어진 확인
일반 응답 관측으로 옮긴 질문도 관측할 때마다 검색 여부를 남깁니다. 다시 검색하기 시작한 질문은 세 번의 관측이 모인 뒤 인용률 목표로 되돌립니다.
일반 응답의 설명이 병원 글과 어긋났다면, 병원 글의 설명이 지금도 맞는지 먼저 확인합니다.
옮긴 질문의 수와 되돌린 질문의 수는 보고서에 함께 실어, 목표가 어떻게 달라졌는지 읽을 수 있게 합니다.
병원 글의 설명이 맞는데도 어긋남이 이어진다면, 그 설명을 더 분명하게 쓸 수 있는지 검토합니다.