다시 확인할 수 있어야 받는 납품
ChatGPT 관측을 대행하는 업체에서 받을 납품 증거는, 병원이 같은 조건으로 다시 확인할 수 있는 수준이어야 합니다. 답변 문장만 옮겨 붙인 보고서는 그 답이 언제, 어떤 질문에, 어떤 상태에서 나온 것인지 알 수 없어 병원이 사실인지 가늠할 방법이 마땅치 않습니다.
AI 답변은 질문 문장, 질문한 시각, 로그인 여부, 쓰인 기능에 따라 달라질 수 있습니다. 같은 질문이라도 오늘 받은 답과 다음 주 받은 답이 다를 수 있으므로, 납품에는 답변과 함께 그 답이 나온 조건이 담겨야 나중에 달라진 답을 비교할 기준이 생깁니다.
그래서 납품 수준을 세 단계로 나눕니다. 답변 문장만 받는 수준, 답변과 함께 화면 근거를 받는 수준, 그리고 화면 근거에 관측 조건까지 받는 수준입니다. 병원이 재검증할 수 있는 것은 셋째 수준부터입니다.
이 기준은 업체를 믿지 못해서 세우는 것이 아닙니다. 관측 결과로 병원이 원고를 고치거나 예산을 바꾸는 결정을 내린다면, 그 결정의 근거를 병원 스스로 점검할 수 있어야 합니다. 업체에게도 어떤 조건에서 관측했는지를 남기는 것이 나중에 결과가 달라졌을 때 설명할 근거가 됩니다.
납품 증거의 세 수준
| 수준 | 담기는 것 | 병원이 할 수 있는 확인 |
|---|---|---|
| 답변 문장만 | 업체가 옮긴 답변 텍스트 | 내용을 읽을 수는 있으나 실제로 그렇게 나왔는지는 확인하기 어려움 |
| 화면 근거 포함 | 답변 텍스트와 답변 화면 이미지 | 답이 실제로 나왔다는 것은 확인되나 같은 조건으로 다시 묻기 어려움 |
| 관측 조건 포함 | 텍스트, 화면, 질문 원문, 날짜와 시각, 로그인 여부, 사용한 기능, 답변에 표시된 출처 | 같은 조건으로 다시 물어 결과를 비교할 수 있음 |
셋째 수준에서 출처 목록이 중요한 이유는, 답변이 병원의 어느 페이지를 인용했는지를 알아야 병원이 고칠 곳을 정할 수 있기 때문입니다. 답변에 출처가 표시되지 않았다면 그 사실도 「출처 표시 없음」으로 남깁니다.
둘째 수준도 쓸모가 없지는 않습니다. 화면 이미지로 답변이 실제로 나왔다는 사실은 확인되므로, 관측을 막 시작해 조건 항목을 업체와 맞춰 가는 첫 달에는 둘째 수준으로 받으면서 둘째 달부터는 셋째 수준으로 차례로 옮겨 가는 방법도 있습니다.
납품 범위를 정하고 확인하는 여섯 단계
- 마케팅 담당자가 관측할 질문 목록을 업체와 함께 확정하고, 질문 문장을 그대로 계약 부속 문서에 넣습니다.
- 운영 책임자가 계약에 납품 수준을 셋째 수준으로 밝히고, 관측 조건에 들어갈 항목을 하나씩 나열합니다.
- 업체가 첫 달 납품 전에 질문 두세 개로 견본 보고를 보내고, 마케팅 담당자가 항목이 모두 들어 있는지 확인합니다.
- 매달 납품을 받으면 마케팅 담당자가 그 가운데 몇 개를 뽑아 같은 조건으로 다시 물어 결과를 비교합니다.
- 다시 물은 결과가 납품과 크게 다르면 마케팅 담당자가 조건 가운데 무엇이 달랐는지 확인하고, 업체에 설명을 요청합니다.
- 운영 책임자가 석 달마다 재검증 결과를 모아 납품 범위나 질문 목록을 고칠지 정합니다.
넷째 단계에서 모든 답변을 다시 묻지 않고 일부만 뽑는 이유는, 재검증도 시간이 드는 일이기 때문입니다. 뽑는 방법을 미리 정해, 예컨대 납품을 받은 뒤 추첨으로 뽑으면 업체가 어느 답변이 재검증될지 미리 알 수 없어 일부만으로도 납품 전체의 신뢰를 가늠할 수 있습니다.
다섯째 단계에서 결과가 다르다고 곧바로 업체의 잘못으로 판정하지 않습니다. AI 답변은 조건이 같아도 시각에 따라 달라질 수 있어, 먼저 조건 차이를 확인하고 그래도 설명되지 않을 때 업체와 이야기합니다.
여섯째 단계의 석 달 검토에서는 재검증한 질문 가운데 조건 차이로 설명된 것과 설명되지 않은 것을 따로 셉니다. 설명되지 않은 것이 늘어난다면 질문 목록이 AI 답변의 변화가 큰 주제에 몰려 있는지도 함께 확인합니다.
납품 검수표
| 항목 | 확인할 내용 |
|---|---|
| 질문 원문 | 계약 부속 문서의 질문과 같은지 |
| 화면 근거 | 답변 화면 이미지가 질문마다 있는지 |
| 관측 조건 | 날짜와 시각, 로그인 여부, 사용한 기능이 빠짐없이 있는지 |
| 출처 | 답변에 표시된 출처 목록 또는 「출처 표시 없음」 |
| 재검증 | 다시 물은 질문, 날짜, 결과 비교 |
검수표는 매달 납품마다 한 장씩 채웁니다. 한 항목이라도 비어 있으면 그 달 납품을 받기 전에 업체에 보완을 요청하고, 보완된 날짜를 검수표에 함께 남깁니다.
답변 문장 서른 개만 받던 한방병원 사례
아래는 설명을 위해 만든 가상의 상황입니다. 업체 이름은 쓰지 않고, 건수는 검수 흐름을 보여 주기 위해 정한 값입니다.
한 한방병원은 관측 대행 업체로부터 매달 ChatGPT 답변 서른 개를 받아 왔습니다. 보고서에는 질문 요약과 답변 문장만 있었고, 병원 이름이 몇 번 나왔는지가 월별 그래프로 붙어 있었습니다.
마케팅 담당자가 지난달 보고서의 질문 다섯 개를 다시 물었지만, 보고서의 질문 요약만으로는 원래 질문 문장을 알 수 없어 비교가 어려웠습니다. 운영 책임자는 다음 달부터 셋째 수준으로 납품하도록 계약 부속 문서를 고쳤고, 질문 서른 개의 원문도 부속 문서에 넣었습니다.
업체는 첫 달 전에 질문 세 개로 견본 보고를 보냈습니다. 견본에는 화면 이미지와 질문 원문, 날짜와 시각이 있었지만 로그인 여부와 출처 목록이 빠져 있었습니다. 마케팅 담당자가 두 항목을 요청했고, 업체는 두 번째 견본에서 이를 채웠습니다.
셋째 수준으로 받은 첫 달, 마케팅 담당자는 서른 개 가운데 다섯 개를 같은 조건으로 다시 물었습니다. 세 개는 납품과 거의 같은 답이 나왔고, 두 개는 달랐습니다.
마케팅 담당자는 첫 달 재검증 결과를 운영 책임자에게 보고하면서, 셋째 수준으로 바꾼 덕분에 달랐던 두 개의 이유를 찾을 수 있었다는 점을 함께 설명했습니다. 이전처럼 답변 문장만 받았다면 두 개가 달랐다는 사실만 남고 이유는 알 수 없었을 것입니다.
재확인에서 달랐던 두 개의 원인
달랐던 두 개 가운데 하나는 조건 차이였습니다. 업체는 로그인하지 않은 상태에서 물었는데, 마케팅 담당자는 로그인한 상태로 물었던 것입니다. 로그인하지 않은 상태로 다시 묻자 납품과 비슷한 답이 나왔습니다.
다른 하나는 조건이 같은데도 답의 출처가 달랐습니다. 업체 납품에는 병원 홈페이지가 출처로 표시되어 있었지만, 다시 물었을 때는 다른 블로그 글이 출처로 나왔습니다. 마케팅 담당자는 이 차이를 검수표에 남기고, 업체에 해당 질문을 다음 주에 한 번 더 관측해 달라고 요청했습니다.
운영 책임자는 석 달 뒤 재검증 결과를 모아 검토하기로 하고, 계약 부속 문서에 「재검증 결과가 조건 차이로 설명되지 않는 경우 업체가 추가 관측을 한 번 제공한다」는 문장을 더했습니다.
다음 주 업체가 다시 관측한 결과, 그 질문의 출처는 병원 홈페이지로 돌아와 있었습니다. 마케팅 담당자는 두 번의 결과를 모두 검수표에 남기고, 이 질문을 출처가 흔들리는 질문으로 따로 표시했습니다.
셋째 수준을 요구하기 어려운 경우
관측 질문이 아주 많아 질문마다 화면 이미지를 받기 어렵다면, 모든 질문에 셋째 수준을 요구하는 대신 일부 핵심 질문만 셋째 수준으로, 나머지는 첫째 수준으로 받는 방식을 검토합니다. 어느 질문이 핵심인지는 병원이 먼저 정합니다.
업체가 자체 도구로 관측해 화면 이미지 대신 도구의 기록 파일을 준다면, 그 파일에 관측 조건이 모두 담겨 있는지 확인합니다. 형식이 달라도 병원이 같은 조건으로 다시 물을 수 있다면 셋째 수준과 같은 쓰임을 할 수 있습니다.
관측 대상이 ChatGPT 하나가 아니라 여러 AI 서비스라면 서비스마다 관측 조건의 항목이 다를 수 있습니다. 서비스별로 조건 항목을 따로 정해 계약 부속 문서에 넣습니다.
관측 질문에 환자의 개인 사정을 넣어야 하는 경우라면, 업체에 넘기는 질문 원문에서 개인을 떠올릴 수 있는 내용을 빼고 일반적인 질문으로 고친 뒤 부속 문서에 넣습니다.
ChatGPT 관측 납품 자주 묻는 질문
Q1. ChatGPT 관측의 화면 이미지 파일은 얼마 동안 보관합니까?
A1. 계약 기간 동안은 병원이 모두 보관하고, 계약이 끝난 뒤에도 재검증 결과와 함께 병원이 정한 기간 동안 남깁니다. 업체 쪽에만 두면 거래가 끝날 때 함께 사라질 수 있으므로, 달마다 납품을 받을 때 병원 보관함으로 옮깁니다.
Q2. 재검증 결과가 계속 다르게 나오면 업체를 교체해야 합니까?
A2. 석 달 넘게 어긋남이 이어졌다면 업체와 마주 앉아 일하는 방식을 하나씩 확인할 시점입니다. 어느 기기와 어느 계정으로, 하루 중 언제 물었는지를 병원 담당자가 직접 옆에서 한 번 지켜보는 기회를 요청하면 차이의 까닭이 드러나기도 합니다. 그래도 풀리지 않으면 계약 정리를 운영 책임자가 판단합니다.
Q3. 병원 이름이 몇 번 나왔는지 세는 그래프는 쓸모가 없습니까?
A3. 흐름을 파악하는 데는 쓸 수 있지만, 셋째 수준의 근거가 뒷받침될 때에만 믿을 수 있습니다. 그래프만 받고 근거가 없다면 숫자가 어떻게 세어졌는지 확인할 방법이 없습니다.
Q4. ChatGPT 관측을 병원이 직접 하는 편이 낫지 않습니까?
A4. 질문이 적다면 직접 하는 편이 비용을 줄일 수 있습니다. 다만 매달 같은 조건을 지키며 기록을 남기는 일은 꾸준한 손이 필요하므로, 직접 한다면 이 글의 관측 조건 항목을 그대로 병원의 기록 양식으로 씁니다.
Q5. 관측 업체가 일하는 방법을 영업 비밀이라며 알려 주지 않으면 어떻게 합니까?
A5. 어떤 도구를 쓰는지까지 캐물을 필요는 없습니다. 우리 쪽에 꼭 있어야 하는 것은 같은 질문을 같은 모양으로 다시 던질 수 있는 몇 줄뿐이니, 그 몇 줄을 「매달 반드시 받는 것」으로 계약서에 명시하는 편이 협상을 부드럽게 합니다. 그 최소한마저 거절한다면 비용을 낮추거나 다른 업체를 알아보는 쪽으로 판단합니다.