AI가 병원 안내를 위험한 권고로 바꿀 때 먼저 정정하는 이유

다른 오류보다 먼저 다루는 위험 권고

우선순위를 정하는 기준은 두 가지입니다. 하나는 그 답을 따랐을 때 이용자에게 생길 수 있는 위험이고, 다른 하나는 그 답이 얼마나 넓게 노출되는지입니다. 위험한 행동을 권하는 답이라면 노출이 좁아도 긴급으로 다루고, 운영 오류라면 노출 범위에 따라 순서를 정합니다.

다만 어떤 답이 환자에게 위험한지는 홍보 담당이 판단하지 않습니다. 무엇이 위험한지는 진료를 아는 사람이 정합니다. 병원 운영 쪽에서 정하는 것은 전문 검토를 누구에게 의뢰할지, 원인으로 보이는 병원 페이지를 공개 보류할지, 정정을 누가 책임질지입니다.

정정한 뒤에는 같은 질문으로 AI 답변을 다시 묻는 관측을 이어 갑니다. 위험한 권고가 더 나오지 않는다는 점이 미리 정한 조건만큼 검증된 뒤에야 평소의 점검 주기로 돌아갑니다.

오류 세 종류와 정정 순서

세 줄 가운데 첫째 줄만 노출 범위를 따지지 않습니다. 둘째 줄과 셋째 줄은 같은 운영 오류라도 확산 범위에 따라 순서가 달라집니다. 첫째 줄에 해당하는지 판단이 서지 않는 동안에는 첫째 줄로 다루고, 전문 검토 결과가 나오면 다시 정합니다.

한 번에 여러 오류가 들어오면 이 표로 순서를 정한 뒤 처리합니다. 들어온 순서대로 처리하면, 먼저 제보된 운영 오류를 고치는 동안 위험한 권고가 계속 노출될 수 있습니다.

위험 답변 정정 순서

1. 오류를 발견한 직원이 홍보 담당에게 알리고, 홍보 담당이 오류 응답을 질문과 날짜와 함께 화면으로 저장합니다.
2. 홍보 담당이 원장이나 해당 진료과 전문의에게 전문 검토를 의뢰합니다.
3. 홍보 담당이 같은 질문과 비슷한 질문으로 여러 서비스에서 확산 범위를 조사합니다.
4. 전문 검토와 확산 범위를 바탕으로 앞의 표 세 줄 가운데 어디에 해당하는지 정합니다.
5. 첫째 줄이라면 원인으로 보이는 병원 페이지의 공개 보류 여부를 원장이 정하고, 홈페이지 관리 업체가 보류하거나 고칩니다.
6. 홍보 담당이 각 서비스의 오류 신고 경로로 신고하고, 관측 재개 조건을 정해 다시 점검합니다.

둘째 단계의 전문 검토는 답이 위험한지 아닌지만 묻지 않습니다. 병원의 원래 안내가 정확했는지, 원래 안내 문장에 오해를 부를 부분이 있었는지도 함께 묻습니다. 원래 안내에 문제가 있었다면 AI 답변만 신고해서는 같은 오류가 다시 나올 수 있기 때문입니다.

다섯째 단계의 공개 보류는 페이지를 지우는 것이 아닙니다. 고칠 때까지 공개를 멈추고, 고친 문장을 원장이 확인한 뒤 다시 공개합니다.

셋째 단계에서 확산 범위를 조사할 때는 제보받은 질문만 다시 묻지 않습니다. 같은 뜻을 다른 말로 묻는 질문, 진료 이름을 바꿔 묻는 질문도 함께 물어, 오류가 한 질문에만 나오는지 비슷한 질문 전반에 나오는지 구분합니다. 이 구분이 둘째 줄과 셋째 줄을 가르는 근거가 됩니다.

정정하면서 남길 자료

세 자료 가운데 전문 검토만 검토한 사람이 직접 남기고, 나머지 둘은 홍보 담당이 남깁니다. 전문 검토의 문장은 홍보 담당이 요약하거나 고치지 않습니다. 확산 범위에는 오류가 나오지 않은 서비스도 함께 남겨, 정정 뒤 다시 물을 때 비교할 수 있게 합니다.

오류 응답은 화면을 저장한 그대로 보관하고, 옮겨 쓰지 않습니다. AI 답변은 같은 질문에도 날마다 달라질 수 있어, 나중에 다시 물으면 같은 답을 얻지 못할 수 있기 때문입니다. 저장한 화면이 있어야 서비스에 신고할 때도, 정정 뒤 달라졌는지 비교할 때도 근거가 됩니다.

위험한 AI 답변을 먼저 정정한 가상 소화기내과

아래는 설명을 위해 만든 가상의 상황입니다. 한 소화기내과 접수 직원이 환자에게서, AI 검색에 이 병원은 내시경 전에 혈액을 묽게 하는 약을 스스로 끊으라고 안내한다고 나온다는 말을 들었습니다. 병원 안내문에는 처방한 의사와 먼저 상의하라고 적혀 있었습니다. 같은 주에 다른 AI 답변에서는 토요일 진료 시간이 예전 시간으로 나온다는 제보도 있었습니다.

홍보 담당은 두 오류 응답을 저장하고, 약 복용 답변은 원장에게 전문 검토를 의뢰했습니다. 원장은 그 답을 따르면 환자에게 위험할 수 있다고 판단했고, 원래 블로그 글의 한 문장이 상의 없이 중단한다는 뜻으로 읽힐 수 있다고 남겼습니다. 이 답변은 표의 첫째 줄에 해당했습니다. 원장은 그 글의 공개 보류를 정했고, 홈페이지 관리 업체가 그날 보류했습니다.

토요일 진료 시간 오류는 확산 범위를 조사하니 여러 서비스에서 되풀이되고 있었습니다. 둘째 줄에 해당했으므로 첫째 줄 정정이 끝난 뒤 진료 안내 페이지를 고치고 신고했습니다. 한 서비스, 한 질문에서만 나타난 운영 오류는 없었으므로 셋째 줄에는 해당하는 오류가 없었습니다.

원장이 고친 문장을 확인한 뒤 블로그 글을 다시 공개했고, 홍보 담당은 두 오류를 각 서비스의 신고 경로로 신고한 뒤 같은 질문으로 다시 묻는 관측을 시작했습니다.

홍보 담당은 관측을 끝낼 조건으로 두 오류의 질문과 비슷한 질문을 여러 서비스에서 일정한 간격으로 다시 점검하기로 정하고, 이 조건을 확산 범위 자료에 남겼습니다.

담당 교체 뒤에도 지키는 판단 기준

홍보 담당이 바뀌면 세 자료와 관측 중인 질문 목록을 함께 넘깁니다. 새 담당자에게는 위험 여부를 스스로 판단하지 않고 전문 검토를 의뢰한다는 원칙을 가장 먼저 알립니다.

전문 검토를 맡는 사람이 바뀌는 경우에는 원장이 새 검토자를 정하고, 긴급 의뢰가 들어왔을 때 연락할 방법을 홍보 담당과 함께 맞춥니다. 검토자에게 연락이 닿지 않는 때를 대비해 다음 검토자도 미리 정합니다.

원인 페이지를 고치는 홈페이지 관리 업체가 바뀌는 경우에는 공개 보류를 요청하는 방법과 연락처를 새 업체와 다시 맞춥니다. 긴급한 보류가 필요한 날 연락이 닿지 않으면, 위험한 권고가 그만큼 오래 노출됩니다.

위험한 AI 답변 정정 자주 묻는 질문

병원과 무관한 내용의 예외와 점검