같은 조건끼리 묶어서 하는 비교
계정 조건을 모두 맞출 수 없어도 병원 GEO 비교 조사는 이어 갈 수 있습니다. 같은 조건끼리 묶어서 비교하되, 검토 목적에 따라 묶음 검토로 충분한지가 달라집니다. AI 답변 서비스에서 병원이 어떻게 언급되는지 비교 조사를 하려면 같은 질문을 같은 조건에서 넣어야 합니다. 그런데 실제로는 관측하는 사람마다 계정 조건이 다릅니다. 로그인하지 않고 쓰는 사람, 무료 계정으로 로그인한 사람, 유료 계정을 쓰는 사람이 섞여 있고, 대화 기록이나 개인 설정을 쓰는지도 제각각입니다.
이 상태에서 모든 관측을 한데 모아 평균을 내면 숫자의 뜻이 흐려집니다. 계정 조건에 따라 답이 달라질 수 있다면, 평균은 조건이 섞인 비율에 따라 오르내립니다. 지난달보다 숫자가 올라도 병원의 변화 때문인지 관측자 구성이 달라져서인지 가를 수 없습니다.
그렇다고 조사를 멈출 필요는 없습니다. 조건을 모두 통일할 수 없다면 같은 조건끼리 묶어서 비교합니다. 로그인하지 않은 관측끼리, 같은 종류의 계정으로 한 관측끼리 묶고, 비교는 묶음 안에서만 합니다. 묶음 사이의 차이는 비교하지 않고 따로 기록합니다.
묶음 비교가 얼마나 쓸모 있는지는 비교의 목적에 달려 있습니다. 병원 정보가 정확하게 답해지는지를 달마다 확인하는 것이 목적이라면, 한 묶음만 꾸준히 관측해도 충분합니다. 반대로 모든 사용자에게 병원이 어떻게 보이는지 전체 모습을 알고 싶다면, 묶음 비교로는 답할 수 없다는 한계를 보고서에 밝힙니다.
묶음 비교는 숫자가 작아진다는 단점이 있습니다. 전체를 합쳤을 때보다 묶음 하나의 관측 수는 적기 때문에, 한두 건의 변화도 크게 느껴질 수 있습니다. 그래서 묶음 안에서도 한 달의 결과만으로 판단하지 않고 몇 달의 흐름을 함께 확인합니다.
그래서 먼저 세 가지를 확인합니다. 관측에 쓰는 계정의 기능이 무엇인지, 관측이 조건별로 어떻게 분포하는지, 이 조사로 무엇을 비교하려는지입니다.
비교 목적에 따라 달라지는 묶음 비교의 쓸모
| 검토 목적 | 필요한 조건 통일 | 묶음 검토로 충분한지 |
|---|---|---|
| 병원 정보가 정확히 답해지는지 확인 | 한 묶음 안에서만 통일 | 충분함 |
| 달마다 언급 변화 추적 | 같은 묶음을 매달 유지 | 묶음을 유지하면 충분함 |
| 모든 사용자 기준의 전체 모습 | 모든 조건을 대표하는 표본 | 부족함, 한계를 밝힘 |
셋째 줄의 목적은 병원이 관측만으로 이루기 어려운 목표입니다. 이 목적을 요구받으면 가능한 범위를 설명하고, 첫째와 둘째 줄의 목적으로 조사를 좁히는 것을 제안합니다.
관측을 조건별로 묶는 순서
- 관측에 참여하는 사람마다 쓰는 계정의 종류와 기능을 조사합니다. 로그인 여부, 계정 종류, 대화 기록 사용 여부, 개인 설정 여부를 한 줄씩 정리합니다.
- 조사한 조건이 같은 사람끼리 묶음을 만들고, 묶음마다 이름을 정합니다.
- 묶음마다 관측 수가 얼마나 되는지 셉니다. 관측 수가 너무 적은 묶음은 대조에 쓰지 않고 참고로만 남깁니다.
- 이번 조사의 검토 목적을 한 문장으로 정하고, 그 목적에 맞는 묶음을 기준 묶음으로 정합니다.
- 기준 묶음 안에서만 달별 검토를 하고, 다른 묶음의 결과는 견주지 않은 채 옆에 따로 기록합니다.
셋째 단계에서 관측 수가 적은 묶음을 버리지 않고 참고로 남기는 이유는, 그 조건에서 병원 정보가 틀리게 답해지는 일을 발견할 수도 있기 때문입니다. 검토에는 쓰지 않더라도 정보 오류를 찾는 데에는 쓸 수 있습니다.
첫째 단계에서 계정의 기능은 관측자가 직접 확인해 알려 주도록 합니다. 대화 기록을 쓰는지, 개인 설정에 병원이나 지역 정보가 들어가 있는지는 관측자 본인만 알 수 있는 경우가 있습니다.
둘째 단계의 묶음 이름은 조건이 드러나게 짓습니다. 로그인 없음, 무료 계정 대화 기록 사용처럼 이름만 보고도 어떤 조건인지 알 수 있으면, 나중에 보고서를 읽는 사람이 조건표를 따로 찾지 않아도 됩니다.
넷째 단계에서 기준 묶음은 앞으로도 같은 조건으로 계속 관측할 수 있는지를 보고 정합니다. 한 사람의 개인 계정에만 의존하는 묶음은 그 사람이 바뀌면 끊기므로, 로그인하지 않은 관측처럼 누구나 같은 조건을 만들 수 있는 묶음이 기준으로 적합합니다.
묶음마다 조건과 활용 범위 정리
| 묶음 | 계정 조건 | 관측 수 | 활용 범위 |
|---|---|---|---|
| 첫째 묶음 | 로그인하지 않음, 대화 기록 없음 | 충분함 | 기준 묶음, 달별 대조 |
| 둘째 묶음 | 무료 계정 로그인, 대화 기록 사용 | 적음 | 참고로만 기록 |
| 셋째 묶음 | 유료 계정 로그인, 개인 설정 있음 | 적음 | 참고로만 기록 |
넷째 칸의 활용 범위는 관측 수와 대조 목적을 함께 보고 정합니다. 둘째 묶음과 셋째 묶음도 관측 수가 충분해지면 각각의 묶음 안에서 달별 대조를 할 수 있습니다.
둘째 칸의 계정 조건은 관측을 시작할 때마다 다시 확인합니다. 같은 사람이라도 계정 설정을 바꾸면 다른 묶음으로 옮겨야 하기 때문입니다.
가상의 피부과에서 섞인 관측을 다시 묶은 과정
아래는 설명을 위해 만든 가상의 사례입니다. 한 피부과 의원은 대행사와 함께 AI 답변 서비스에서 병원이 어떻게 언급되는지 달마다 조사하고 있었습니다. 직원 네 명이 같은 질문 열 개를 각자 서비스에 넣고, 병원이 언급된 횟수를 모두 합쳐 보고하는 방식이었습니다.
석 달째 보고서에서 언급 횟수가 크게 줄었습니다. 원장은 무엇이 잘못되었는지 물었고, 마케팅 담당은 관측한 직원들의 계정 조건부터 확인했습니다. 두 명은 로그인하지 않고 썼고, 한 명은 무료 계정으로 로그인해 대화 기록을 쓰고 있었으며, 나머지 한 명은 유료 계정에 개인 설정을 해 두고 있었습니다.
더 확인해 보니 이번 달에는 유료 계정을 쓰던 직원이 휴가를 떠나 다른 직원이 로그인하지 않은 상태로 대신 관측했습니다. 관측자 구성이 달라진 것입니다. 전체 관측 마흔 건을 한데 합친 숫자는 병원의 변화가 아니라 이 구성 변화를 반영했을 수 있었습니다.
마케팅 담당은 지난 석 달의 관측을 계정 조건별로 다시 나누었습니다. 로그인하지 않은 두 명의 관측 스무 건은 석 달 모두 같은 조건이었고, 이 묶음 안에서 견주면 언급 횟수는 거의 달라지지 않았습니다. 이번 달 대신 관측한 직원의 열 건은 조건은 같았지만 관측자가 달라 따로 표시했습니다.
기준 묶음과 새 보고 방식
마케팅 담당은 원장에게 전체 합계 대신 묶음별 결과를 보고했습니다. 로그인하지 않은 묶음을 기준 묶음으로 삼으면 석 달 동안 큰 변화가 없었다는 점, 지난달의 감소는 관측자 구성이 달라진 영향일 수 있다는 점을 함께 적었습니다.
대행사에는 다음 달부터 관측 기록에 관측자의 계정 조건을 한 칸 추가해 달라고 요청했습니다. 보고서에는 기준 묶음의 달별 대조를 앞에 두고, 나머지 묶음은 참고로 따로 적기로 했습니다.
기준 묶음의 관측은 한 사람이 빠져도 이어질 수 있도록 로그인하지 않은 상태로 누구나 맡을 수 있게 정했습니다. 관측 순서와 질문 목록은 한 장에 정리해 공유했습니다.
새 방식으로 처음 보고한 달, 원장은 기준 묶음의 숫자와 참고 묶음의 숫자를 나란히 놓고, 관측 조건에 따라 결과가 달라질 수 있다는 점을 직접 확인했습니다.
원장이 궁금해한 모든 사용자에게 병원이 어떻게 보이는지는 이 조사로 답할 수 없다는 점도 보고서 끝에 밝혔습니다. 조사의 목적은 병원 정보가 정확하게 답해지는지와 기준 묶음의 달별 변화로 좁혔습니다.
GEO 비교 조사 자주 묻는 질문
Q1. 조건을 맞추려고 관측용 계정을 새로 만들어도 됩니까?
A1. 계정을 만들고 여러 사람이 함께 쓰는 방식이 서비스의 이용 약관에 맞는지 먼저 확인합니다. 약관에 맞지 않는다면 로그인하지 않은 상태처럼 계정 없이 만들 수 있는 조건을 기준으로 삼는 편이 안전합니다.
Q2. 대화 기록을 지우고 관측하면 조건이 같아집니까?
A2. 기록을 지우는 것만으로 계정의 다른 설정까지 같아지지는 않을 수 있습니다. 기록을 지운 관측도 그 사실을 표시해 두고, 지우지 않은 관측과 같은 묶음에 넣을지는 결과를 몇 달 견줘 본 뒤 판단합니다.
Q3. 관측한 답은 어떤 형태로 남겨야 합니까?
A3. 답의 일부만 옮겨 적으면 나중에 앞뒤 맥락을 확인할 수 없습니다. 질문과 답 전체를 화면째 저장하고, 파일 이름에 날짜와 묶음 이름을 넣습니다. 답이 길다면 병원이 언급된 부분에 표시만 더합니다.
Q4. 관측 질문은 몇 개가 적당합니까?
A4. 기준 묶음이 매달 빠짐없이 관측할 수 있는 수가 적당합니다. 질문이 많아 관측이 밀리면 달마다 빠지는 질문이 생기고, 그만큼 대조가 흔들립니다. 적은 질문을 꾸준히 관측하는 편이 달별 대조에 유리합니다.
Q5. 이 조사 결과로 다른 병원과 견줘도 됩니까?
A5. 다른 병원을 같은 질문과 같은 묶음 조건에서 관측했다면 그 묶음 안에서 견줄 수 있습니다. 다만 결과는 그 조건에서 본 모습일 뿐이므로, 다른 병원보다 낫다는 결론으로 바로 옮기지 않습니다.
서비스 기능 변경의 예외와 점검
서비스가 기능을 바꾸면 같은 계정 조건이라도 답의 방식이 달라질 수 있습니다. 서비스의 변경 소식을 접한 달은 기록에 표시하고, 그 전후의 결과를 곧바로 이어 견주지 않습니다.
관측자가 휴가나 퇴사로 빠지는 달에는 같은 묶음 조건을 맞출 수 있는 사람이 대신 관측합니다. 맞출 수 없다면 그달 그 묶음은 관측하지 않은 것으로 남기고, 다른 조건의 관측으로 채우지 않습니다.
질문 목록을 바꾸는 달도 대조가 끊깁니다. 질문을 새로 넣거나 빼야 한다면 한 번에 몇 개씩만 바꾸고, 바꾸지 않은 질문끼리의 대조를 이어 갑니다.
점검은 석 달마다 묶음 구성과 관측 수를 확인하는 것으로 합니다. 기준 묶음의 관측이 빠진 달이 있는지, 새 관측자가 들어와 조건이 섞이지 않았는지 대조합니다.