평소의 신뢰와 대조가 필요한 계기
자동 순위 측정 결과는 평소에는 그대로 쓰고, 측정 도구를 바꿨을 때·검색 화면 구성이 바뀐 것 같을 때·값이 갑자기 튈 때 세 가지 계기에만 사람이 직접 화면을 찾아 견줍니다. 순위를 자동으로 재는 까닭은 사람이 매번 화면을 보지 않아도 되게 하려는 것입니다. 그래서 자동 결과를 늘 사람 화면과 맞춘다면 자동으로 재는 뜻이 없어집니다.
계기는 셋입니다. 첫째, 재는 도구를 바꾸었을 때입니다. 새 판으로 올렸거나 설정을 바꾸었다면, 같은 화면을 전과 다르게 읽을 수 있습니다. 둘째, 검색 화면의 구성이 바뀐 것 같을 때입니다. 자동 도구는 정해진 방식으로 화면을 읽으므로, 화면이 바뀌면 같은 방식으로 엉뚱한 것을 셀 수 있습니다. 셋째, 값이 갑자기 튈 때입니다. 한 키워드의 순위가 하루 사이에 크게 오르내렸다면, 실제로 달라진 것인지 도구가 잘못 읽은 것인지 가려야 합니다.
세 계기 모두 도구가 전과 같은 것을 재고 있는지 의심할 까닭이 생긴 때입니다. 그 의심을 푸는 것이 대조입니다.
계기별 대조 범위
세 계기는 어긋날 수 있는 것이 달라서 대조할 범위도 다릅니다.
| 계기 | 무엇이 어긋날 수 있나 | 대조할 범위 |
|---|---|---|
| 도구를 바꿨을 때 | 모든 키워드의 읽는 방식 | 여러 종류의 키워드를 고루 골라 바꾸기 전과 뒤의 결과를 나란히 놓는다. |
| 화면이 바뀐 것 같을 때 | 바뀐 화면이 나오는 키워드의 결과 | 바뀐 것이 보인 키워드와 비슷한 구성의 키워드를 대조한다. |
| 값이 튈 때 | 그 키워드 하나의 결과 | 튄 키워드를 튄 날과 그다음 측정 때 사람 화면과 견준다. |
첫째 줄의 범위가 가장 넓습니다. 도구가 바뀌면 어느 키워드에서 어긋날지 미리 알 수 없으므로, 한두 개가 아니라 화면 구성이 서로 다른 키워드들을 섞어서 대조합니다.
자동 측정과 같은 조건의 대조
사람이 화면을 볼 때는 자동 도구가 잴 때와 조건을 똑같이 맞춥니다. 같은 날 같은 무렵에, 같은 종류의 기기로, 로그인 여부도 같게 하고, 입력하는 말도 도구에 넣은 그대로 씁니다.
조건이 하나라도 다르면 어긋났을 때 까닭을 가를 수 없습니다. 사람은 로그인한 컴퓨터로 보고 도구는 로그인하지 않은 휴대전화 화면을 잰다면, 둘이 다른 까닭이 도구의 잘못인지 기기나 로그인 때문인지 알 수 없습니다. 대조의 목적은 도구가 제대로 읽는지 확인하는 것이므로, 도구 말고 다른 것은 모두 같게 맞춥니다.
어긋난 것의 불일치 기록
자동 결과와 사람 화면이 어긋났다면, 바로 고치기 전에 기록부터 남깁니다. 기록이 있어야 같은 어긋남이 되풀이되는지, 어느 쪽을 고쳐야 하는지를 가릴 수 있습니다.
| 기록할 것 | 왜 필요한가 |
|---|---|
| 대조한 날짜와 무렵 | 화면은 때에 따라 바뀔 수 있어 언제 본 것인지가 있어야 한다. |
| 도구의 판과 설정 | 도구를 바꾼 뒤의 어긋남인지 가를 수 있다. |
| 맞춘 조건 | 기기, 로그인 여부, 입력한 말을 같게 맞췄는지 남긴다. |
| 도구가 읽은 결과와 사람이 본 결과 | 무엇이 어떻게 어긋났는지를 나란히 남긴다. |
| 어긋난 까닭으로 짐작한 것 | 짐작은 짐작으로 표시하고, 확인되면 그때 고친다. |
마지막 줄에서 짐작과 확인을 나눠 적는 것이 중요합니다. 어긋남을 보자마자 까닭을 단정해 기록하면, 나중에 그 짐작이 틀렸을 때 기록 전체를 믿기 어려워집니다.
어긋난 모습으로 가리는 수정 대상
불일치가 나오면 다음 셋 가운데 어디에 드는지 가립니다.
첫째, 도구가 다른 영역을 세고 있는 경우입니다. 사람이 보기에는 없는 결과를 도구가 세었거나, 있는 결과를 빠뜨렸다면 도구가 화면을 잘못 읽은 것입니다. 이때는 도구를 고칩니다.
둘째, 화면이 달라져서 도구의 읽는 방식이 맞지 않게 된 경우입니다. 같은 키워드의 예전 기록과 견주어 화면 구성이 바뀐 것이 확인되면, 도구가 새 화면에 맞게 읽도록 고칩니다.
셋째, 도구도 화면도 그대로인데 결과만 튄 경우입니다. 다음 측정 때 값이 제자리로 돌아왔다면 그 한 번의 흔들림으로 기록하고, 이어지면 첫째나 둘째를 다시 점검합니다.
도구를 고쳤다면 같은 조건에서 사람 화면과 결과가 같은지 한 번 더 따집니다. 고친 뒤에도 어긋난다면 까닭을 잘못 찾은 것이므로 기록의 짐작 칸을 다시 확인합니다. 고친 뒤 맞았다면 그 불일치 기록에 무엇을 고쳤는지와 날짜를 적고 닫습니다.
고친 날 이전의 자동 결과는 따로 표시합니다. 도구가 잘못 읽던 동안의 값이 섞여 있으므로, 그 기간의 순위 흐름을 판단 근거로 쓸 때는 그 표시를 보고 조심합니다. 표시 없이 섞어 두면 나중에 흐름을 볼 때 잘못 읽힌 값이 실제 변화로 읽힙니다.
튄 값 하나에서 시작한 가상의 의원 대조
아래는 이해를 돕기 위해 만든 가상의 사례입니다. 실제 병원의 기록이 아닙니다.
가상의 한 정형외과 의원은 키워드 몇 개의 순위를 자동으로 재고 있었습니다. 어느 날 한 키워드의 순위가 하루 사이에 크게 떨어진 것으로 나왔습니다. 값이 튄 경우였으므로, 담당 직원은 그 키워드 하나를 대조하기로 했습니다.
직원은 도구와 조건을 똑같이 맞췄습니다. 도구가 재는 것과 같은 종류의 휴대전화로, 로그인하지 않은 채, 도구에 넣은 말 그대로, 도구가 잰 무렵에 찾았습니다. 사람이 본 화면에서는 순위가 전과 다르지 않았습니다. 직원은 불일치를 기록하고, 까닭의 짐작 칸에 「도구가 다른 영역의 글을 셈」이라고 적되 짐작이라고 표시했습니다.
다음 측정 때 같은 조건으로 다시 대조했습니다. 도구는 여전히 낮은 순위를 내놓았으므로 한 번의 흔들림은 아니었습니다. 이번에는 화면을 예전 기록과 견주어 보았습니다. 그 키워드 화면 위쪽에 전에 없던 묶음이 새로 생겨 있었고, 도구가 그 묶음 안의 글까지 순위에 넣어 세고 있었습니다. 짐작과 달리 화면이 달라진 경우였습니다. 직원은 짐작 칸을 확인된 까닭으로 고쳐 적었습니다.
도구가 새 묶음을 따로 읽도록 고친 뒤 같은 조건으로 한 번 더 대조하니 결과가 맞았습니다. 불일치 기록을 닫고, 고친 날 이전의 그 키워드 값에는 따로 표시를 했습니다.
화면 구성이 바뀐 것이 확인되었으므로 비슷한 구성의 키워드들도 대조했습니다. 그 가운데 둘에서 같은 어긋남이 나왔고, 고친 도구로 다시 재니 함께 맞았습니다.
짐작에서 확인까지의 순서 기록
불일치 기록에는 처음 짐작과 확인된 까닭이 모두 남았습니다. 다음에 비슷한 어긋남이 나오면, 도구가 잘못 읽는 경우와 화면이 달라진 경우를 둘 다 먼저 의심해 볼 수 있습니다. 고친 날 이전 값에 한 표시도 함께 남아, 그 기간의 흐름을 볼 때 조심할 곳이 드러납니다.
직원은 이 일을 도구를 맡은 사람과도 나눴습니다. 새 묶음이 생긴 화면을 도구가 어떻게 읽어야 하는지가 정해졌으므로, 다른 키워드에서 같은 묶음이 나타나도 이제 도구가 제대로 읽을 수 있게 되었습니다. 다만 화면은 다시 바뀔 수 있으므로, 값이 튀는 계기가 생기면 이번처럼 한 키워드부터 같은 조건으로 대조하는 순서를 그대로 쓰기로 했습니다.
자동 순위 측정 대조 자주 묻는 질문
Q1. 자동 순위 측정 결과와 견줄 때 사람이 본 화면이 틀릴 수도 있지 않나요?
A1. 틀릴 수 있습니다. 사람도 조건을 잘못 맞추거나 다른 영역을 보고 셀 수 있습니다. 그래서 어긋남이 크거나 까닭이 잘 짐작되지 않을 때는 두 사람이 따로 같은 조건으로 보고, 둘의 결과가 같을 때 그것을 대조의 기준으로 삼습니다.
Q2. 튄 순위 값을 사람 화면으로 다시 찾아보니 실제 변화였다면 어떻게 기록하나요?
A2. 사람 화면도 같은 결과라면 도구는 제대로 읽은 것입니다. 그때는 불일치가 아니라 실제 변화로 기록하고 대조를 닫습니다. 순위가 왜 달라졌는지를 가리는 일은 이 대조와 따로, 다른 순서로 합니다.
Q3. 순위를 재는 도구를 둘 이상 쓰는데 결과가 서로 다르면 어떻게 하나요?
A3. 도구끼리 어긋난다면 도구를 바꾼 경우와 같이 다룹니다. 두 도구 가운데 어느 쪽이 화면을 잘못 세는지 아직 가려지지 않았기 때문입니다. 두 도구 가운데 어느 쪽이 맞는지는 사람 화면으로만 가를 수 있으므로, 같은 조건으로 사람이 보고 둘 가운데 어느 쪽과 맞는지 확인합니다. 둘 다 어긋난다면 두 도구 모두 읽는 방식을 확인합니다.
Q4. 자동 측정과 사람 화면의 대조 결과는 누가 알아야 하나요?
A4. 도구를 맡은 사람과 그 결과를 판단에 쓰는 사람 둘 다 알아야 합니다. 도구를 맡은 사람은 고쳐야 할 곳을 알고, 결과를 쓰는 사람은 어느 기간의 값을 조심해서 읽어야 하는지 알아야 합니다. 한쪽만 알면 고친 뒤에도 옛 값으로 판단하는 일이 생깁니다.
Q5. 대조하는 사람이 순위 측정 도구가 어떻게 만들어졌는지 모르면 대조할 수 없나요?
A5. 도구 안을 알 필요는 없습니다. 대조하는 사람이 알아야 할 것은 도구가 화면에서 무엇을 세는지, 곧 몇 번째를 어떤 기준으로 매기는지입니다. 그 기준대로 사람이 화면을 세고, 도구의 결과와 나란히 기록하면 됩니다. 어긋난 까닭을 도구 안에서 찾는 일은 도구를 맡은 사람이 그 기록을 받아 합니다. 대조하는 사람과 도구를 고치는 사람을 나누면, 대조하는 사람이 자기가 본 것을 도구에 맞춰 읽는 일도 막을 수 있습니다.
예외로 둘 경우와 뒤에 확인할 것
이 방식이 들어맞지 않는 경우가 있습니다. 재는 키워드가 몇 개뿐이라면 자동으로 재는 이득이 크지 않으므로, 이 글의 방식보다 사람이 직접 확인하는 것을 기본으로 합니다. 자동 측정을 쓰는 경우에 한해 평소에는 믿고 계기에만 대조한다는 순서가 들어맞습니다.
대조를 마친 뒤에 확인할 것도 있습니다. 첫째, 닫지 않은 불일치 기록이 남아 있지 않은지 기록 목록 전체를 점검합니다. 둘째, 고친 날 이전 값에 표시가 되어 있는지 검토합니다. 셋째, 화면 변화로 도구를 고쳤다면 비슷한 구성의 키워드까지 대조했는지 확인합니다. 한 키워드에서 드러난 화면 변화는 같은 구성의 다른 키워드에도 이미 나타나 있을 수 있습니다.