비율 하나가 실제보다 크게 읽히는 순간
설문이나 면담에서 몇 건의 응답을 모았을 때, 한쪽 답이 눈에 띄게 많으면 그것을 전체의 경향처럼 말하고 싶어지는 것이 자연스럽습니다. 하지만 표본이 작을수록 한두 건이 바뀌는 것만으로 비율이 크게 달라집니다. 숫자가 같아 보여도 몇 명이 답했는지에 따라 무게가 전혀 다르다는 점을 보고서를 쓰는 사람이 먼저 의식해야 합니다.
예를 들어 다섯 명 가운데 네 명이 같은 답을 했다는 사실은 '80%'라고만 적는 순간 훨씬 단단한 결과처럼 보입니다. 읽는 사람은 수백 명을 조사한 결과로 받아들일 수도 있습니다. 그래서 비율을 쓸 때는 실제 건수를 바로 옆에 붙이고, 조사 기간과 방법을 같은 문단 안에 두는 것이 안전합니다.
누가 응답했는지를 먼저 밝힙니다
보고서를 읽는 사람이 가장 먼저 궁금해하는 것은 이 숫자를 얼마나 믿어도 되는가입니다. 응답자의 구성을 처음에 밝혀 두면 그 질문에 먼저 답하게 되고, 뒤에 이어지는 해석도 훨씬 설득력 있게 읽힙니다.
작은 조사에서 가장 흔한 오류는 응답한 사람들이 어떻게 모였는지를 적지 않는 것입니다. 스스로 의견을 남기러 온 사람만 포함되었는지, 특정 채널이나 특정 지역에서만 모집했는지에 따라 같은 결과가 의미하는 바가 달라집니다. 의견을 내기 쉬운 사람의 목소리만 모였다면 그 결과는 조용한 다수의 생각을 대변하지 못합니다.
응답하지 않은 사람의 생각을 이미 확인한 것처럼 쓰지 않는 것도 중요합니다. '이용자들은 대체로 만족한다'는 문장은 응답한 사람의 범위를 벗어난 일반화입니다. 대신 '응답한 사람들 가운데'라는 한정어를 붙이면 문장이 조금 길어져도 읽는 사람의 오해를 막을 수 있습니다.
비교하려는 두 집단이 같은 조건인지 살핍니다
두 집단의 응답을 나란히 놓고 차이를 말하려면 집단의 성격부터 비교해야 합니다. 한쪽은 최근에 이용을 시작한 사람이고 다른 쪽은 오래 이용한 사람이라면, 답이 다른 이유는 서비스의 차이가 아니라 이용 경험의 길이일 수 있습니다. 이런 차이를 확인하지 않고 원인을 하나로 단정하면 이후 판단이 어긋납니다.
시간 순서로 연결하는 경우에는 질문 문구와 설문 위치가 그대로였는지도 확인합니다. 문구가 조금만 달라져도 응답의 분포가 바뀔 수 있어서, 달라진 조건에서 얻은 두 비율을 같은 선 위에 놓으면 변화처럼 보이는 착시가 생깁니다. 조건이 달라졌다면 그 사실을 표 아래에 적고 직접 비교를 피합니다.
그래프와 표에서 확대되어 보이는 부분을 줄입니다
적은 건수를 막대그래프로 그리면 두 건과 세 건의 차이가 매우 큰 격차처럼 보일 수 있습니다. 축의 범위를 어디서 시작했는지, 단위가 비율인지 건수인지를 분명히 하고, 분모가 서로 다른 항목을 비교할 때는 각 항목의 실제 건수를 함께 표시합니다.
중복 선택이 가능한 문항이었는지, 응답이 없는 항목을 제외했는지도 표 아래 설명에 적습니다. 이런 주석은 번거로워 보이지만 보고서를 읽는 사람이 숫자를 잘못 해석해 엉뚱한 결정을 내리는 일을 막아 줍니다. 순위를 매기기보다 관찰된 모양을 서술하는 편이 작은 자료에는 더 정확합니다. 예컨대 '가장 많이 선택했다'보다 '몇 건 중 몇 건이 선택했고 나머지는 분산되었다'고 쓰면 과장 없이 같은 사실을 전달할 수 있습니다.
결론은 확인한 범위 안에서 맺습니다
결론 문장에는 자료의 범위를 한 번 더 적습니다. '이번에 확인한 응답에서는'이라고 말할 수 있어도 '모든 고객은'이라고 말할 근거는 부족할 수 있습니다. 작은 조사의 가치는 현장에서 어떤 질문이 나오는지 발견하게 해 준다는 데 있습니다. 확정적인 사실을 증명하는 용도로 쓰면 오히려 신뢰를 잃게 됩니다.
추가 조사가 필요하다면 어떤 집단과 어떤 기간을 보완할지 구체적으로 적습니다. 막연히 '더 조사가 필요하다'고 쓰는 것보다 다음 단계가 분명해져서 의사결정에도 도움이 됩니다.
같은 방법으로 다시 할 수 있게 기록을 남깁니다
마지막으로 질문지와 응답자 포함 기준, 수집 기간을 보관해 둡니다. 다음 조사에서 같은 조건을 적용하면 결과가 달라졌을 때 그것이 실제 변화인지 방법의 차이인지를 나누어 볼 수 있습니다. 표본이 작다는 이유로 자료를 버리기보다 한계를 기록해 후속 확인에 쓰는 것이 낫습니다. 어느 정도의 규모가 필요한지는 조사 목적과 상황에 따라 다르므로, 실무에서는 담당자와 함께 확인하며 정하시기 바랍니다.