흔히 '여론조사'를 민의의 척도로 보는 분들이 많더군요.

그런데 요즘 정치 관련(대선) 여론조사를 볼 때 정서와는 좀 다른 면이 있죠. 그렇다고 전면 부정할 수도 없는 것이 여론조사 결과들이 대부분 비슷비슷한 추세가 있기 때문인데요.

여론조사에 대해 다음과 같은 기사가 있었습니다. 제가 보기엔 이 기사에서 지적하는 내용들을 유심히 들여다 보면 왜 지금 상식적으로 이해가 가지 않는 여론조사 결과가 보이는지 어림짐작할 수 있는 단초를 찾을 수 있다고 봅니다.

한국일보가 올해 초 시리즈로 기획한 기사입니다.

? 여론조사 얼마나 믿을 수 있나

? 민심측정 넘어 '심판관' 노릇

? 문제 많았던 '여론조사 결투'

? "응답률 채우려 답변지 몰래 고쳐"

? 최초의 여론조사 1824년 美 대선서

개인적으로 여론조사 및 설문에 대한 관심이 큰 편인데요. 이 기사에서 몇 가지 내용을 인용해보겠습니다.

...그 가운데 하나는 낮은 응답률(Response Rate)이다. 우리나라 조사에선 응답률이 매우 낮다. 다시 말해 응답을 거부하면 자꾸 다른 사람에게 물어 본다는 얘기다. 전화조사에서 미국의 경우 1,000명을 표본으로 할 경우 전화 거는 대상을 3,000명 정도로 한정한다.

그 이상이 넘을 경우 표본에 치우침(Bias)이 생긴 것으로 보고 표본을 줄이거나 파기한다. 그래서 응답률의 기준은 30% 이상, 보통 40~50%에 이른다.

그런데 우리나라의 경우 1,000명을 채울 때까지 계속 전화를 건다. 그래서 1만명 이상에게 전화를 걸 경우가 많다. 응답률은 정치조사의 경우 10~15% 수준이라고 한다....여론조사 얼마나 믿을 수 있나[한국일보]

표본으로 편입되기 위한 과정이 바로 응답률입니다. 그런데 우리나라 사람들은 설문조사 결과나 여론조사 결과에 대해서는 대체적으로 긍정하지만 정작 자신에게 설문이 왔을 때 귀찮거나 바쁘거나 구태여 자신의 입장을 표명하지 않는 경우가 많아 응답률이 지극히 낮습니다.

응답률이 낮다는 것은 표본집단이 상대적으로 적극적인 의사표현을 하고 있는 계층만을 대상으로 하게 되어 전체적이 결과의 왜곡이 있을 수 있다는 점입니다.

고려대 허명회(통계학) 교수는 “2000~2003년 국내 메이저 3사의 여론조사를 분석한 결과 저학력 직장인의 응답비중이 너무 낮고 가정주부와 고학력자의 응답률이 너무 높았다”면서 “우리나라 전화여론조사의 표본오차는 실제보다 20%이상 크다고 봐야 한다”고 지적했다... 위와 출처 같음.

학계에서도 응답률에 대한 문제점을 제기하면서도 딱히 응답률을 높일 수 있는 방안을 찾아내지 못하고 있지요. 예를 들어 조사에 응하면 보상을 준다거나 추첨을 통해 보상을 하는 경우가 있을 수 있는데 이는 오히려 자신의 정치적 성향을 바깥으로 드러내지 않는 국민 정서상 보상을 주기 위한 개인정보를 획득하기가 쉽지 않다는 것이다. 이 또한 왜곡이 생길 수 있는 부분이죠.

현장에서는 어떤 문제가 있을까요? 대부분의 통계 전문 회사들은 비정규직이나 아르바이트 등의 인력을 한시적으로 동원해 전화 번호 샘플링을 나눠주고 전화를 걸게 하는 방식입니다. 일부 ARS(자동응답시스템)를 동원하는 경우가 있으나 이는 설문 결과의 일관성이 떨어진다는 점에서 비과학적인 조사 방법으로 통용되고 있습니다.

...설문지당 1,300원~2,000원의 보수를 받는데, 하루 30여명 분량의 설문지를 모두 작성해야 돈을 받기 때문에 심리적 압박은 크다...(중략)... 그는 “한시간에 30여 통의 전화를 거는데 실제 받는 것은 10통이 채 안되고 제대로 응답해 주는 경우는 많아야 3, 4통이라 어떻게든 한번 연결이 되면 대화를 이어가야 한다”며 “어쩔 수 없이 설문지에 없는 말을 덧붙이는 경우가 있다”고 했다..."응답률 채우려 답변지 몰래 고쳐"[한국일보]

이런 문제는 직접 설문을 진행해보면 황당한 경우를 봅니다. 예를 들면 설문을 제대로 듣지 않고 1번이나 2번으로 죽 만들거나 번호 찍듯이 자신의 의지와는 다른 대답을 무작위로 하는 경우도 많죠. 또한 설문 내용이 모호한 경우도 있습니다.

"2002년 대선 응답률 훨씬 높았을 것"[미디어오늘] 2007.10.12

...한겨레가 공개한 여론조사 자료 전문을 보면 리서치플러스는 '차기 대통령으로 가장 낫다고 생각하는 후보'를 1차적으로 질문한 결과와 '그럼, 조금이라도 낫다고 생각하는 후보'에 대해 재차 질문한 결과가 다른 것으로 나타났다...(중략)...
1차 질문 결과를 보면 이 후보의 지지율은 46.5%로 조사됐다. 그러나 재차 질문을 할 경우 58.0%로 나타났다. 언론이 여론조사 보도를 할 때 1차 조사 당시의 지지율을 보도하느냐, 재차 질문한 결과를 보도하느냐에 따라 후보의 지지율은 출렁이게 된다...

설문 내용을 재차 물어보거나 '아무것도 찍고 싶지 않다'고 말하는 사람에게 '그래도 그렇다면...'식의 질문을 요구하는 경우도 있죠. 엉뚱하게도 '누가 하는 게 낫냐?'와 '실제로 누구를 선택하겠느냐?'는 질문을 '선호도', '지지율' 등의 모호한 용어로 설명하는 경우도 있으니 여론 조사는 들어가면 들어갈수록 헷갈립니다.

개인적으로 여론조사 기사를 눈여겨 보고 있지만 그 신뢰도에 대해서는 여전히 의문스러운 시각으로 보고 있습니다.

문제는 여론조사가 '대세론'을 만들어내는 기초가 되고 자신의 의지가 소수의견(마이너리티)으로 확인되는 순간 불안한 감정을 갖게 된다는 데 있습니다.

관련 포스트 : 2006/11/03 [오늘의 댓글] 침묵의 나선효과

여론조사 결과를 좀더 높이려면 자신의 의사를 분명하게 표현하는 분들이 늘어야 겠죠. 그러니 조사에 성실하게 응답해주세요.^^

개인적으로, 현재의 여론조사 결과는 거의 믿지 않습니다. 물론 추세는 인지하고 있습니다. 어찌됐든 모수와 신뢰수준, 표본오차 등의 산술적인 내용은 공개되고 있으니 그나마 다행이죠.^^ 종종 여론조사를 뒤집는 대역전극이 나오는 이유는 이런 여러 문제가 복합적으로 작용했기 때문입니다.