여론조사는 넘치지만 ‘믿음직한 여론조사’는 찾아보기 힘들다. 이번 선거에서도 여러 선거구에서 여론조사 결과를 뒤엎는 이변이 연출됐다. 가장 큰 이변의 주인공은 경기 평택을 유의동 의원(새누리당). 재보선 기간 치러진 다섯 번의 여론조사에서 유 의원은 새정치민주연합 정장선 후보와 박빙 경합으로 나타났고, 경인일보가 두 차례 보도한 양자대결 조사에서는 정 후보가 유 의원을 앞섰다. 하지만 최종 결과는 10%포인트 차, 유 의원의 승리였다.
이외에도 여론조사에서 꾸준히 앞서던 경기 수원정 임태희 후보가 본선거에선 패배의 고배를 마셨고, 압승을 기대하던 서울 동작을 나경원 의원이 정의당 노회찬 후보에 929표차로 간신히 이기는 등 예측불허 승부가 펼쳐졌다.
올해 초 공직선거법 개정으로, 각 조사기관은 보도 및 공표를 목적으로 한 여론조사의 방법과 결과를 공심위 홈페이지에 등록해야 한다. 여론조사 과정을 투명하게 밝히려는 여러 노력의 일환이다. 하지만 공개된 조사의 면면을 살펴보면 여론조사에 대한 국민의 신뢰를 회복하는 일이 요원하게 느껴진다.
여론조사 제1원칙은 ‘대표성’이다. 여론조사를 시행할 때 각 기관은 성별, 연령별, 지역별 인구비례에 맞춰 조사 대상자를 선정한다. 답변자가 전체 국민의 의견을 대표할 수 있어야 결과를 일반화할 수 있기 때문이다.
7월 18일 서울 서초구 한 여론조사 전문업체 사무실에서 조사원들이 여론조사를 하고 있다.
그런데 이번 재보선 여론조사에서는 조사의 대표성이 무너진 경우가 상당수 있었다. 이번에 실시된 여론조사 중 59개 조사를 검토한 결과, 전체의 37%에 해당하는 22개 조사에서 응답자의 연령대별 비율을 2배 이상 혹은 0.5배 이하로 보정한 사실이 드러났다. 배재대 자치여론연구소는 7월 23일 대전 대덕구 선거구를 대상으로 한 조사에서 20~30대의 가중치로 5.3점을 부여했다. 20~30대 연령대를 합해 43명을 조사한 후, 5점 이상의 가중치를 줘 결과를 보정하는 방법을 적용해 결국 43명의 응답을 243명의 응답으로 만든 것이다. 이 조사는 대표성을 현저하게 어겨 인용·공표 및 보도가 금지됐다. 반면 여민리서치컨설팅과 리얼미터가 시행한 조사에서는 50대와 60세 이상 응답자에 각각 0.4점, 0.3점의 가중치를 줬다.
유선전화로 하는 설문조사 특성상 50대 이상 응답자는 많지만 20~30대 응답자를 찾기가 쉽지 않다보니 응답자 비율을 보정하는 것이다. 이는 작위적 보정의 전형이고 결과적으로 여론조사의 정확성을 떨어뜨린다.
응답률은 대표성에 영향을 미치는 또 다른 변수다. 전문 조사원이 직접 대화로 면접하는 전화면접조사의 경우 통상적으로 20% 전후의 응답률이 나온다. 문제는 녹음된 기계음이 이를 대신하는 ARS조사의 응답률이다.
ARS조사의 응답률은 다른 조사에 비해 크게 떨어진다. 중도 이탈하는 응답자를 막을 방법이 없기 때문이다. 사람이 질문을 읽어주며 조사 대상과 신뢰감(rapport)을 형성하며 진행하는 전화면접조사와 달리, ARS조사는 녹음된 기계음의 지시에 따라 응답자가 스스로 수화기 버튼을 누르는 방식으로 진행된다. 그러다보니 ARS조사는 조사 대상의 적극적 참여가 필수적이다. 응답을 원하지 않는 사람은 ARS조사 도중 거리낌 없이 전화를 끊을 수 있기 때문이다.
ARS조사와 전화면접조사를 나눠 살펴보면 둘 사이의 응답률 차이가 명확히 드러난다. 이번 7·30 재보선에서 실시된 48건의 전화면접조사와 11건의 ARS조사 응답률(표본크기/응답 적격 대상자 수) 평균을 각각 구해보니 ARS조사의 평균 응답률은 3.5%로 전화면접조사의 평균 응답률(18.6%)에 한참 못 미쳤다. 즉, 1000명을 조사하기 위해 전화면접조사는 5376명에게 시도했지만, ARS조사의 경우 2만8571명에게 전화를 걸어야 했던 것이다.
응답률은 조사 대표성과 깊은 관계가 있다. ARS조사에 끈기 있게 답한 약 3%의 사람은 정치관여도가 높아 일반 유권자와는 정치적 성향이 다르다는 뜻이다. 이들의 응답을 통해 전체 유권자의 ‘표심’을 읽기란 쉽지 않다.
그럼에도 ARS조사가 이뤄지는 것은 비용과 시간 문제 때문이다. ARS조사는 전화면접조사에 비해 빠르고 저렴하다. 사정이 이렇다보니 예산이 부족한 많은 선거 후보자가 ARS조사에 기대게 된다. 하지만 대표성이 낮은 ARS조사만으로는 참된 여론 지형을 파악하기 힘들다.
