• 여론조사 대표성 원칙? 버린 지 오래!
• ARS 1000명 설문 위해 2만8000명 전화해야
• ‘적극투표층’이라는 허구
• 구간추정치·추세 변화로 여론조사 읽어야

7·30 재·보궐선거 유세기간 약 한 달 동안 실시된 여론조사는 총 63건. 선거관리위원회 산하 여론조사공정심의위원회(이하 공심위)에 등록한 여론조사만 이 정도니, 사전신고 의무가 없는 정당과 후보자, 기타 기관이 실시한 여론조사는 훨씬 더 많았을 것이다

여론조사는 넘치지만 ‘믿음직한 여론조사’는 찾아보기 힘들다. 이번 선거에서도 여러 선거구에서 여론조사 결과를 뒤엎는 이변이 연출됐다. 가장 큰 이변의 주인공은 경기 평택을 유의동 의원(새누리당). 재보선 기간 치러진 다섯 번의 여론조사에서 유 의원은 새정치민주연합 정장선 후보와 박빙 경합으로 나타났고, 경인일보가 두 차례 보도한 양자대결 조사에서는 정 후보가 유 의원을 앞섰다. 하지만 최종 결과는 10%포인트 차, 유 의원의 승리였다.

이외에도 여론조사에서 꾸준히 앞서던 경기 수원정 임태희 후보가 본선거에선 패배의 고배를 마셨고, 압승을 기대하던 서울 동작을 나경원 의원이 정의당 노회찬 후보에 929표차로 간신히 이기는 등 예측불허 승부가 펼쳐졌다.

올해 초 공직선거법 개정으로, 각 조사기관은 보도 및 공표를 목적으로 한 여론조사의 방법과 결과를 공심위 홈페이지에 등록해야 한다. 여론조사 과정을 투명하게 밝히려는 여러 노력의 일환이다. 하지만 공개된 조사의 면면을 살펴보면 여론조사에 대한 국민의 신뢰를 회복하는 일이 요원하게 느껴진다.

여론조사 제1원칙은 ‘대표성’이다. 여론조사를 시행할 때 각 기관은 성별, 연령별, 지역별 인구비례에 맞춰 조사 대상자를 선정한다. 답변자가 전체 국민의 의견을 대표할 수 있어야 결과를 일반화할 수 있기 때문이다.



대표성 무시한 여론조사

그런데 이번 재보선 여론조사에서는 조사의 대표성이 무너진 경우가 상당수 있었다. 이번에 실시된 여론조사 중 59개 조사를 검토한 결과, 전체의 37%에 해당하는 22개 조사에서 응답자의 연령대별 비율을 2배 이상 혹은 0.5배 이하로 보정한 사실이 드러났다. 배재대 자치여론연구소는 7월 23일 대전 대덕구 선거구를 대상으로 한 조사에서 20~30대의 가중치로 5.3점을 부여했다. 20~30대 연령대를 합해 43명을 조사한 후, 5점 이상의 가중치를 줘 결과를 보정하는 방법을 적용해 결국 43명의 응답을 243명의 응답으로 만든 것이다. 이 조사는 대표성을 현저하게 어겨 인용·공표 및 보도가 금지됐다. 반면 여민리서치컨설팅과 리얼미터가 시행한 조사에서는 50대와 60세 이상 응답자에 각각 0.4점, 0.3점의 가중치를 줬다.

유선전화로 하는 설문조사 특성상 50대 이상 응답자는 많지만 20~30대 응답자를 찾기가 쉽지 않다보니 응답자 비율을 보정하는 것이다. 이는 작위적 보정의 전형이고 결과적으로 여론조사의 정확성을 떨어뜨린다.

턱없이 낮은 ARS 응답률

응답률은 대표성에 영향을 미치는 또 다른 변수다. 전문 조사원이 직접 대화로 면접하는 전화면접조사의 경우 통상적으로 20% 전후의 응답률이 나온다. 문제는 녹음된 기계음이 이를 대신하는 ARS조사의 응답률이다.

ARS조사의 응답률은 다른 조사에 비해 크게 떨어진다. 중도 이탈하는 응답자를 막을 방법이 없기 때문이다. 사람이 질문을 읽어주며 조사 대상과 신뢰감(rapport)을 형성하며 진행하는 전화면접조사와 달리, ARS조사는 녹음된 기계음의 지시에 따라 응답자가 스스로 수화기 버튼을 누르는 방식으로 진행된다. 그러다보니 ARS조사는 조사 대상의 적극적 참여가 필수적이다. 응답을 원하지 않는 사람은 ARS조사 도중 거리낌 없이 전화를 끊을 수 있기 때문이다.

ARS조사와 전화면접조사를 나눠 살펴보면 둘 사이의 응답률 차이가 명확히 드러난다. 이번 7·30 재보선에서 실시된 48건의 전화면접조사와 11건의 ARS조사 응답률(표본크기/응답 적격 대상자 수) 평균을 각각 구해보니 ARS조사의 평균 응답률은 3.5%로 전화면접조사의 평균 응답률(18.6%)에 한참 못 미쳤다. 즉, 1000명을 조사하기 위해 전화면접조사는 5376명에게 시도했지만, ARS조사의 경우 2만8571명에게 전화를 걸어야 했던 것이다.

응답률은 조사 대표성과 깊은 관계가 있다. ARS조사에 끈기 있게 답한 약 3%의 사람은 정치관여도가 높아 일반 유권자와는 정치적 성향이 다르다는 뜻이다. 이들의 응답을 통해 전체 유권자의 ‘표심’을 읽기란 쉽지 않다.

그럼에도 ARS조사가 이뤄지는 것은 비용과 시간 문제 때문이다. ARS조사는 전화면접조사에 비해 빠르고 저렴하다. 사정이 이렇다보니 예산이 부족한 많은 선거 후보자가 ARS조사에 기대게 된다. 하지만 대표성이 낮은 ARS조사만으로는 참된 여론 지형을 파악하기 힘들다.

작위적 단어 선택

여론조사를 할 때 어떤 단어를 선택할 것인지 역시 문제다. 같은 설문조사라도 어떤 말을 쓰는지에 따라 결과가 변할 수 있다.

지난 6·3 지방선거 광주시장 선거에서 무소속으로 출마를 결심한 강운태 후보와 이용섭 후보 간 단일화 협상을 앞두고 진통이 있었다. 후보 단일화에 반영할 여론조사 문항에 어떤 후보가 단일후보로 “적합한가?”라고 물을 것인지 아니면 둘 중 누구를 “지지하나?”라고 물을 것인지가 공방의 핵심이었다.

이번 재보선 여론조사에서도 설문문항이 달라 조사 결과에 차이가 생긴 사례를 찾아볼 수 있었다. 경기 수원정 선거구가 그런 경우다. 이 지역 선거는 새누리당 임태희 후보, 새정치민주연합 박광온 후보, 정의당 천호선 후보 3자대결로 구도가 이뤄졌다. 야권후보 단일화에 영향을 미칠 여론조사에도 관심이 높았다.

주목할 점은 정의당 천 후보의 지지율이다. 여론조사별로 천 후보 지지도는 4.9%에서 12.9%까지 편차가 컸다. 정의당 자체 의뢰 조사 결과에서는 16.3%까지 치솟았다. 비밀은 조사 문항에 있다. 정의당이 의뢰한 여론조사는 다음과 같은 문항으로 진행됐다.

“이번 수원 영통구 국회의원 보궐선거에 출마한 후보로는 청와대 대통령실장과 노동부 장관을 지낸 새누리당 임태희 후보, 전 MBC 뉴스데스크 앵커, 당 대변인인 새정치민주연합 박광온 후보, 수원청년회 회장, 당 민주수호특위위원장 통합진보당 김식 후보, 노무현 대통령 청와대 대변인·당 대표인 정의당 천호선 후보, 비정규직없는세상만들기 집행위원, 당 부대표인 노동당 정진우 후보가 있습니다. ○○님께서는 내일이 투표 날이라면 이 중 누구에게 투표하시겠습니까?”

한편 KBS에서 의뢰한 조사에서 해당 문항은 다음과 같다.

“○○님께서는 수원정 재·보궐선거에 출마한 다음 5명의 후보 중 누구에게 투표하시겠습니까? 후보는 기호 순으로 불러드리겠습니다.”

일반적인 전화조사라면 질문을 정의당 조사에서처럼 길게 하지 않는다. 질문 도중 상당수 응답자가 전화를 끊기 때문이다. 그러다보니 정의당 조사의 경우 전화면접임에도 응답률이 비교적 낮은 8%대에 머물렀다. 작위적 질문으로 결과의 정확성이 하락한 사례다.

‘오차범위 내 승리’는 없다

여론조사 결과를 어떻게 해석할 것인지 역시 문제다. 대부분 언론사는 여론조사를 통해 후보 간 승패를 예측한다. 그러다보니 “특정 후보가 오차범위 내에서 앞선다”는 표현을 많이 쓴다. 하지만 이는 엄밀히 따져 틀린 말이다. 두 후보의 지지율이 오차범위 내에 있다면 조사를 반복했을 때 두 후보 간 지지율이 뒤바뀔 가능성이 있기 때문이다.

예를 들어 95% 신뢰수준에서 표본오차가 ±3.1% 포인트일 때, A 후보 지지율이 35%, B 후보 지지율이 30%라고 하자. 이 경우 재조사를 하면 A 후보 지지율이 32%, B 후보 지지율이 33%로 나올 수 있다.

그럼에도 각 언론은 ‘오차범위 내 승’이라는 말을 남발한다. 한국일보는 7월 16일자 ‘7·30 재보선 수도권 판세 여는 장밋빛, 야는 잿빛’이란 기사에서 중앙일보 조사 결과를 인용하며 “평택을에서 새정치연합 정장선 후보가 37.7%로 새누리당 유의동 후보(33.0%)를 오차범위에서 앞섰다”고 했다. KBS는 7월 23일“새누리, 동작을·김포에서 압도적 1위” “새누리, 수원 3곳 모두 우세”라는 타이틀로 오차범위 내에서 경합 중인 지역을 마치 승부가 끝난 것처럼 보도하기도 했다. 그뿐만 아니라 선거에서 두 정당 후보가 박빙의 승부를 펼친 동작을, 새정치민주연합 후보가 승리한 수원정 판세를 전하면서 새누리당 후보가 압승 혹은 우세한 것으로 보도했다. 이런 일이 반복될수록 여론조사에 대한 국민의 신뢰는 떨어질 수밖에 없다.

여론조사결과 해석에서 또 다른 문제는 적극투표층으로 선거 판세를 설명하는 행위다. 투표율이 선거 결과의 향방을 결정짓는 선거일수록 언론에서 적극투표층 표심을 보도하는 경향이 있다. 하지만 지금의 적극투표층 정의로는 실제 선거 결과를 예측하거나 설명할 수 없다. 적극투표층 후보 지지율의 경우 편향이 훨씬 심할뿐더러, 적극투표층을 가리는 여론조사 문항만으로는 선거 날 투표소에 갈 사람을 추려내기 어렵기 때문이다. 실제 이번 재보선에서 적극투표층 표심을 보도한 KBS의 기사를 보면 이와 같은 내용을 확인할 수 있다.

KBS는 재·보선 투표일을 일주일 앞둔 7월 23일 주요 격전지 6곳에 대한 여론조사 결과를 보도했다. 경기 김포 적극투표층의 후보 지지율을 조사한 결과 새누리당 홍철호 후보 58.6%, 새정치민주연합 김두관 후보 26.8%라고 밝혔다. 두 후보 간 지지율 격차는 31.8%포인트에 달했다. 하지만 실제 선거 결과 두 후보의 격차는 10.4%포인트에 불과했다.



투표율 설명 못하는 적극투표층

경기 수원병 역시 당시 보도에서는 두 후보 간 적극투표층 표심이 19.3%포인트 차이가 난다고 했으나, 실제 결과는 7.8%포인트차이에 불과했다. 수원을의 적극투표층 표심을 비교해봤을 때 두 후보는 36.7%포인트라고 보도했지만 선거 결과 두 후보 득표율 차이는 17.5%포인트에 그쳤다. 평택을의 경우 두 후보의 득표율 차이가 9.8%포인트였지만, 적극투표층 지지율 차이는 4.3%포인트로 오히려 적었다.

적극투표층 조사를 통해 민심을 추측할 수 없는 것은 적극투표층을 가려내는 여론조사 질문이 잘못됐기 때문이다. 전화 여론조사에서 적극투표층을 가릴 때 조사원은 이렇게 질문한다.

“오는 7월 30일에는 재·보궐선거가 실시될 예정인데요, ○○님께서는 이번 보궐선거에 투표하실 의향이 어느 정도 있으십니까?”

답지는 “반드시 투표할 것이다” “웬만하면 투표할 것이다” “별로 투표할 생각이 없다” “전혀 투표할 생각이 없다”로 구성된다. 이 질문은 적극투표층을 가리는 질문이라기보다 응답자의 민주주의 소양을 가리는 질문이라고 봐야 한다. 즉 “반드시 투표할 것”이라고 답했다고 해서 실제 꼭 투표한다고 볼 수 없다는 것이다. 학력 수준에 따라, 연령에 따라 응답의 편향이 생길 가능성도 크다.

그렇다보니 실제 투표율보다 적극 투표할 것으로 답한 응답자의 비율이 현저히 높다. KBS 조사 결과를 종합해보면 6개 지역에서 “반드시 투표하겠다”고 답한 응답자 비율은 평균 61.8%였지만, 해당 지역의 실제 투표율 평균은 33.6%에 불과했다.

결국 여론조사 결과를 어떻게 읽을 것인지가 관건이다. 좋은 여론조사를 가려내고, 중립적인 입장에서 결과를 해석해야 한다. 여론조사의 품질을 가리기 위한 몇 가지 고려 사항이 있다.

첫 번째로 조사의 기본 특징을 확인해야 한다. 누가 의뢰했는지, 어떤 기관에서 조사했는지, 어떤 방법론을 썼는지, 응답률은 어떤지, 인구비례는 맞는지, 표본오차가 어떤지 등이다. 중앙선관위 공심위 홈페이지를 참고하면 보도된 여론조사 내용을 쉽게 찾을 수 있다.

조사 결과를 보도하는 언론에서도 조사의 기본적인 사항을 더욱 지키도록 노력해야 한다. 유권자에게 적확한 내용만을 전달한다는 자세를 가져야 한다. 방법론에 문제가 있는 조사는 인용 보도하지 않아야 한다. 언론은 질이 떨어지는 정보를 사전에 걸러내는 기능을 얼마든지 할 수 있다.

점추정치 아닌 구간추정치로

다음으로 조사 결과를 정확하게 읽는 눈이 있어야 한다. 선거 여론조사의 경우 특히 오차범위를 고려해 결과를 해석해야 한다.

문제는 여론조사 결과는 ‘구간추정치’임에도 ‘점추정치’처럼 읽힌다는 데 있다. 현행 여론조사 결과 보도의 대부분은 편리하다는 이유로 특정 숫자(점추정치)로 결과를 설명하고 오차범위를 후술한다. 하지만 선거 여론조사에서만큼은 구간추정치로 조사 결과를 보도하거나 읽는 것이 더 바람직하다. 구간추정치로 조사 결과를 읽으면 직관적으로 선거의 승, 패, 경합에 대해 알 수 있다.

7월 20~21일 중앙일보 조사연구팀에서 실시한 경기 수원정 여론조사를 보자. 언뜻 보기에 임 후보가 34.3%로 29.6% 지지율을 보인 박광온 후보를 이긴 것으로 해석된다. 하지만 해당 조사의 오차범위를 고려해보면 임태희 후보의 지지율 추정치는 30.6%~38.0%, 박광온 후보 지지율은 25.9%~33.3%이다. 두 후보 지지율이 겹치는 구간이 있기 때문에 경기 수원정은 경합 지역으로 분류해야 옳다.

또한 여러 조사를 따라가며 선거 추세를 살펴 조사 결과를 읽는 것이 좋다. 이번 선거에서 예상과 반대로, 질 것으로 보인 후보가 승리한 지역의 추세 변화를 살펴보면 해당 지역에서 그 후보가 승리한 이유가 나온다.

먼저 경기 평택을의 경우, 정 후보와 유 후보가 모든 조사에서 오차범위 내 접전을 벌인다. 그러나 앞서 있는 정 후보와 뒤따르는 유 후보의 차이가 점차 좁혀지는 추세 역시 확인된다. 결과적으로 선거에서는 이런 추세에 탄력 받은 유 후보가 정 후보를 앞서며 당선됐다.

이번 선거 최대의 이슈 지역이었던 전남 순천-곡성도 유사하다. 7월 9~10일 조사와 7월 10~11일 조사에서 서갑원 후보가 이정현 후보에 오차범위를 넘어 이기는 것으로 나타났지만 17~20일 조사에서는 이 후보가 앞선 것으로, 19~20일 조사에선 두 후보가 오차범위 내 경합 중으로 나타났다. 선거 초반 열세였던 이 후보가 서 후보와의 차이를 좁혀가는 추세였다. 마찬가지로 20~21일 조사 결과에서는 두 후보가 오차범위 내 경합을 벌이고 있다. 최종 결과는 이 후보의 9.1%포인트 차 역전승이었다.

선거 여론조사가 비판받는 가장 큰 이유는 많은 조사가 단지 선거의 경쟁적 측면에만 초점을 맞추기 때문이다. 각 후보의 지지율, 선거 레이스의 승패가 어떻게 될지에만 온통 관심이 쏠린다. 선거 여론조사가 한철 쓰고 버리는 일회용품처럼 대접받는다.

하지만 선거 여론조사도 ‘여론’을 읽기 위한 조사다. 다른 사회조사처럼 국민의 뜻을 파악하는 데 훌륭한 도구가 될 수 있다. 선거 승패에 숨은 유권자의 참뜻, 일반 국민의 정책에 대한 선호까지 파악하는 발전한 선거 여론조사가 행해지길 바란다.