• 전화면접 때 답변 유도, 입력 오류 있으면 신뢰도 ↓

• ARS, 인터넷 조사는 적극 응답층 과도 표집 가능성

• 돈 주고 구매한 통신사 가상번호, ‘결번’ 확률 낮아 응답률 ↑

• 오차범위는 100번 조사하면 95번이 오차범위 내에 결과가 나올 확률

여야 대선주자 가운데 누가 여론의 지지를 더 많이 받고 있는지 판단하는 지표로 여론조사 결과가 자주 인용된다. 투표권을 가진 유권자 입장에서는 최종 선택에 앞서 자신이 지지하는 후보가 다른 유권자에게 어느 정도 지지를 받고 있는지 살펴볼 참고자료가 된다. 각 대선후보 캠프의 경우 성별, 지역별, 연령별, 직업별, 이념별로 세분화된 여론조사 결과는 후보의 취약한 지점이 어디인지를 일목요연하게 수치로 확인할 수 있어 이후 선거운동 전략을 수립하는 데 활용할 수 있다.

다만 같은 기간에 실시된 여론조사라 할지라도 조사 기관마다 그 결과가 들쭉날쭉해 어떤 조사 결과를 신뢰해야 할지 판단하기 쉽지 않다. 매일같이 쏟아지는 대선 여론조사의 홍수 속에서 민심의 향배를 제대로 읽어내려면 어떤 점을 유의해서 봐야 할까.

여론조사는 크게 전화면접, ARS, 인터넷 등 세 가지 조사 방식이 사용된다. 면접원이 설문지를 읽어주고 응답받는 전화면접조사는 응답자의 반응을 실시간으로 살펴 조사를 진행하기 때문에 다른 조사에 비해 응답률이 높은 편이다. 다만 면접원의 자질에 따라 조사 품질이 좌우될 가능성이 크다. 면접원이 응답자에게 답변을 유도하거나, 응답자가 얘기한 결과를 면접원이 틀리게 입력할 경우 여론이 왜곡될 수 있다.

전화면접이냐 ARS냐

중앙선거여론조사심의위원회(여심위)는 8월 24일 대선 여론조사 과정에서 일부 면접원이 특정 응답을 유도하거나 응답 내용과 다르게 결과를 입력하는 등 선거 여론조사 기준을 위반했다며 글로벌리서치에 과태료 3000만 원을 부과했다. 전화면접조사 때 지지하는 대선후보를 묻는 질문에 답변을 망설이자 “이재명?”이라고 언급하거나 “윤석열이 될 것 같죠”라며 답변을 유도했다는 것. 또한 30대라고 답한 응답자의 연령을 다른 연령대로 입력한 것도 과태료 부과 사유가 됐다.

안철수 국민의당 대표는 “민심의 흐름을 파악하기 위해 만들어진 여론조사가 오히려 여론을 조작하며 국민의 판단을 흐리는 도구로 악용되고 있다”며 “민주주의 파괴 행위”라고 강하게 비판했다. 안 대표는 “명백한 여론조사 조작은 법으로 엄하게 다스려야 한다”며 “솜방망이식 과태료부과로 그칠 것이 아니라 형사범으로 처벌하고, 법인은 영구 퇴출시켜 민주주의 파괴 행위는 뿌리를 뽑아야 한다”고 강조했다.



전화면접조사 때 ‘답변 유도’나 ‘입력 오류’가 발생하는 것과 달리 ARS조사와 인터넷 조사는 응답자가 직접 설문을 듣거나 보고 스스로 입력한다는 점에서 조사 결과가 ‘오염’될 가능성은 낮다. 다만 두 조사는 응답률이 현저히 낮아 표본의 객관성이 논란이 되곤 한다. 여론조사 응답 성향이 강한 특정 세력이 실제보다 더 표집돼 조사 결과를 심각하게 왜곡할 수 있다는 것. 예를 들어 친문 지지 성향 유권자들이 문 대통령의 국정 운영을 좋게 평가받도록 하려 조사에 적극 임한다거나, 보수 성향 유권자들이 자신의 지지 성향을 드러내지 않기 위해 소극적으로 응답해 여론조사에 나타나지 않은 ‘샤이 보수’가 있을 수 있다는 주장이 그것이다.

그러나 여론조사 전문가들은 표본을 객관적으로 추출하고 표본 수를 늘릴 경우 특정 세력이 과대 표집되거나 실제보다 적게 반영되는 오류는 크게 줄일 수 있다고 강조한다. 최정묵 지방자치데이터연구소 부소장은 “ARS조사 때 응답률은 상대적으로 낮지만 응답을 받은 표본이 지역과 연령, 성별 분포에서 평균에 크게 벗어나지 않는 한 조사 결과에 오류가 있다고 보기는 어렵다”고 말했다.

오차범위에 대한 오해와 진실

표본의 객관성을 유지하기 위해 여론조사 기관들은 휴대전화 가상번호를 사용하거나 무작위 전화걸기(RDD) 방식을 주로 사용한다. 휴대전화 가상번호의 경우 실제 휴대전화에 가입한 사람의 번호를 050국번 형태로 변환된 가상의 전화번호를 사용해 여론조사를 실시한다는 점에서 ‘결번’ 확률이 거의 없다. 다만 통신사에서 가상번호를 구매해야 하기 때문에 적잖은 비용이 수반된다. 그에 비해 무작위 전화걸기 방식의 RDD는 저렴하게 여론조사를 실시할 수 있는 반면 ‘결번’에 전화를 걸 확률이 높아 응답률은 낮아질 가능성이 높다.

엄경영 시대정신연구소 대표는 “통신사 가상번호를 구매해 면접원이 전화면접으로 실시하는 여론조사가 비용이 가장 많이 든다”며 “비용이 더 든다고 꼭 그 결과가 더 객관적이라고 할 수는 없겠지만 전국 인구분포에 맞게 표본을 추출하고 두 자릿수 이상 20%대의 높은 응답률을 기록한 결과라면 그만큼 더 신뢰할 요인을 갖췄다고 볼 수 있다”고 말했다. 그는 “조사 방법과 표본 추출 방식이 다르다 하더라도 조사 기관들은 기관의 신뢰 문제가 걸려 있기 때문에 객관적인 조사를 진행하기 위해 노력한다”고 덧붙였다.

여론조사는 유권자 전체를 조사하기 어렵기 때문에 소수의 표본을 추출해 민심의 한 단면을 들여다보는 것이다. 모집단에서 표본을 추출하기 때문에 그에 따른 오차가 존재한다. 여론조사마다 ‘95% 신뢰수준에 표본오차 ±3.1%포인트’라는 오차범위를 명기하는 것도 그 때문이다. 오차범위는 여론조사를 100번 실시하면 그중 95번은 표본오차(±3.1%포인트) 이내에서 결과가 나온다는 것을 의미한다.

한국사회여론연구소(KSOI)가 9월 3일부터 4일까지 실시한 조사 결과를 바탕으로 살펴보자. 이 조사에서 차기 대선후보 적합도로 이재명 28%, 윤석열 26.4%가 나왔다.(자세한 내용은 중앙선거여론조사심의위원회 홈페이지 참고) 즉 100번 조사하면 95번은 이 지사는 31.1∼24.9% 사이에, 윤 전 총장은 29.6∼23.3% 사이에서 지지율을 기록할 것이란 얘기다. 나머지 다섯 번은 오차범위를 벗어난 결과가 나올 수 있다는 얘기다. 즉 두 후보의 오차범위는 29.6∼24.9% 사이에서 일치한다.

오차범위가 겹치는 구간에서는 누가 누구를 앞선다고 보기 어렵다. 말 그대로 ‘오차’가 발생할 수 있는 ‘범위’에 들어 있기 때문이다. 오차범위를 무시하고 조사 결과가 실제 지지율인 것으로 받아들이면 조사 결과를 단순 비교하는 오류에 빠지기 쉽다. 어제 발표된 조사에서는 누가 얼마만큼 앞섰는데, 오늘 발표된 조사에서는 누가 얼마만큼 앞섰다고 경마식으로 결과만 단순 비교하는 것은 ‘오차’를 무시한 것으로 실제 민심과 동떨어진 분석이 될 수 있다.
여론조사 전문가들은 “비교 평가해서는 안 되는 서로 다른 성질의 여론조사 결과를 놓고 ‘누가 얼마 앞섰다’ ‘누가 누구를 따라잡았다’는 식으로 분석하는 것은 실제 결과가 담고 있는 여론을 호도할 가능성이 있는 만큼 유의해서 봐야 한다”고 강조했다. 대신 정당 지지도와 당선 가능성, 양자 대결 결과 등 다양한 데이터를 종합적으로 봐야 한다고 강조했다.

이은영 휴먼앤데이터 소장은 “여론조사는 민심의 변화 추이를 살펴보는 지표로서 의미가 있다”며 “대통령선거는 정당 지지에 후보에 대한 선호도가 합쳐져 당락을 결정짓는 경향이 강한 만큼, 여론조사 결과로 대선 민심의 흐름을 파악하려면 하나의 지표만 볼 게 아니라 정당 지지도와 당선 가능성, 그리고 양자 대결 결과 등을 종합적으로 살펴봐야 더욱 정확한 민심의 흐름을 파악할 수 있다”고 말했다.

#대통령선거 #여론조사 #오차범위 #신동아