• ‘숨은 표’ 논란으로 바꾼 조사방법 별무효과
• ‘오차 범위 내’ 무시하고 아전인수 격 해석
• 여론조사 공표 금지가 불신, 소외감 불러

제18대 대통령선거에서는 여야의 경쟁 못지않게 뜨거운 각축전이 장외에서 벌어졌다. 여론조사 보도에서 우위를 점하려는 언론사들의 경주마 식 보도 경쟁이 그것이다. 과거에는 적지 않은 여론조사 비용 때문에 방송 3사와 유력 신문사 몇 곳이 비정기적으로 보도했지만, 최근에는 저가의 자동응답조사(ARS 혹은 IVR 조사)를 선거 여론조사에 활용하기 시작하면서 인터넷 언론들도 독자적인 여론조사 보도가 가능해졌다.

조사 빈도에서도 상당한 변화가 있었다. 과거에는 한 달을 주기로 정기 조사하거나 ‘D-100’ ‘D-30’ ‘D-7’ 식으로 특정 시점에 맞춰 조사하고, ‘추석 직후 대선 민심’ ‘후보등록 직후 조사’와 같이 정치사회적 이벤트에 맞춰 비정기적으로 조사하는 것이 일반적이었다.

그러나 이번 대선에서는 한국갤럽, 리얼미터, 리서치앤리서치 등에서 300~ 500명 규모의 샘플을 매일 모집해 2~3일간의 조사결과를 평균해 발표하는 소위 ‘일일조사’ 결과까지 발표되면서 유권자는 거의 매일 복수의 기관에 의한 다양한 여론조사 결과를 접할 수 있었다.

2010년 지방선거를 계기로 조사방법에도 큰 변화가 있었다. 이전에는 KT 가구전화명부에 등재된 일반 집전화번호, 그중에서도 개인정보 외부공개를 허용한 가구만 표본추출의 대상이 됐다. 하지만 이제는 집전화와 별도로 휴대전화번호 중에서도 표본을 추출하는 이중표본추출틀(dual frame)로 전환됐다. KT 가구전화명부에 올라 있는 전화번호를 무작위로 추출하는 기존 방식도 2012년 총선 및 대선에서는 번호 자체를 임의로 형성하는 임의번호추출(RDD·Random Digit Dial) 방식으로 바뀌었다.

매일 쏟아진 여론조사 결과



KT 가구전화부에 등재된 집전화가 전체의 절반에 못 미치는 상황에서 가구전화부에서 표본을 추출하는 것은 등재되지 않은 가구나 유권자층이 배제되는 ‘대표성의 문제’가 제기될 수밖에 없다. 임의번호추출 방식은 국번호 및 개별번호 자체를 무작위로 생성하기 때문에 가구전화부에 올라 있지 않은 가구나, 아예 공개되지 않은 휴대전화 소유자까지 표본에 포함시킬 수 있다. 다만 휴대전화 포함에 따른 통신비용 상승, 실존하지 않는 번호까지 생성되는 문제 등으로 조사시간과 경비가 상승하는 것이 불가피하다.

이처럼 여론조사 방식이 크게 달라진 것은 2010년 지방선거가 끝나고 ‘여론조사를 신뢰할 수 없다’는 정치사회적 압력이 커졌기 때문이다. 선거 일주일 전 여론조사에서 당시 한나라당 후보가 우세하다는 결과들이 전국적으로 나왔다. 그런데 애초 민주당 열세로 예상된 지역에서 박빙의 결과가 나오고, 박빙이 예상된 지역에서는 민주당 후보의 여유로운 승리로 귀결되면서 기존 여론조사가 잡지 못하는 이른바 ‘야당의 숨은 표’가 존재한다는 주장이 제기됐다.

이런 주장은 크게 3가지 논리로 뒷받침된다. 첫째, 휴대전화 응답자는 집전화 응답자보다 진보적인 성향을 갖는다. 둘째, 같은 집전화 응답자라도 KT 가구전화부에 등재된 응답자보다 임의번호로 추출된 응답자가 야당을 지지하는 성향이 강하다. 셋째, ARS는 기계음으로 묻기 때문에 면접원에 의한 전화조사보다 응답자의 솔직한 대답을 끌어내 야당의 숨은 표를 잡는 데 우월하다는 것이다.

같은 조사, 다른 결과

그렇다면 ‘새로운’ 여론조사는 이번 대선을 통해 신뢰도 측면에서 명예회복을 했는가. 결론부터 말하자면 실패한 것으로 보인다.

우선 동일한 시점에 한 조사임에도 조사 결과마다 우세 후보가 달라 정치권은 물론 유권자에게 혼선을 초래했다. 특히 언론들이 보도 경쟁을 펼치는 추석 전후, 야권의 후보단일화 전후, 여론조사 공표금지 기한 전후에 발표된 여론조사들로 인한 혼란은 극에 달했다.

일례로 10월 초 대부분의 언론은 ‘추석 전후로 여론이 크게 변했다’고 진단했는데, 야권 후보가 박근혜 새누리당 후보를 치고 올라가 그 격차를 벌렸다는 보도와 박근혜 후보의 우위가 유지되고 있다는 보도가 동시에 나왔다. 일대일 가상대결 여론조사에서도 안철수, 문재인 후보 모두 박근혜 후보를 추월했다는 기사와 안철수 후보는 박근혜 후보를 추월했지만 문재인 후보는 아직 박근혜 지지율에 미치지 못했다는 기사가 동시에 나왔다.

또한 야권 후보단일화 과정에서 문재인, 안철수 후보 양 진영이 여론조사 문구와 방법을 둘러싸고 논쟁을 벌여 여론조사가 과연 믿을 만한 것인지 국민의 의문을 가중시켰다. 문재인 측은 ‘적합도’를 묻는 문항을 선호했다. 반면 안철수 측은 양자간 ‘선호도’ 또는 ‘당선 가능성’을 물어야 한다고 주장하다 최종적으로 박근혜 후보와의 일대일 가상대결 조사 결과를 가지고 단일후보를 결정하자고 제안했다.

이런 양측의 갈등은 때 아닌 ‘여론조사 방법론’ 논쟁을 일으키며 국민적 관심을 불러모았다. 결국 양 후보는 단일화 합의에 실패했고, 그 과정에서 여론조사 방법에 관한 심각한 의혹과 음모론까지 대두됐다.

한 여론조사 기관이 선호도 조사만 진행하다 적합도 조사를 병행하자 안철수 진영에서는 “사실상 문재인 후보를 지원하는 편파적 행위”라고 공격했다. 여론조사는 조사문항에 따라 결과가 달라지는 소위 ‘워딩(wording) 효과’가 있게 마련이다. 또 다차원의 개념을 하나의 조사문항으로 측정하기 때문에 근본적인 한계를 가질 수밖에 없다. 이번 야권 단일화 과정에서 불거진 여론조사 잡음은 이런 여론조사의 태생적 한계가 정치적 의도의 문제로 환원될 여지가 있음을 드러낸 상징적 사건이라 하겠다.

통설의 범람

대선이 끝난 뒤 일반 국민보다는 주로 정치권과 언론계에서 여론조사의 신뢰성에 강한 의문을 제기하고 있다. 그 까닭은 여론조사 공표 금지 기간 중 은밀하게 접했던 실시간 여론조사 결과가 실제 대선 결과와 큰 차이를 보였기 때문이다.

야권 후보단일화 실패와 이후 문재인 캠프의 과거지향적인 ‘유신후보 심판론’이나 ‘이명박근혜’ 프레임은 전혀 반향을 일으키지 못했다. 선거 전략상의 오류였다. 그러나 안철수 전 후보가 적극적인 선거 유세에 나서고 대선 후보 TV토론을 거치면서 투표일 직전 문재인 후보가 박근혜 후보를 추월했다는 여론조사 결과가 정치권과 언론에서 회자된 게 사실이다.

그러나 막상 투표함을 열어보니 박근혜 후보가 예상보다 큰 격차로 승리했다. 상황이 이렇다보니 선거 후 평가 담론을 주도하는 정치권과 언론에서 여론조사 신뢰도에 의문을 제기하는 건 충분히 이해할 만하다.

정치권이나 조사업계 통설이 여지없이 깨진 것도 선거여론 및 여론조사 전반에 대한 불신을 강화한 계기로 작용했다. ‘수도권 유권자는 진보적이다’ ‘투표율이 높으면 야당이 유리하고 낮으면 여당이 유리하다’ 등의 말은 일종의 선거법칙처럼 통용됐고, ‘국민은 여론조사 우세후보에 편승한다’ ‘SNS 여론이 전체 여론에 미치는 영향력이 커지고 있다’ ‘이번 대선엔 부동층이 적고 고정표가 많다’ 등의 주장도 마치 정설처럼 인식됐던 것이 사실이다. 이런 주장들은 여론조사 방법 자체의 문제는 아니지만, 대체로 여론조사 전문가들의 입을 통해 정당화되곤 했다.

여기서 한 가지 짚어야 할 것은 여론조사에 대한 일반인의 오해다. 여론조사는 민의를 파악하기 위한 하나의 수단이지, 민의 전체와 동일시할 수 없다는 점을 우리는 자주 간과한다. 여론조사는 투표로 실현되는 대의민주주의 체제가 유권자의 의사를 제대로 대표하고 있는지 모니터링하는 방법론일 뿐이다. 여론조사에 응답하는 것은 결코 정치적 참여가 될 수 없다. 어떻게 조사기관에서 임의로 선정한 응답자가 유권자를 대표한다고 여기고, 조사기관의 질문에 답한 것을 어떻게 자발적 정치 참여와 동일시할 수 있겠는가.

민의는 다의적이고 다면적인 데 반해 여론조사는 단일 차원에 대한 태도를 수량화한 결과일 뿐이다. 야권 후보단일화 과정에서 ‘적합도’니 ‘선호도’니 논쟁이 인 것은 유권자의 태도 자체가 다의적이고 다면적일 수 있기 때문이다. 실제로 초기 여론에서 안철수 후보가 적합도, 선호도, 당선 가능성 등 모든 차원에서 우위를 점했지만, 후보 등록 이후 안 후보에 대한 불안감이 커지는 반면 문 후보의 인물호감도와 안정감이 부상하면서 유권자의 태도가 다층적으로 변화했다. 즉 후보 적합도에서는 문 후보를 높게 평가하면서도 박근혜 후보와의 경쟁력에서는 안 후보를 높게 평가하는 것을 여론조사를 통해서 파악할 수 있었다.

단일 후보에 대한 ‘지지’라는 다층적이고 다면적인 여론을 한두 개의 질문으로 파악하고, 더구나 그것으로 단일 후보를 결정하겠다는 발상 자체가 민심을 얼마나 단순하게 이해하고 있는지, 여론조사를 얼마나 편의적으로 활용하고 있는지 단적으로 보여주는 예라고 하겠다. 여론조사는 유권자 구성원 간의 선호의 차이를 풍부하게 이해하는 데 도움을 줄 수는 있지만, 어느 선호가 그 사회와 유권자에게 더 바람직한지, 어떤 측면을 더 우선할 것인지에 대한 답을 줄 순 없다.

그 답을 찾는 것이야말로 유권자로부터 권한을 위임받은 정치인과 정당이 할 일이다. 누구를 단일 후보로 할지, 어떤 정책적 결정을 내릴지를 여론조사에 맡기는 것은 정치적 리더십이 없음을 고백하는 것과 다름없다. 단일화 룰 합의의 실패는 여론조사의 실패가 아니다. 단일화 주체들의 정치력 공백을 의미할 뿐이다.

오히려 ‘정치의 실패’

여론조사는 늘 오차를 포함하는 ‘확률적 지식’이다. 불과 1000명 안팎의 표본을 조사해 4000만 유권자의 선호와 태도를 추론한다는 점에서 표본조사의 결과와 실제 여론은 차이가 있을 수밖에 없다. 이를 표본오차라고 한다. 따라서 여론조사 결과에는 항상 95% 신뢰수준에 오차 범위 ±α라는 표본오차 범위를 밝힌다. 그뿐만 아니라 조사면접원의 숙련도, 코딩 정확성, 각 조사기관의 하드웨어적 인프라 특성, 노하우, 앞서 말한 워딩 효과 등 비(非)표본오차도 불가피하다.

이런 비표본오차는 실제로 표본오차 범위보다 훨씬 큰 오차를 가질 수밖에 없다. 따라서 여론을 특정 수치가 아닌 ‘범위’로 해석할 수밖에 없으며 ‘오차 범위 내 차이’란 실제 누가 우세라고 장담할 수 없는 박빙의 상황을 의미한다. 앞서 언급한 추석 전후 여론에서 대부분의 조사결과에서 1등의 주인공은 다를지언정 1등과 2등의 차이는 오차 범위 내에 있었다. 특히 이번 대선에선 후보 간 경합도가 매우 높았던 시기가 많았기 때문에 조사 결과들이 오차 범위 내라면 조사기관마다 1등이 다르거나, 같은 조사기관에서 한 동일 시점의 조사 결과라도 1등과 2등이 뒤바뀌는 것은 전혀 이상한 일이 아니다.

여론조사 신뢰도가 도마에 오른 것은 오히려 정치권과 언론에 책임이 있다. 우선 각 정당과 선거캠프는 오차 범위의 의미를 거두절미한다. 이기고 있을 때는 오차 범위 내 우세를 대세론으로 포장하고, 뒤질 때만 오차 범위를 거론하는 이중잣대를 자주 애용했다. 정치권이야 사활이 걸린 승부 때문이라고 치자. 이런 아전인수 격 해석을 바로잡고 견제해야 할 언론이 사실 이런 정보를 유포하는 일등공신이었다.

새누리당이 박근혜 대선 후보를 선정한 전후 일주일 사이 발표된 여론조사 결과들을 보면 박 후보에 대한 지지율은 수치상 2~3% 상승한 것으로 나타났다. 오차 범위를 고려하면 정체 내지 답보라는 해석이 타당하다. 그러나 대다수 언론이 이를 두고 ‘컨벤션(전당대회) 효과’라고 해석했다.

‘잘못된 처방’

그러나 정치권과 언론을 탓하기에 앞서 여론조사를 수행하고 데이터를 제공하는 여론조사 업계 자체의 자정노력을 강조하지 않을 수 없다. 정치권과 언론의 오용(誤用)이 여론조사 신뢰도 위기의 동반요인임을 부정할 순 없지만 이런 문제를 키운 책임은 역시 조사업계 자체에서 찾아야 할 것이다.

첫째, 조사방법론 개선 작업이 즉흥적으로 이뤄졌다는 점을 지적하지 않을 수 없다. ‘숨은 표’ 문제를 해결하기 위해 RDD 및 휴대전화 조사가 도입됐지만, 이번 대선에서 또다시 5060세대의 숨은 표 논란이 재연됐다. RDD 방식 등은 기존 등재 리스트에 없던 이들을 표본에 포함시킨다는 점에서는 긍정적 변화이지만, 사회적 분위기 때문에 자신의 의견을 숨기는 현상이 존재한다면 RDD 도입 등은 조사대상 범위를 확장하는 효과에 그칠 뿐, 응답을 왜곡하는 사회현상에 대한 처방은 아니다. 즉 원인에 대한 처방 자체가 맞지 않다.

둘째, 여론조사와 관련한 왜곡된 통설의 상당 부분이 조사업계와 학계에서 나왔다는 점이다. ‘숨은 표 이론’ ‘컨벤션 효과’ ‘RDD 및 휴대전화 조사의 진보적 편향성 가설’ 등 충분한 검증 없이 언론 플레이를 앞세워 정설로 자리 잡게 했다는 점을 반성해야 한다. 앞으로 18대 대선 여론조사 결과를 평가할 때는 개별 회사의 이익을 도모할 게 아니라, 조사업계 전체의 공동연구 및 협력방안을 모색할 것을 주문하고 싶다.

마지막으로 선거 6일 이내 실시한 여론조사 결과 공표를 제한한 규제가 오히려 여론조사에 대한 혼선과 분란을 강화하고 있음을 지적하고 싶다. 필자는 선거 2, 3일 전 지인들로부터 여론조사 공표 금지 기간인데도 여론조사 결과 문자를 여럿 받았다. 재미있는 점은 이런 정보가 필자가 여론조사업계에 몸담고 있기 때문에 접할 수 있었던 고급 정보가 아니라, SNS 등을 타고 쉽게 전파되고 있던 정보라는 것이다.

이런 정보의 진위 여부를 떠나 실제 결과와의 차이로 인해 여론조사에 대한 불신이 유발될 수 있고, 한편 이런 정보를 취득하지 못한 사람들 사이에서는 정치적 소외에 따른 불만과 냉소가 싹틀 수 있다. 세계 대부분 국가에서는 여론조사 공표 금지를 표현의 자유에 대한 규제로 이해하고 있다는 점을 우리도 고려해야 할 필요가 있다.

여론조사 신뢰도 위기에 대한 조사업계의 동반책임과 협력적인 개선 노력이 없다면 2017년 차기 대선이나 이전 중간평가 때도 오늘 진단한 문제들이 개선되어 있지 않을 것이다. 신뢰회복은 불신의 원인과 책임을 정확히 진단하는 것에서 출발한다는 점은 두 번 강조할 필요가 없을 것이다.