전화조사를 위해 처음에 무작위로 1000명의 표본 전화를 선정하면 거기에는 다양한 계층이 포함된다. 예를 들어 정치적으로 관심이 많고 정치에 적극적인 사람이 포함되는가 하면, 반대로 정치에는 관심이 없고 소극적인 사람이 포함될 수 있다.

그런데 여론조사를 실시할 경우 후자의 사람들보다는 전자의 사람들이 조사에 응할 가능성이 크다. 즉 전자의 응답률이 상대적으로 높을 수밖에 없다.

따라서 기존 조사 관행대로 전화를 걸어 조사에 응하지 않을 경우 임의로 다른 표본으로 대체해 조사한다면 정치에 적극적인 사람이 질문 대상에 선정될 가능성이 상대적으로 커진다.

반면 최초 표본 전화에 충실하기 위해 조사를 거부한 사람이나 전화를 받지 못했던 사람에게 재통화를 하거나 예약을 받아 조사한다면 다양한 계층이 조사에 포함될 가능성이 크다. 조사에 포함되는 계층의 차이가 궁극적으로 결과의 차이를 낳는 원인이 될 수 있다. 이는 모든 조사기관이 가능한 한 처음 뽑힌 전화번호의 사람들 모두로부터 응답을 받아내려고 노력한다면 기관별로 조사결과에서 큰 차이가 나지 않을 수 있음을 의미한다.

셋째, 조사 설문지(questionnaire) 내용과 조사방식에 따라 결과가 달라질 수 있다. 지난 3월 민주당 경선과정에 노풍이 거세게 일자 이인제 후보는 노풍의 진원지로 여론조사 조작 문제를 제기한 적이 있다. 이인제 후보는 한 일간지와 인터뷰(대한매일 3월23일)하며 “노풍이 출발된 13일의 TN소프레스 여론조사 문항에서 한나라당 이회창 총재의 빌라 문제를(의도적으로) 거론한 뒤 서민 이미지의 노후보 지지를 이끌어 냈으며 방송사를 통해 연이어 여론조사를 실시해 노후보의 급상승을 끌어냈다”고 주장했다.



이에 대해 TN소프레스에 조사를 의뢰했던 문화일보는 “이총재와 노고문의 양자대결을 처음에 질문하고 이총재 빌라 파문은 마지막에 질문했기 때문에 문항 순서 조작으로 결과를 유도하지는 않았다”고 보도했다. 이러한 사실은 설문순서에 따라 조사 결과가 다르게 나타날 수도 있음을 지적하는 사례다.

한국갤럽, 코리아리서치, TN소프레스 3개 조사기관이 9월에 실시한 조사 설문 내용과 순서를 검토해보면 대선 가상 대결 구도에 대한 문항의 순서에는 기관별로 차이가 없는 것으로 나타났다. 에서 보듯이 5자 대결구도에 관한 것은 모두 두번째 문항에 포함돼 있었다. 문화일보·TN소프레스의 경우 5자 대결구도를 처음에 질문하고 ‘이회창 후보 아들 병역수사 지속’ 등과 같은 민감한 정치현안은 나중에 물어봤다. 다만 정당 지지의 경우, 한국갤럽은 맨 나중에 물어봤고, 코리아리서치와 TN소프레스는 중간에 질문한 것이 달랐다.

당선 가능성 후보와 지지후보 차이

한편 대선후보 가상대결에 대한 설문 내용(wording)에서는 기관별로 현격한 차이를 보이고 있다. 에서 보듯이 한국갤럽의 경우는 “만일 이번 대통령 선거에 한나라당 이회창씨, 민주당 노무현씨, 민주노동당 권영길씨 그리고 독자 정당을 추진중인 정몽준, 이한동씨가 출마한다면, ○○님께서는 이중 누가 대통령이 되는 것이 조금이라도 더 좋다고 생각하십니까?”라고 질문한 반면, 문화일보·TN소프레스는 “내일 바로 대통령 선거가 있고 한나라당 이회창, 민주당 노무현, 신당의 정몽준, 민주노동당 권영길, 이한동 후보가 출마한다면 ○○님께서는 누구를 지지하시겠습니까?”라고 물어보았다. 응답자의 입장에서는 당선을 기대하는 후보와 지지하는 후보간에는 분명히 차이가 있을 수 있다.

정당지지에 관한 질문 내용을 보더라도 한국갤럽에서는 “현재 우리나라에는 한나라당, 민주당, 자민련, 민주노동당 등의 정당이 있습니다. ○○님께서는 이중 어느 정당을 지지하십니까?” 라고 물어본 반면, 동아일보·코리아리서치는 “현재 우리나라 정당에는 한나라당, 민주당, 민주노동당, 자민련, 한국미래연합 등이 있습니다. ○○님께서는 이 중 어느 정당을 가장 좋게 생각하십니까?”라고 물어보았다. 마찬가지로 지지하는 정당과 선호하는 정당간에는 차이가 있을 수 있다.

설문순서와 설문 내용 이외에 같은 문항에 대해 응답자에게 한 번만 질문하느냐 아니면 추가로 질문하느냐에 따라 조사결과가 다를 수 있다. 예를 들어 ‘대선 후보 지지’와 ‘정당 지지’에 관한 질문에서 “없다/모른다” 라고 응답한 소위 무응답층을 어떻게 처리하느냐에 따라 달라질 수 있다. 이러한 무응답층에게 추가로 “그래도 어느 후보 또는 어느 정당을 지지하십니까”라고 물어 본 다음 그 결과를 최초 지지 응답에 포함시키는 경우와 그렇지 않은 경우간에는 큰 차이를 보일 수 있다.