통계의 함정을 극복하는 5가지 지혜
- Posted at 2018/12/13 14:11
- Filed under 정보공유
그야말로 통계의 시대입니다. 국가 정책에서부터 기업의 전략은 물론, 이제는 개인 생활의 관리와 계획에도 통계의 영향력이 크게 작용하고 있습니다. 국가 예산의 배분이나 전염병의 원인 분석과 같이 중대 사안을 해결할 때도, 고속도로의 정체 해소나 기업의 경영효율 개선 등과 같이 제한된 자원 내에서 최선의 대책을 고안할 필요가 있을 때도 세계 각국의 정부와 기업들은 통계를 적극적으로 활용하고 있습니다. 과거의 통계는 합리적인 결정을 내리기 위해 참고로 활용하는 수단에 가까웠지만, 대량의 데이터를 통합적으로 분석하고 예측할 수 있는 빅데이터 기술이 발전한 오늘날의 통계는 최상위 의사결정권자에 가까운 역할을 하고 있다고 해도 과언이 아닙니다. 통계 해석 결과가 문제해결을 위한 최선의 방법으로 연결되는 경우가 많고, 대다수 사람들은 이러한 방식이 합리적이라는 것에 공감하기 때문입니다.
그런데 한편으로 통계의 중요성이 이렇게 커지면서 일부 정치세력이나 기업, 단체들이 자신들의 이익을 위해 통계를 왜곡하는 사례도 증가하고 있습니다. 이들은 왜곡된 통계로 여론을 오도하여 자신들의 정책이 채택되게 하거나 부당하게 이익을 챙기기도 합니다. 통계는 본질적으로 현상이나 의견을 그대로 담은 데이터 집합체일 뿐인데, 왜 이런 상황이 발생하게 된 것일까요?
본 글에서는 우리가 통계를 접할 때 빠지기 쉬운 5개의 함정에 대해서 살펴보려고 합니다. 이 함정들은 통계로 혹세무민하려는 사람들이 주로 사용하는 왜곡 수단이기도 합니다. 이러한 통계의 함정들을 극복하고 통계의 본질을 올바르게 볼 수 있는 안목을 키울 수 있다면, 더이상 통계로 혹세무민하는 세력들에게 휘둘리지 않고 통계가 진정으로 말하고 싶은 진실의 영역에 도달할 수 있을 것입니다.
1. 평균의 함정
일찍이 1950년대 미국의 통계학자 대럴 허프는 자신의 저서 ‘새빨간 거짓말, 통계’에서 통계의 평균이 가진 한계점에 대해 언급한 바 있습니다. 그런데 60여 년이 지난 지금까지도 많은 통계 관련 기사에서는 평균만이 통계의 주요 결과로 나오는 경우가 많습니다.
2017년 국내의 한 일간지는 한국노동연구원의 발표내용을 바탕으로, 2016년에 약 342만원이었던 우리나라 직장인들의 평균 월급이 2017년에는 약 354만원 정도 될 것으로 예상된다는 기사를 발표하였습니다. 이 기사를 접한 많은 사람들은 아마도 별 의심없이 내용을 받아들였을 것입니다. 어떤 사람들은 평균에 한참 못 미치는 자신의 월급에 한탄을 했을 수도 있습니다. 그런데 이 기사에서 2017년의 월급은 예상치로 본 것이기 때문에 실제와 다를 수 있다고 하더라도, 2016년의 월급을 기준으로 살펴봤을 때 통계청에서 발표한 수치와 꽤 많은 차이를 나타내고 있습니다. 통계청에서 발표한 자료에 의하면 2016년 우리나라 임금 근로자의 평균월급은 약 237만원으로 나타났기 때문입니다. 대체 무엇이 잘못되었기에 100만원이 넘는 차이(통계청 자료에 나온 월급을 기준으로 보면 무려 45% 차이)가 나게 된 것일까요?
(출처:KOSIS 국가통계포털의 월평균임금통계)
이러한 사례는 양쪽 모두 통계 데이터 자체를 조작하지는 않았다는 것을 전제로 할 때, 평균을 산출할 때 대상이 된 표본집단이 다르고 각 통계자료에서 사용한 용어가 통일되지 않았기 때문에 발생한 것으로 볼 수 있습니다. 기본적으로 통계청의 자료는 ‘인구주택총조사’를 실시할 때 수집한 자료를 표본으로 사용하였고, 기사에서 인용한 자료의 경우에는 고용노동부의 ‘사업체노동력조사’에서 수집한 자료를 표본으로 사용했다는 점에서 차이가 있습니다. 그리고 일간지의 기사에서는 제목의 ‘직장인’을 ‘상용직 근로자’로 한정하였고 여기서 상용직 근로자는 ‘5인 이상 사업체에 소속되었으며 정규직이거나 1년 이상의 계약직인 근로자’로 정의하였습니다. 기사의 경우 지면의 한계가 있다 보니 제목에 내용을 축약해서 넣을 수밖에 없는 한계점이 있긴 하지만, 제목만 봤을 때는 우리나라 모든 직장인 월급의 평균이 약 354만원인 것으로 착각하기 쉬운 것도 사실입니다. 이렇게 평균을 산출하는데 관여한 표본과 용어에서 나오는 차이를 명확하게 인지하지 못하고 단순히 드러나는 평균값만을 받아들일 경우, 통계가 나타내는 진실로부터 완전히 멀어질 수 있습니다. 통계자료에서 표본과 용어만 적당히 조정하면 평균은 얼마든지 쉽게 바꿀 수 있다는 점을 잘 인지하고, 표본이 과연 모집단을 적절하게 반영하고 있는지, 결론을 내리는 과정에서 사용된 용어들은 보편적인 관점에서 명확하게 정의된 것인지를 잘 따져보아야 할 것입니다.
평균이 가지고 있는 또 다른 함정은 대표성을 갖기 어렵다는 점입니다. 많은 통계자료에서 평균은 마치 결론이 담긴 한 문장처럼 전체 통계를 대표하는 값으로 활용되곤 합니다. 통계의 세부적인 내용을 살펴볼 시간이 없거나 구체적인 내용을 봐도 이해가 잘 안 되는 사람들은 평균을 해당 통계의 결론처럼 받아들이게 되는 경우가 많습니다. 그리고 무엇보다 통계자료를 전달하는 주요 매체인 신문기사에서부터 지면의 한계를 이유로 상세한 자료없이 평균 정보만 제공하는 사례가 많습니다. 그렇지만 한 예로 회사 임원의 월급이 1,000만원일 때 종업원의 월급이 100만원이라면, 이들의 평균 월급은 550만원이 됩니다. 여기서의 평균은 대체 누구를 대표하는 값이 될 수 있을까요? 그리고 다른 예로, 우리나라처럼 일교차가 심한 날씨에서 얻어낸 평균온도라면 현실의 기후 특성을 제대로 반영하지 못할 것입니다. 이 때문에 많은 통계 전문가들은 평균을 표시할 때는 반드시 중앙값이나 표준편차, 분포형태를 함께 나타내야 하며, 필요에 따라서는 계층별 분석이나 시계열에 따른 분석을 통해 평균 속에 누락되어 버린 데이터의 속성을 잘 파악할 필요가 있다고 조언합니다.
2. 기준의 함정
고용과 실업 문제는 오늘날 세계 많은 나라들이 당면해 있는 중대한 사안입니다. 우리나라에서도 높은 실업률은 극복해야 할 큰 문제 중 하나라는 것에 대부분 동의하실 것입니다. 그런데 OECD(경제협력개발기구)에서 발표한 국가별 실업률을 보면 지난 2002년 이후 우리나라의 실업률은 계속 3퍼센트 수준을 유지하고 있습니다. (관련링크 : 국가별 실업률) 이 수치만 놓고 보면 우리나라는 비교적 상황이 좋은 것처럼 보입니다. 실업률이 낮은 상위 5개국에 들어갈 수 있을 정도입니다. 전 연령대에서 취업을 못한 사람들이 넘쳐나는 현실인데 OECD의 실업률 수치는 어떻게 나온 것일까요?
[그림2] 연도별 OECD 국가 실업률
(출처:KOSIS 국가통계포털의 실업률 통계정보를 바탕으로 편집)
여기에는 기준의 함정이 숨어 있습니다. ‘실업자’로 보는 기준이 국가마다 다른데, 우리나라는 이 기준을 가능하면 실업자에 포함되지 않는 사람이 많도록 설정한 것입니다. 미국에서는 일주일에 15시간 이상을 일해야 실업자에서 제외하는 반면, 우리나라에서는 일주일에 1시간만 일해도 실업자에서 제외합니다. 그리고 전업주부나 학생, 은퇴한 노인처럼 구직활동을 하지 않거나 근로활동 의사가 없는 사람들을 ‘비경제활동인구’라 하여 실업자에서 제외하는데 우리나라는 장기적인 취업 실패로 취업을 포기했거나 구직활동을 중단한 취업준비생, 국가고시를 준비하는 사람들도 모두 비경제활동인구에 포함시켜 실업자에서 제외하는 기준을 적용하고 있습니다. 이렇게 하다 보니 실제 직업을 가진 상태가 아님에도 불구하고 실업자에는 포함이 안 된 사람이 많고, 이는 실업률을 낮추는 결과로 이어지게 됩니다. 그 결과 우리나라는 실업률이 낮은 순으로 상위 5개국 내에 드는데도 불구하고 고용률은 하위에 속하는 기이한 현상이 발생하게 되었습니다. OECD 실업률 통계에서 높은 실업률로 다른 나라 사람들에게 조롱거리가 되는 것은 아무도 바라지 않겠지만, 현실을 제대로 반영하지 못하는 모호한 기준으로 만들어낸 낮은 실업률이라면 통계자료로서 국가 발전에 아무런 도움이 되지 못할 것입니다.
정치단체나 언론사에서는 이 기준의 함정을 이용하여 국가나 단체별 순위를 산정해 발표하는 경우가 있습니다. 그런 경우 점수나 순위를 산정하는 기준이 공정하게 설정되고 적용된 것인지 잘 확인을 해봐야 할 것입니다.
3. 초점의 함정
지난 가을, 함께 보면 재미있는 두 기사가 보도된 적이 있습니다. 통계청이 발표한 임금근로자의 수입에 관한 내용이었는데, 같은 통계정보를 두 기사가 정반대의 관점에서 묘사를 하였습니다. 한쪽 기사의 제목은 ‘월 200만원 이상 근로자 첫 60% 돌파…”최저임금 영향”’ 이였고 다른 기사의 제목은 ‘월급쟁이 10명 중 4명 월 200만원도 못 번다’였습니다. 한쪽은 더 많이 받는 쪽에 초점을 맞추고 다른 한쪽은 덜 받는 쪽에 초점을 맞추어 기사를 썼는데 양쪽 모두 통계정보 자체를 조정한 것은 아닙니다. 단지 기사의 초점을 다르게 두었을 뿐인데, 통계가 반영하는 현실 온도가 완전히 다르게 전달이 되었습니다.
초점의 함정은 통계를 전달하는 사람들이 통계를 통해 자신들의 가치관이나 의견을 피력하려는 과정에서 발생하기 쉬운 함정입니다. 같은 통계정보라도 정보의 특정 부분에만 초점을 맞추거나, 정보 일부분을 증폭해서 보여주는 식입니다. 이런 유형은 식품이나 약의 효능을 더 돋보이게 할 때도 많이 사용되는데, 예를 들면 절대적인 변화치가 작을 경우 상대적인 변화치로 표시하는 방식입니다.
2000년대 중반 미국의 제약회사인 화이자는 뇌졸중 약 리피토를 광고하면서 2형 당뇨와 심장병 위험요인이 있는 환자에게 발병률을 48퍼센트 낮춰준다는 문구를 넣었습니다. 그런데 이는 위험요인을 가진 사람 100명 중 48명은 뇌졸중에 걸리지 않는다는 것이 아니라 비교집단 환자들의 2.8퍼센트에서 뇌졸중이 발생한 것에 비해 리피토를 복용한 환자 집단에서는 1.5퍼센트에서만이 뇌졸중이 발생하였고 이 두 집단의 상대적 차이가 48%였다는 의미였습니다. 두 집단의 절대적인 차이는 1.3퍼센트였습니다.
이렇게 통계정보는 발표하는 주체의 목적에 따라 특정 부분만이 강조되거나, 절대적 차이 대신 상대적 차이가 부각되는 경우가 있습니다. 전면에 드러난 데이터가 과연 통계의 전부인 것인지, 그리고 그것이 절대적인 것인지 상대적인 것인지를 잘 파악할 수 있어야 통계가 만든 합법적인 과장으로부터 벗어날 수 있을 것입니다.
4. 상관관계의 함정
통계 해석 과정에서 빠지기 쉬운 또 다른 함정은 바로 상관관계의 함정입니다. 통계 관련 자료에 많이 나오는 예로 유럽에서 예전부터 전해오는 황새와 신생아 수에 관한 이야기가 있습니다. 황새가 많은 마을일수록 아이가 많이 태어난다는 것입니다. 1980년대 말, 유럽의 학자인 Helmut Sies는 이 이야기가 사실인지 증명을 하기 위해 조사를 실시하였고 실제로 황새와 신생아 수 사이에 상관관계가 존재함을 밝혀내었습니다. 이 연구결과는 세계적인 학술지에 실리면서 크게 이슈가 되기도 하였고 지금도 통계의 상관관계를 이야기할 때 단골로 등장하는 예시가 되었습니다. 물론 이 예시는 잘못 추정한 상관관계의 대표적인 사례로 활용됩니다. 두 개 이상의 통계치의 분포 패턴이 유사할 때 이런 함정에 빠지기 쉬운데, 이런 경우 둘 모두에 영향을 미치는 제3의 변수가 존재하는 경우가 많습니다. 타당한 인과관계인지 확인을 하기 위해서는 회귀분석과 같은 통계적인 분석 기법을 통해 명확한 상관관계를 산출하고, 제3의 변수가 미치는 영향에 대해서도 고려를 해야 할 필요가 있습니다.
황새와 신생아의 상관관계의 경우, 사실은 마을의 규모라고 하는 제3의 변수가 황새와 신생아 수 모두에 영향을 미친 것으로 볼 수 있습니다. 그런데도 단순히 황새의 수와 신생아의 수라는 두가지 변수의 관계에만 집중하면 둘이 서로 인과관계가 있다고 착각을 하게 될 수도 있습니다. 황새와 신생아 수의 허위 상관관계에 넘어갈 현대인들은 별로 없겠지만, 다루는 대상만 바뀌었을 뿐 오늘날의 통계에서도 유사한 방식으로 상관관계를 엮어내고, 이 관계를 맺고 있는 대상들이 인과관계가 있는 것처럼 보여주는 경우가 많습니다.
이렇게 잘못된 인과관계의 함정은 오늘날 코호트 연구(특정 요인에 노출된 집단과 그렇지 않은 집단에서의 질병 발생률을 추적 비교하는 연구방법)에 대한 결과를 도출할 때 종종 발생합니다.
1980년대 초반 미국의 한 의학분야 학술지에는 커피와 췌장암이 상관관계가 있다는 연구결과가 실린 적이 있습니다. (관련기사 링크) 미국 하버드 대학의 역학학자 맥마혼 박사와 그의 연구팀은 1970년대 미국의 11개 병원에 입원한 369명의 췌장암 환자와 다른 질병으로 입원한 644명의 환자들을 비교연구하였습니다. 이들은 췌장암 환자들이 음주/흡연/커피/홍차를 매일 어느 정도 접하는지를 조사하였고 이를 다른 환자군과 비교하였습니다. 연구팀은, 커피를 많이 마실수록 높은 췌장암 발병률이 나왔다는 조사결과를 토대로 커피를 마시면 췌장암의 위험이 높아진다고 결론을 내렸습니다.
[그림3] 당시 연구팀이 발표한 연구결과 중 일부
(출처:발표논문의 Table을 참조하여 유사하게 재구성)
그러나 이후 다른 연구자들은 맥마혼 박사의 췌장암 연구에서 커피 섭취 집단 내에 흡연자들이 평균 이상으로 많이 포함되어 있었다는 사실을 확인하였습니다. 이는 당시 커피협회에서 주장했던 “실험집단에 보편성이 없다”는 내용과도 같은 맥락이었습니다. 이어진 후속 연구를 통해서 췌장암 발병률이 올라간 것은 흡연 때문이라는 것이 밝혀졌고 커피는 췌장암을 유발하는 원인물질이라는 오명에서 벗어날 수 있었습니다.
상관관계에서는 이처럼 상관관계가 없는데 있는 것으로 잘못 판단하는 경우를 ‘1종 오류’라고 합니다. 반대로 상관관계가 있는데 없는 것으로 판단하는 경우는 ‘2종 오류’라고 합니다. 위에서 예로 든 췌장암 연구의 경우, 커피와 췌장암의 상관관계에 대해 연구진은 1종 오류를 범한 것으로 볼 수 있습니다.
30여 년이 지난 요즘에도 뉴스에는 하루가 멀다 하고 ‘A를 먹으면 B가 유발된다.’ 거나 ‘C를 하면 D에 걸린다.’ 와 같은 식의 코호트 연구 결과가 보도되고 있습니다. 이러한 결과를 도출한 연구 과정이 정말 유의미한 인과관계를 끌어낼 수 있게 적절하게 구성되고 진행되었는지 좀 더 꼼꼼하게 살펴볼 필요가 있습니다. 연구에 언급한 변수들 외에 다른 변수가 영향을 주었을 여지는 없는 것인지, 비교 대상군은 적절하게 나뉜 것인지 등에 주안점을 두고 보면 좋을 것입니다.
5. 수치의 함정
통계는 거짓말을 하지 않는다고들 합니다. 그 말은 사실이지만, 통계를 분석하는 사람들은 종종 통계 내의 데이터에 빠져 잘못된 결론을 내리기도 합니다.
1990년대 중반, 국내의 한 역사학자는 전국 역사학 대회에서 일제강점기에 일본과의 협력을 통해 한국이 성장하였다는 주장을 하였습니다. 그는 그 근거로 일제강점기에 총독부가 남긴 자료를 분석한 결과를 제시하였는데, 그 자료에 따르면 일제강점기의 국내 총생산은 4.15 퍼센트씩 증가하였고 화물 수송량과 곡물 생산량, 무역과 공업 생산량도 증가하였다고 합니다. 단순히 수치만을 놓고 보면 그의 주장이 그럴듯해 보이기도 합니다. 그렇지만 그의 주장에 대해서는 3가지 관점에서 반박해 볼 수가 있습니다. 첫째, 강점기에 독점적 권력을 가진 세력이 산출하고 정리한 통계자료가 진정으로 신뢰할 수 있는 데이터인가? 둘째, 그 자료가 사실이라 하더라도 그 성장의 혜택이 우리나라 다수의 국민들에게 돌아갔는가? 결국에는 일본의 전쟁준비와 일본 본토의 이익을 위해 쓰이지 않았는가? 셋째, 우리나라 사람들의 생활 수준은 왜 더 나빠졌는가? (좀 더 면밀한 반박근거는 다음의 기사내용을 참고하면 좋을 것 같습니다. 식민지 근대화론 비판 )
이 학자가 통계를 분석하고 해석했던 과정을 통해 알 수 있는 것은, 단편적인 통계수치만을 놓고 최종적인 결론을 내리는 것은 매우 위험한 결과를 도출할 수 있다는 사실입니다. 이 통계해석의 경우에는 근본적으로 ‘발전’과 ‘성장’의 의미를 더 바르게 정의하고 접근할 필요가 있었고, 수치로 나타나는 지표의 성장이 실제로 구성원들에 대한 적절한 분배로 이어졌는지 알 수 있는 근거자료가 추가로 필요했다고 생각합니다.
통계는 전통적으로는 수학의 한 영역이지만, 그 활용성이 한층 넓어진 오늘날에는 수학으로서의 통계라는 틀에만 갇혀있으면 위험합니다. 통계를 올바르게 보기 위해서는 우선 세상을 바르게 보는 안목이 기본적으로 갖추어져 있어야 할 것입니다.
마치며
'나는 내가 조작한 통계만을 믿는다.'
한 때 윈스턴 처칠이 했던 것으로 알려졌던 이 말은 사실, 2차 세계대전 당시 독일군의 장군이었던 요제프 괴벨스가 통계를 잘 활용했던 적대국의 수상인 처칠의 신뢰를 떨어트리기 위해 퍼트렸던 유언비어라고 합니다. 처칠은 이 헛소문의 내용과는 반대로 전쟁에서 영국이 처해있는 위기 상황을 있는 그대로 국민들에게 전달하였고, 이는 사람들의 위기감을 자극하여 결과적으로는 전쟁이라는 힘든 시기 속에서 영국 국민들의 결속과 항전의지를 이끌어 낼 수 있었다고 합니다.
믿을 수 없는 정보들이 그럴듯한 통계정보를 근거로 내세우며 현대인들을 혼란스럽게 하고 있습니다. 하루가 멀다 하고 쏟아져나오는 통계정보의 엄청난 양과, 같은 통계정보를 가지고도 이를 해석하고 보도하는 주체마다 다르게 외치는 메세지 속에서 풍요로움보다는 어지러움을 더 느끼게 됩니다. 통계를 만들고 보도하는 사람들의 통계에 대한 올바른 지식과 통계정보를 분석하고 해석하는 과정에서의 양심과 정의감도 중요하겠지만, 가치관이 다원화된 사회에서 이들에게만 의존하는 것은 역부족일 것입니다.
영국의 소설가 하버트 조지 웰스는 언젠가 통계적 사고가 읽기 쓰기 능력처럼 유능한 시민의 자격요건이 될 것이라 예견하였습니다. 혹시 오늘도 통계정보에 그럴듯한 해석을 붙이고 자신들에게 유리한 말을 내세우며 혹세무민하는 글을 마주하셨습니까? 이제부터는 휘둘리지 말고 요목조목 따져 보십시오. 21세기를 살아가는 민주시민의 힘은 촛불을 들고 광장으로 나갈 수 있는 용기와 거짓으로 왜곡된 통계 속에서 진실을 볼 수 있는 지혜로부터 비롯될 것입니다.
참고문헌
통계의 함정 / 게르트 기거렌처 외 / 2017 (원판은 2014) / 율리시즈
넘버스, 숫자가 당신을 지배한다. / 카이저 펑 / 2011 (원판은 2010) / 타임북스
n분의 1의 함정 / 하임 샤피라 / 2017 (원판은 2017) / 반니
새빨간 거짓말, 통계 / 대럴 허프 / 2004 (원판은 1954) / 더불어책
신은 주사위 놀이를 하지 않는다 / 데이비드 핸드 / 2016 (원판은 2014) / 더퀘스트
모두를 위한 사회과학 / 김윤태 / 2017 / 휴머니스트
비즈니스 통계 입문 / 우치다 마나부 외 / 2012 (원판은 2010) / 시그마북스
국가통계포털 (http://kosis.kr)
작성 : 대전지사 서 승 원
Posted by 人Co
- Response
- No Trackback , No Comment
- RSS :
- https://post-blog.insilicogen.com/blog/rss/response/299
[그림 10] QIAseq 분석에 찰떡인 QIAGEN Sets 다운로드
