X
AI 검색
AI

'BIG'만 보는 빅데이터…'통계' 없으면 빈껍데기

이 기사 AI가 핵심만 딱!
애니메이션 이미지
오현주 기자I 2013.08.21 07:09:00

Google 검색에서 이데일리 기사를 더 자주 볼 수 있습니다.

승리 키워드 된 '빅데이터'
오래전부터 생활에 녹아있어
'통계' 없다면 해석 무의미
인과검증된 수치야말로 '최고무기'
………………………………………
빅데이터를 지배하는 통계의 힘
니시우치 히로무|296쪽|비전코리아

[이데일리 오현주 기자] 통계 1. 실업률 24.9%. 1929년 뉴욕 증권거래소 주가가 대폭락하면서 세계공황이 찾아온 뒤 기록한 수치. 1933년 출범한 프랭클린 루스벨트 정부의 뉴딜정책이 만들어진 계기가 됐다. 그런데 실업자가 100만명인지 1000만명인지 일반 국민은 물론 정치가조차 가늠하지 못했던 때다. 통계기법도 제대로 갖춰지지 않은 상태에서 그 실업률을 어떻게 파악했을까.

통계 2. “당신은 지난 한 달간 ○○ 캠페인 광고를 본 적이 있습니까?” 한 기업이 그간 벌여온 ‘판매촉진 캠페인’에 대한 평가조사를 실시했다. 담당 마케터가 결과를 뽑아왔다. ‘보았다’가 8%, ‘아마도 본 것 같다’가 38%. 절반 가까이 되는 46%의 인지율을 두고 마케터는 ‘캠페인은 성공했다’고 결론내렸다. 그런데 과연 그럴까. 정작 주변에 캠페인을 안다는 사람은 거의 없다.

‘소비자를 훑어 당장 필요한 물건을 파악하고 호객행위를 한다.’ 마케팅의 기본적인 전제에도 이젠 ‘빅데이터’가 활용된다. 고객기호도, 감정상태, 소비패턴 등이 모두 담긴 ‘풀’이 동원된다. 그렇다면 빅데이터는 뭔가. 양이 너무 방대해 종래의 방법으로는 수집·저장·검색·분석하기 어려운 자료에 대한 통칭이다. 더 나아가 여러 기법을 이용해 거대한 데이터를 유의미한 정보로 치환하는 과정까지 포함하기도 한다. 트렌드 분석이나 미래 예측 같은 것 말이다. 빅데이터는 국내서도 블루오션이 됐다. 지난해 말 몇몇 굵직한 지표에서 ‘2013 10대 트렌드’ 중 하나로 지목되며 미래의 성장동력으로까지 우뚝 섰다.

그런데 여기 빅데이터가 “이미 오래전부터 우리 삶에 들어와 있는 매우 실용적인 개념”이란 주장이 있다. 일본에서 데이터를 바탕으로 한 사회혁신 프로젝트의 컨설턴트로 일해 온 저자의 판단이 그렇다. 그러니 이젠 빅데이터 해독 능력을 위한 통계적 사고가 필요하다고 말한다. 확률과 통계 처리능력이 없다면 아무리 빅데이터라 해도 아무런 역할을 하지 못할 거란 생각이다. 그럼 왜 통계가 무기여야 하는가. 정확하고 빠른 답을 제시해주는 절대방편이라서란다. 책은 그 틀에 맞춘, 빅데이터 시대에 응용가능한 통계 이야기다.

▲“통계 다스리는 사람이 세계를 다스린다”

‘데이터 간 관련성을 알아내 인과관계를 밝힌다.’ 사실 이 같은 현대 통계학의 기본방식이 확립된 건 오래되지 않았다. 20세기 전반쯤으로 본다. 그 이전엔 ‘집계’만 했다. 평균값을 구하고 백분율을 계산하는 것만으로도 괜찮았다. 주요 통계 해석기법이 모양새를 갖춘 건 1960년대. 당시 ‘종이와 펜의 시대’를 거쳐 차츰 컴퓨터시대, 보다 진화한 IT시대로 옮겨가는 단계를 거쳤다. 변한 건 기술만이 아니다. 그 사이 처리해야 하는 양도 늘었다. 1948년 시골마을 주민을 대상으로 행한, ‘대규모 역학연구’로 기록된 ‘프레이밍엄 심장연구’는 5000명을 대상으로 했다.

그보다 훨씬 앞선 미국 루스벨트 시대에 실업률을 알아낸 방법은 표본조사였다. ‘임의로 뽑은 전체인구의 0.5%’를 분석했다. 사실 1억 3000만명에 달하던 때 전 인구를 대상으로 전수조사를 했다손 쳐도 ‘빅데이터’인 그들 자료를 집계하는 일 자체가 불가능했을 거다. 실업률 측정은 성공했고, 미국 정부가 정책방침에 표본조사를 십분 활용한 건 이때부터다. 저자가 ‘빅’의 의미를 다시 찾은 것도 이곳이다. 많은 데이터가 존재할 때 그 처리를 두고 전전긍긍할 게 아니란 말이다. 적절한 표본조사만 이뤄지면 적은 비용으로 긴요한 정보를 얻을 수 있다고 했다. 빅데이터를 ‘빅’인 채로 바라보려고만 드니 문제란 지적이다.

▲인과관계 해석 없는 통계 해석은 무의미

마케터의 자기중심적 해석이 두드러졌던 ‘판매촉진 캠페인 평가조사’로 돌아가 보자. 여기서의 교훈은 수치에만 집착하는 경향에 대한 경계다. 각종 프로모션 평가에 이용되는 지표가 실제 매출을 일으키는지 아닌지도 제대로 모르면서 인지율 운운하는 건 의미가 없단 얘기다. 가령 조사대상이 된 소비자가 그 상품을 구매했다면 당연히 인지율은 높아진다. 하지만 문제는 이미 상품을 구매한 소비자가 다시 그 상품을 구매할 확률이 떨어질 수 있다는 데 있다. 저자는 바로 이 지점에서 무의미한 분석이 난무하는 현실에 제동을 걸었다. 의미 있는 적절한 비교를 거치지 않았다면 거창한 통계도 말짱 헛수고가 된다는 뜻이다. 바꿔 말해 통계 해석엔 반드시 인과추론이란 기초가 필수적이란 얘기다.

▲통계냐 직관이냐

“오랜 경험에 비춰볼 때….” “내 감각으론….” 늘 써오던 말이다. 하지만 이처럼 난감한 경우가 또 있을까. 물론 사안이 중요할수록 경험이 곧 실력일 수는 있다. 그러나 객관적인 근거로는 부족하다는 약점을 지닌다. 사고 방향은 늘 갈려왔다. 행간에 숨은 가치 찾기에 몰입하는 사람들은 수치의 잔치가 빚어낸 그림이 탐탁지 않다. 정교한 수치에 의존하는 사람의 사정도 마찬가지다. 알 듯 모를 듯 막연한 말만 내뱉는 이른바 ‘질적 탐구자’들이 못마땅하다. 결국 믿을 건 통계라는 거다.

둘 중 굳이 뒤의 부류에 서지 않아도 정보가 폭증하면서 암묵적인 합의가 생겼다. 아무리 거칠다고 해도 수치화된 분석이 세상 읽기에 효과적이란 것. 덕분에 사회 곳곳에는 데이터가 넘쳐난다. 그러나 저자의 입장은 ‘모아두는 데이터’ 그 이상에 닿아 있다. 원석을 보석으로 다듬는 건 결국 세공술이란 말이다. 빅데이터만으론 어떤 변화도 기대할 수 없다는 뜻이기도 하다. 만약 빅데이터로 단순집계밖에 내지 못한다면? 그의 비유는 이렇다. “개집을 만들기 위해 최신 스마트폰을 망치로 쓰려는 것과 무엇이 다르겠는가.”

이 기사 AI가 핵심만 딱!
애니메이션 이미지

주요 뉴스

ⓒ종합 경제정보 미디어 이데일리 - 상업적 무단전재 & 재배포 금지