[미래기술25]크기만 하면 빅데이터? 분석·활용 잘해야 빅데이터!

by노재웅 기자
2021.09.10 06:00:00

이미지투데이 제공

[이데일리 노재웅 기자] 점심시간을 활용해 스마트폰으로 잠시 접속한 온라인 커뮤니티. 재밌는 게시물을 읽어내리며 시간을 보내고 있는데 갑자기 중간 배너에 나의 취향을 제대로 저격한 신상 구두 광고가 시선을 사로잡습니다. 방금도 같이 식사한 동료와 이 구두에 대해서 이야기했는데, 마치 그 마음이라도 읽은 양 ‘지름신’이 사도 괜찮다며 점지해주는 것 같은 생각마저 듭니다.

이러한 과정이 대단한 우연의 일치로 느껴질 수도 있겠지만, 사실 이것은 ‘빅데이터(Big Data)’를 활용한 첨단 마케팅 기법의 결과입니다.

AI·IoT 만나 데이터 활용법 진일보

빅데이터는 이름 그대로 방대한 양의 데이터를 말합니다. 사람들은 지금도 시시각각 엄청난 양의 데이터를 생산하고 있습니다. 온종일 스마트폰으로 주고받는 수많은 메시지부터 인터넷 쇼핑과 사회관계망서비스(SNS)는 물론이고 주식 거래나 신용카드 결제, 운전 시 사용하는 내비게이션 등을 통해서 말입니다. 도시과 건물에 빽빽하게 설치된 CCTV로도 우리의 데이터는 실시간으로 쌓이고 있습니다.

2020년을 기준으로 인류가 지금까지 생산해 낸 모든 데이터의 총합이 59제타바이트(ZB)를 넘겼다고 하는데, 미국 시장조사기관 IDC는 2025년에는 이 양이 175ZB를 기록할 것이라고 예측했습니다. 1ZB는 약 1조기가바이트(GB)로, 1뒤에 0이 21개 달린 크기입니다.

빅데이터는 이처럼 엄청난 양의 데이터 집합 그 자체를 의미하기도 하지만, 실제 산업 영역에서는 데이터로부터 가치를 추출하고 결과를 분석하는 기술까지 포함해 부르는 총칭으로 쓰입니다.

IT 기술이 산업에 접목되기 시작한 초창기 기업들은 얼마나 좋은 기기를 보유하고, 편리한 서비스를 개발하느냐가 경쟁력이었다면, 이제는 수많은 데이터를 어떻게 잘 활용하느냐가 경쟁력인 시대로 접어들고 있습니다.

빅데이터 시대에 데이터는 어떻게 모으고, 또 어떻게 분석·활용하게 될까요. 빅데이터 개념이 없던 시절 데이터의 저장은 지금에 비하면 마구잡이 수준이었습니다. 이렇게 흩어진 데이터는 어딘가에 분리·고립돼 있는 ‘사일로(Silo)’ 형태로 존재하는데, 이를 한데 모으는 작업을 ‘데이터 수집(Data Mining)’이라고 합니다. 여기저기 잠재된 데이터를 발굴해낸다는 의미를 비유적으로 표현한 셈이죠.

이렇게 모은 데이터를 다시 체계적으로 분류해 일정한 흐름에 대한 결론을 도출하는 일련의 과정을 ‘데이터 분석(Data Analytics)’이라고 부릅니다. 데이터 분석은 특히 인공지능(AI) 딥러닝의 발달과 사물인터넷(IoT)의 확산이 접목돼 장소와 시간의 제약을 벗어난 활용이 가능하게끔 진화했습니다.

예컨대 대형매장의 경우 예전에는 조사요원이 표본고객을 따라다니면서 동선과 구매활동을 관찰·기록했다면, 이제는 이동카트 및 선반, 물품, CCTV 등에 센서를 부착한 IoT를 이용해 고객의 매장 내 구매활동을 입체적으로 분석할 수 있습니다. 데이터 분석을 통해 얻은 고객들이 주로 어느 장소로 어느 시간대에 많이 이동하더라는 결론은, 이에 따른 안전대책이나 마케팅 방안 마련에 도움을 줄 수 있을 것입니다. 이밖에 각종 데이터 검색과 결론 도출 과정 역시 사람은 몇 시간이 걸리는 일을 AI는 몇 초 안에 제시할 수 있죠.

빅데이터의 활용은 특히 기업에 가장 큰 이슈입니다. 대표적으로 글로벌 전자상거래기업 아마존은 모든 고객의 구매 내역과 SNS 포스트 등을 데이터센터에서 수집·분석하고, 이를 바탕으로 소비자의 취향과 관심사를 파악해 고객별로 추천 상품을 표시합니다. 이용자의 검색 내역과 사진, 영상 등을 활용해 맞춤형 광고를 제공하는 구글(유튜브)과 페이스북도 대표적인 빅데이터 마케팅 활용 기업들입니다.

디지털 뉴딜 마중물 ‘데이터댐’ 1년 성과 속속



최진·김영준 교수가 논문, 특허, 뉴스 데이터, 구글트렌드를 분석한 빅데이터 국내 확산 연구(2018)에 따르면 2010년부터 본격적으로 미국, 일본 등 세계는 물론 국내에서도 빅데이터 산업이 개화한 것으로 파악되고 있습니다.

국내에서는 2020년 7월 정부가 2025년까지 58조2000억원을 투자해 디지털 대전환을 선도하겠다는 계획인 ‘디지털 뉴딜’ 정책을 발표하면서부터 폭발적으로 빅데이터 산업이 도약할 계기를 맞이했습니다.

정부는 디지털 뉴딜의 대표과제 중 하나인 ‘데이터 댐’ 사업을 통해 2021년까지 14만2000개의 공공데이터 전체를 개방하고, 2025년까지 AI 학습용 데이터 1300종을 구축하기로 했습니다. 2025년까지 총사업비 18조1000억원을 투자해 관련 일자리도 38만9000개를 창출한다고는 목표입니다. 이를 위해핵심사업들을 수행할 2100개 주요 기업을 선정하고 본격적인 사업 추진에 들어갔습니다.

데이터 댐 사업은 1930년대 미국 대공황 당시 뉴딜 대표사업이던 ‘후버댐’ 건설과 유사한 개념입니다. 일자리 창출과 경기부양 효과뿐만 아니라 댐에서 만들어진 전력 생산과 관광산업, 도시 개발까지 다양한 연관 산업과 부가가치를 만들었던 후버댐 건설처럼 정부는 데이터 댐을 통해 신규 일자리를 창출함은 물론 이를 활용한 의료, 교육, 제조 등 연관 분야에서 새로운 비즈니스와 산업이 대거 만들어질 것으로 기대하고 있습니다.

2021년 2월부터는 데이터 댐에 축적된 데이터를 효과적으로 검색·활용할 수 있도록 기능을 확대·개편한 통합 데이터 지도 서비스를 개시했습니다. 이번에 개편된 통합 데이터 지도 서비스는 기업 마케팅 자료가 필요한 직장인부터 일상생활 정보가 필요한 일반인까지 모든 국민이 이용할 수 있습니다. 추석 명절을 앞두고 어떤 선물을 주로 하는지 같은 데이터까지 찾을 수 있습니다.

송경희 과기정통부 인공지능기반정책관은 “통합 데이터 지도는 데이터 댐에 모인 데이터를 쉽고 빠르게 찾고 활용할 수 있도록 지원함으로써 국민이 체감할 수 있는 성공사례를 조속히 만들어 나가는데 큰 기여를 할 것”이라고 밝혔습니다.

정부는 또 2021년 6월부터 음성·자연어, 헬스케어, 자율주행 등 8개 분야의 170종, 총 4억8000만건에 달하는 AI 학습용 데이터를 ‘AI 허브’ 플랫폼에 차례로 개방하고 있습니다. 삼성전자, LG전자(이상 제조사), SK텔레콤, KT(통신사), 네이버, 카카오(포털) 등 대기업과 중소기업을 포함한 22개 기업·기관으로부터 검증을 거쳐 데이터를 최종 도출했습니다. 한국정보통신기술협회(TTA) 등 기관과 산업별 80여명 전문가가 참여한 품질자문위원회를 통해 글로벌 수준의 데이터 품질검증 과정도 거쳤습니다.

정부 차원의 데이터 경제 활성화 노력과 기업들의 투자 확대로 한국데이터산업진흥원은 2020년 국내 데이터산업 시장 규모가 2019년 대비 14.5% 오른 19조2736억원 규모로 커졌다고 밝혔습니다. 2020년 기준 데이터산업에 종사하고 있는 데이터 직무인력수도 10만1967명으로 전년 대비 14.5% 증가했습니다.

사생활 침해·보안 이슈 등 부작용도 존재

빅데이터는 ‘동전의 양면’ ‘양날의 칼’과 같다는 비유를 많이 합니다.

빅데이터는 기업과 소비자에게 유익을 주지만 반대로 나의 생년월일과 거주지, 아이디(ID), 채팅 내역, 사진 등의 각종 데이터가 어디로 가는지, 어떻게 사용되는지 인지하지 못하는 경우가 많습니다. 데이터 사용에 대한 동의를 구하지 않기도 하죠.

빅데이터 시대를 살고 있는 우리는 이로 인한 치명적인 사생활 침해나 보안 이슈로 골치를 앓게 될 수도 있다는 지적이 나오기도 합니다.

그럼에도 빅데이터가 우리 일상의 편리와 산업의 도약을 위한 중요 역할을 할 것이라는 점은 분명하며, 데이터를 더욱 신중하고 주의 깊게 다루기 위한 제도적 장치의 마련과 사회적 합의가 지속해서 수반돼야 할 것입니다.