[글로벌 비즈칼럼] 미국 현지에서 바라보는 4차 산업혁명 -3
by이선미 기자
2019.05.02 16:55:57
② 빅데이터의 시대와 우리의 방향 -2
빅데이터가 기존의 데이터와 가장 다른 점은 데이터의 많은 형태가 Unstructured, 즉 구조가 정의되지 않고 다양한 형태의 데이터라는 것이다. 전통적인 형태의 데이터는 구조화된 데이터 (Structured Data)이다. 예를 들면 학생 ID번호, 성, 이름, 나이, 생년월일, 주소 이런 엑셀이나 SQL등에서 흔히 볼 수 있는 정해진 항목이 있는 데이터다. 그래서 각각의 항목을 대상으로 평균을 구하고, 표준편차를 구하고, 각 항목들 간의 상호 관련성을 분석하고, 회귀분석을 하는 등의 일들이 전통적인 의미의 데이터 분석이었다. 그러나 구조화되지 않은 Unstructured데이터는, 예를 들면 트위터에 올린 사람들의 문장들 속의 단어 하나하나가 다 데이터들이다. 이 문장들을 분석해서 트위터 사용자의 관심사가 무엇인지, 앞으로 어떤 방향으로 유저의 관심이 흘러갈지 예측하는 것이 빅데이터를 활용하는 주요한 방향이라 할 수 있다. 빅데이터 안에서 이러한 구조화되지 않은 데이터가 훨씬 많이 생겨날 것이라는 것을 예측한 도표가 아래의 그림이다. 2030년에는 구조화되지 않은 데이터(보라색)이 90%를 차지할 것으로 예상한다.
이런 구조화되지 않은 형태의 데이터는 기존의 데이터 분석 방식만으로 분석 하기란 대부분 불가능하다. 그래서 빅데이터 분석에는 전통적 방식과 더불어 새로운 형태의 분석방법이 필요하다. 머신 러닝과 인공지능 기술이 이러한 구조화되지 않은 데이터를 학습하고 패턴을 분석하는 데 효과적으로 쓰이고 있다. 바로 그런 이유에서 머신 러닝과 인공지능이 빅데이터와 함께 4차 산업 혁명의 핵심 분야로 여겨지는 것이다.
이러한 빅데이터의 시대는 고용과 직군에도 변화를 가져왔다. 빅데이터의 홍수 속에서 자연스럽게 떠오르는 직종이 바로 데이터 분석가 (Data Analyst), 데이터 과학자 (Data Scientist), 데이터 공학자 (Data Engineer) 들이다. 일찍이 하버드 비즈니스 리뷰에서는 데이터 과학자를 21세기 가장 유망한 직업으로 선정한 바가 있다. 요즘도 미국에서 몇 년째 각광을 받는 직업군이다. 이들이 하는 일을 한 두 문장으로 요약하기는 힘들지만 방대한 양 데이터 속에서 유의미한 정보를 찾아내고 분석하여 예측하는 모델을 만들어 적용한다. 이 직군에 대해서는 다음 칼럼에서 더 자세하게 이야기하겠지만, 요즘 미국에서는 회사의 규모에 상관없이 크고 작은 회사에서 데이터분석가/과학자에 대한 수요가 많고 최근 3-4년동안 공급도 많이 늘어서 상당히 활발하게 성장하고 있는 분야이다.
끝으로 빅데이터는 4차 산업혁명의 원유라는 말을 다시 한번 강조하고 싶다. 이 원유를 단순히 보유하는 것만으로는 의미가 없다. 이 원유를 잘 캐고 정제하고 가공해서 가치를 창출할 때 비로소 의미가 있는 것이다. 지능정보화 시대를 선점하고 선도하기 위해 빅데이터를 분석하고 연구할 수 있는 창의적인 인재들을 많이 길러낼 수 있는 토양이 마련되기를 바란다.