빅데이터, 제대로 이해하기!

글로벌 IT전문 시장조사업체인 가트너(Gartner)는 2013년 주요 이슈로 빅데이터를 선정했고, 향후 빅데이터 분석이 IT 시장의 큰 부분을 차지할 것이라고 예측했습니다. 빅데이터란 용어는 언론에서 수없이 강조했기 때문에 누구나 한 번쯤 들어봤을텐데요. 여러분은 그 개념에 대해 정확히 알고 계신가요? 저도 대략적인 그림만 그렸을뿐 그 실체에 대해서는 아리송했었는데 이번 기회에 정리해봤습니다. 

빅데이터란?

빅데이터는 초대용량의 데이터 양(volume), 다양한 형태의 데이터(variety), 빠른 생성 속도(velocity)라는 3가지 특징을 가지고 있습니다. (네이버 지식백과)

빅데이터는 위 도표에서 알 수 있듯이 정형데이터, 소셜미디어, 동영상, 음악, 메시지, 위치정보, 게시물과 같이 여기저기 흩어져 있는 거대한 데이터를 이야기합니다. 사실, 빅데이터는 그 자체로는 큰 의미를 가질 수 없습니다. 하지만 빅데이터를 중요시 하는 이유는 이 거대한 데이터를 효과적으로 분석했을 때 엄청난 가치를 발견할 수 있기 때문입니다.

빅데이터 활용사례 

예측. 런던의 투자기관 ‘더웬트 캐피털 마켓츠’는 트위터 데이터를 분석하여 파악한 시장 투자심리를 헤지펀드 운용에 활용함 (매일 1억개의 '트윗'을 분석하여 포토폴리오를 구성했는데, 헤지펀드 평균운용수익률이 0.76%에 그친데 비해, '트위터펀드'는 1.86%를 기록함)

마케팅전략수립. ‘이베이(Ebay)’는 명절이나 기념일처럼 선물 구입이 증가하는 시점에 맞춰 고객의 소셜미디어 활동 내역과 과거 구매이력을 분석하여 고객이 선물할 만한 지인의 프로파일을 추정하고 적합한 선물을 추천해 구매전환율을 높임.

리스크 관리. 미국 국세청은 납세정보 DB와 소셜미디어에서 납세정보, 탈세이력, 범죄자의 인적관계를 추출하고 사기패턴 및 범죄그룹을 파악하여 이상 징후를 감시함 (불필요한 세금 환급 및 탈세 건수 감소)

위 사례로 알 수 있듯이 빅데이터를 효과적으로 분석했을 경우 그 속에서 다양한 가치(value)를 발견 할 수 있습니다. 그래서 빅데이터의 특징을 초대용량의 데이터 양(volume), 다양한 형태의 데이터(variety), 빠른 생성 속도(velocity), 가치(valie)를 모두 합쳐 4V라고 부릅니다.  사실, 빅데이터는 IT 시장이 도래하면서 부터 우리 곁에 존재해왔습니다. 과거에도 CRM분석이라는 형태로 IT시장의 한 부분을 차지하고 있었는데, 갑자기 큰 이슈가 된 이유는 뭘까요?  

그 이유는 저장 매체의 가격이 저렴해지고, 대량의 데이터를 처리 할 수 있는 분산처리 기술이 대중화되고 있기 때문입니다. 빅데이터 분석 기술로 가장 많이 회자되는 하둡(hadoop)은 아파치 재단이 개발한 오픈소스 소프트웨어로 누구나 무료로 이용할 수 있습니다. 빅데이터를 흙속에 파묻힌 금으로 비유한다면, 이제 각 기업들은 금을 채굴할 수 있는 저마다의 연장과 노하우를 쉽게 가질 수 있게 되었기에 너도나도 금광을 찾아 뛰어들기 시작하게 된거죠.

하지만, 금광 발견의 달콤한 꿈만 가지고 무작정 달려든다면 한순간에 빈털털이 신세가 될 수 있습니다. 금광 발견의 가장 중요한 요소는 금광이 어디있는지 파악하는 능력입니다. 2000년대 초반부터 빅데이터 분석에 세심한 공을 들여온 구글의 수석 경제학자 할 배리언(Hal R. Varian)은 다음과 같이 이야기합니다.

"데이터를 얻는 능력, 즉 데이터를 이해하는 능력, 처리하는 능력. 가치를 뽑아내는 능력. 시각화하는 능력. 전달하는 능력이야말로 앞으로 10년간 엄청나게 중요한 능력이 될 것이다." 

가트너가 예상하길 2015년 경에는 빅 데이터와 관련해 440만 개의 일자리가 요구되겠지만 단지 1/3 정도만이 채워질 것이라고 합니다. 매일 매일 쏟아지는 거대한 데이터, 빅데이터. 그 속에는 분명 수많은 가치가 숨겨져 있습니다.  여러분도 각자의 기업에서 빅데이터 전문가로 거듭 태어나시길 바랍니다.