[진의환 고문 매경칼럼 게재] 빅데이터, 빅블러 그리고 이합집산!

[진의환 고문 매경 칼럼 게재]

매년 연말이면 사회상을 반영하는 ‘올해의 사자성어(四字成語)’를 전국 교수들의 의견을 모아 ‘교수신문’이 발표한다. 올해는 ‘묘서동처(猫鼠同處)’인데, ‘고양이와 쥐가 경계도 없이 같은 곳에 있으니 한패’라는 의미이다. 대한민국 최고 지성들의 촌철같은 지적이니 흥미로워서 과거 데이터를 구글링(검색) 해 보았다. 20년 전인 2002년 올해의 사자성어는 ‘모이고 흩어지는 것을 반복한다’는 이합집산(離合集散)이었다.

이합집산은 정치판만의 생리는 아니다. 작게는 물질의 순환이고 크게는 인류 역사의 순환이다. 원시 수렵채취 시대에는 가족 단위로 흩어진 각자 도생이었다. 농경 및 산업사회로 진화되면서 점차 대규모로 합쳐 살다가, 이제 4차 산업혁명 시대로 진입하자 고도의 개인화 즉 아주 미세한 조각으로 다시 흩어지고 있다. 이를 두고 서울대 소비 트랜드 센터는 “극도로 미세한 단위로 분화되는 나노사회(Nano Society)”라며 2022년의 트랜드로 적시했다. 나노미터(nm)는 10억분의 1 미터이다. 물론 코로나 19가 나노사회로의 진입을 가속 시킨 점은 있지만, 그것이 가능하게 된 기저에는 SNS, 인공지능(AI), 플랫폼 경제 그리고 빅데이터(Big Data) 등 디지털 기술의 혁신이 있다.

인도 갠지스강의 모래알(恒河沙) 만큼이나 조각나 있지만, 디지털로 초 연결된 현대인들은 하루하루 엄청나게 많은 생활의 발자취를 도도처처(到到處處)에 남긴다. 커넥티드카(Connected Car)를 타고 출퇴근하면서 생성한 주행 기록과 운전 습관, 금융거래 기록, 인터넷 쇼핑, SNS를 이용한 대화와 검색, 거리와 건물의 CC TV 영상 그리고 여가 활동 등이 일상의 발자취인데, 이 모든것들이 지금은 고스란히 데이터가 되어 사이버 공간에 저장되니 이를 빅데이터라 한다.

UN의 데이터 경제 발표에 따르면 1초당 발생하는 전 세계인의 이메일은 270만 건, 구글 검색은 71,000 건, 유튜브 시청은 77,000 건(하루 66억건)이라고 하는데, 이는 2019년 통계이고 지금도 매년 데이터 생산량은 가파르게 상승하고 있다. 데이터의 크기에 대해 쉽게 이해하기 위해 디지털의 기본 단위를 알아보면, 보통 영화 한편이 약 6 기가바이트(GB)이고, 1024 기가바이트가 1 테라바이트(TB)이며, 1024 테라바이트가 1 페타바이트(PB)인데 이는 약 100만 기가바이트(GB)이고 영화 17만 4,000편의 분량이다.

산업공학자 임춘성 교수에 따르면 “지금까지 인류가 만든 모든 언어와 문자 작품을 데이터화 한다면 50 페타바이트(PB)이고, 이는 구글이 처리하는 단 이틀치 데이터”라 한다. 구글은 세계 검색엔진 시장점유율 90%를 차지하고 있고 유튜브도 소유하고 있다. 이 정도면 구글의 어원이 '10의 100승' 즉 1 다음에 영(0)을 100개 붙인 구골(Googol)이고, 구글링(googling)이 ‘검색’이라는 뜻으로 옥스포드 영어사전에 등재된것에 대해 이해가 간다.

하루에 수 십 페타바이트(PB)의 데이터가 생성되고 축적되는데, 이는 잠재적 가치가 크다는 의미에서 4차 산업혁명 시대의 ‘원유’로 비유된다. 원유 성분의 끓는점(비등점)이 각각 다르다는 원리를 이용하는 처리과정을 통해서 휘발유, 등유, 경유 등 유용한것을 얻을 수 있듯이, 빅데이터도 수집, 처리, 분석하는 과정을 신속하게해야 사용가치 있는 것이 나온다. 그것을 ‘4V’로 표현한다. 즉, 유형이 아주 다양(Variety)하고 엄청난 양(Volume)의 빅데이터를 수집하여, 속도(Velocity) 있게 처리하고 분석하면 국가와 기업경영에 가치(Value)있는 것이 된다.

브라질은 산유국이지만 원유 정제공장이 없어 외국에서 휘발유를 수입해야 하니 경제가 늘 어렵듯이, 정제 즉 저렴한 비용의 과학적 처리과정이 없으면 빅데이터도 한낱 쓸모 없는 흔적에 불과하다. 그러나 1998년 실리콘밸리에서 두명의 젊은 스탠포드 대학생이 창립한 구글은 빅 데이터 처리기술을 개발하여 디지털 산업에 큰 공헌을 했다. 수집된 빅데이터를 ‘분산 저장’하는 시스템을 개발하였고, 이어 맵 리듀스(Map Reduce)라는 이합집산 방식의 데이터 처리기술을 2004년에 공표하였다. 그래서 2004년을 빅데이터의 실질적 원년이라고 본다. 구글이 오픈한 기술을 바탕으로 하둡(Hadoop), 비즈니스 인텔리젼스(BI) 등 처리, 분석 기술이 나왔고, 클라우드(Cloud) 같은 뛰어난 저장기술도 나와 오늘날의 디지털 기술이 완성되었다.

이제 기업 및 공공부문에서 빅데이터의 중요성과 그 유용성은 너무나도 명료하다. 실제 활용 사례를 보면, 보험사는 피보험자 개인의 운전 습관에 기반한 맞춤형 보험 상품을 제공하고, 항공사는 탑승객의 쇼핑 성향 등을 분석한 후 비행기 좌석 스크린에 승객별로 구미에 당기는 광고를 내보낸다. 이렇듯 기업은 고객의 숨은 의도 및 감성을 파악하고 예측하는 고객관리(CRM), 시장의 트랜드 대응, 생산성 향상 그리고 미래예측과 의사결정에 활용하고 있다.

그러나 빅데이터를 위시한 디지털 기술의 발달은 또 다른 변화를 거세게 몰고 올 것이다. 빅블러(Big Blur) 이다. ‘블러’란 ‘희미한 것’ 이라는 의미로, 경계가 모호해지면서 흩어졌던 것들이 다시 뭉치는 변화 즉, 이합집산에서 합(合)이 일어나는 현상으로 보면 된다. 빅 데이터에서 추출한 가치있는 정보와 지혜를 개별 산업체 간에 공유하거나 협력하여 활용함으로써 상생과 또 다른 가치를 창출할 수 있다. 이런 가능성에서 보면, 빅데이터, 인공지능, 사물인터넷 등 혁신적인 디지털기술은 각 산업과 산업, 제조자와 유통업자, 은행과 SNS 기반 핀테크, 자동차와 전자제품 등의 기존 경계를 허물어뜨리는 빅블러의 시대를 앞당길 것이 확실하다. 예를 들어, 만약 애플이 전기자동차를 만들면 그 제품이 자동차인지 움직이는 전자제품(스마트폰)인지 소비자들은 헷갈릴 것이다.

이런 흐름을 감지한 기업가들에게는 또 하나의 숙제가 주어진다. 빅블러의 시대를 대비한 새로운 상생과 생존의 방법을 빅데이터를 통해 모색해 봐야 한다. 한편, 아무리 경계가 모호해 지는 빅블러의 시대가 온다 해도 고양이와 쥐의 경계는 확실히 해야 한다.

[진의환 매경경영지원본부 칼럼니스트/ 현) 소프트랜더스 고문/ 서울대학교 산학협력 교수]

기사원문: [매경경영지원본부 칼럼] 빅데이터, 빅블러 그리고 이합집산! - 매일경제 (mk.co.kr)