빅데이터 열풍은 끝났을까요?

기술용어라기 보다는 마케팅 구호에 가까웠던 빅데이터는 여전히 폄훼의 대상이어서는 안 됩니다. 최소한 한국에서는요. 최근 몇 년 간 '무턱대고 데이터를 저장해서는 빅데이터를 통한 효용을 얻지 못한다'는 얘기를 들을 때마다 답답해지는 마음을 달랠 길이 없었습니다. 삼성전자나 이동통신업계를 빼면 페타바이트 규모로 데이터를 저장하는 기업을 대기업 중에서도 찾기가 어렵습니다. 걱정스러울 정도로 데이터를 많이 저장하는 한국 기업이 정말 있는지 궁금합니다.^[각주:1]

한국 대기업의 고질적인 모험회피 성향은 데이터 활용에도 그대로 영향을 미치기 때문에 어지간한 분석가들이 마음 놓고 분석할 만한 환경을 갖춘 곳은 드물기만 합니다. 그나마 최근에는 PC 성능이 좋아져서 분석가 개인적인 시도가 쉬워졌습니다만, 데이터 사일로 현상을 부채질하여 결국엔 리스크로 작용합니다. 조직의 데이터 활용 역량을 펼칠 방향을 정렬하려면 제대로 된 데이터 플랫폼이 필요합니다. '빅'이냐 아니냐는 중요하지 않습니다.

한국에서 빅데이터가 경계의 대상이 된 이유는 다양한 기술을 도입할 여력이 없기 때문이라고 봅니다. 상용 WAS에 자바와 오라클이면 충분했던^[각주:2] 시절에 친숙한 기업은 각종 오픈소스를 조합하며, 비즈니스 니즈에 따라 데이터 저장소를 달리 한다는 개념은 당혹스럽기까지 했을 겁니다.

결국은 돈 문제인데요. 기존의 RDB와 MPP(결국 RDB)로 비즈니스에 필요한 모든 데이터를 활용 가능했다면 빅데이터 열풍이 불 이유가 없었습니다. 여전히 RDB로 충분하다 강변하는 기업은 시장 규모나 점유율이 RDB로 충분한 곳일 겁니다.^[각주:3] 그러나 인공지능이든 사물인터넷이든 4차 산업혁명이든 최근 트렌드에 영향을 받는 기업은 빅데이터라 불리는 기술을 외면할 방법이 없습니다.

'빅(Big)'이라는 수식어에 경도되어 도리어 폄하를 받기도 했던 이 기술들을, 알리바바 그룹의 마윈 회장은 data technology라는 평이한 용어로 지칭하기도 했습니다. 그만큼 기본적인 기술들이 되었습니다. 인공지능에게 켜켜이 쌓이는 데이터에서 가치를 찾게 할 미래를 맞이하기 위해서는 '빅데이터'에 냉소적일 여유가 없습니다. 당연히 내재화하고 취사선택해야 할 기술들입니다. 장벽이 사라진^[각주:4] 한국에서는 특히 그렇습니다.

1. 경영이 방만해서 내일 모레 망하든지 여력이 충만해서 한오백년 가든지 [본문으로]
2. 메인프레임, 리눅스, 유닉스 얘기는 이 글에서는 논외로 함 [본문으로]
3. 충분하길 희망하거나 [본문으로]
4. FTA와 같은 무역규제 철폐 [본문으로]