2024년 데이터 플랫폼이 지향하는 방향

리포트 조회, AI 개발은 데이터 플랫폼 관점에서 최종 사용자가 수행하는 업무입니다. 최종 사용자가 모든 데이터에 권한에 따라 접근 가능해야 돈을 들여 데이터를 생성하고 확보하는 의의가 있습니다. 이제까지는 기존 관계형 데이터베이스 관점을 크게 벗어나지 못한 채로 최종 사용자가 사용하도록 데이터를 중앙에 '저장'해야 한다는 솔루션이 주류였습니다. 그러나 이제부터는 양상이 다릅니다.

 

Altair는 Data Science and Machine Learning Platforms 분야 2024 Gartner® Magic Quadrant™에서 리더 그룹에 있으며 특히 산업형으로 각광받는 솔루션을 제공합니다. 이 회사는 지난 4월에 Enterprise Data Fabric과 Generative AI를 표방하는 Cambridge Semantics를 인수했습니다. (그러고는 글로벌 기술 기업 지멘스에 인수 됐습니다. 😊)

 

Anzo Platform - The scaleable knowledge graph platformfor data integration and analytics.

 

꽤 궁금합니다. 이제까지 Neo4j, AgensGraph와 같은 Graph DB만 보다가 플랫폼 차원에서 수집/가공, 모델, 마트, Query, 메타데이터 관리 일체를 지원하는 제품은 처음 보았습니다. 이 글에서는 최근 각광 받는 생성형 AI로 더욱 활용도가 오른 기술이라고만 설명하겠습니다.  잠재력 있는 기술이라 기대가 됩니다. 그래프 관련 기능은 AWS, GCP, Azure에도 다 있는 서비스입니다만, 그리 통합적으로 엮이지는 않았습니다.

 

의아하게도 위 Anzo 플랫폼 구성도에서 두드러지게 설명하지는 않았으나 알테어는 데이터 패브릭, 데이터 메시를 지원한다고 설명합니다. 기업 내 모든 데이터를 단일 저장소에 통합 저장하기란 현실적으로 불가능합니다. Presto/Trino/Denodo 같은 data faderation 도구를 통해 데이터 패브릭 혹은 데이터 메시를 구현하여 거버넌스와 정책을 적용하는 방법이 구현하기가 비교적 용이합니다.

 

위 구성도에 data faderation을 보강하면 AI, 검색, OLAP(온라인 분석), 고급분석과 더불어 2024년 기준으로 데이터 플랫폼 구성요소에서 빠진 게 없게 됩니다. 솔루션을 설치했다고 업무 현장에서 잘 쓰게 되지는 않습니다. 조직 역량으로써 공감대를 형성하며 활용하기까지 시간이 걸리기 마련입니다. 제 남은 평생 저 구성요소들을 다 쓰기를 진심으로 기원합니다.