Audi의 Connected Car 인프라 감상

Audi MediaCenter - Infotainment

Audi가 구축하고 운영하는 Connected Car 인프라에 대한 상세자료는 아래 링크를 참조하길 바랍니다.

Building Applications w/ the SMACK Stack at Audi, Deutsche Telekom & ASML | D2iQ

Mesosphere DC/OS를 바탕으로 SMACK Stack을 구성했으며, 잘 알려진 빅데이터 기술을 모두 쓰고 있습니다. (Hadoop, Spark, Cassandra, Kafka, Elastic Search 등) 가상화 기술도 OpenStack, VMware, MS Hyper-V를 전부 씁니다. 컨테이너는 Kubernetes를 직접 쓰기보다는 bug fix 등 여러 면에서 안정적이라 판단한 Mesos/Marathon 조합을 사용합니다. 물리 서버를 그대로 쓰지 않고 Private Cloud를 구축해서 쓰되, 컨테이너 기반 Micro Service Architecture(MSA)를 감안했겠습니다.

Audi 경기가 (상대적으로) 좋지 않았던 2017년에도 저 정도 인프라는 구축하고 있었다는 게 특기할 만합니다. 가상화 기술을 굳이 통일하지 않은 이유는 아마 사업부 별로 인프라를 운영하는 조직을 따로 두었기 때문이라고 봅니다. 그렇다 해도 최근 hip한 Kubernetes가 아니라 전통적인 Mesos/Marathon을 쓴 것으로 보아 안정성에 좀 더 가치를 두는 기조라고 봅니다. (Tensorflow는 선호한다는 코멘트를 들은 적이 있긴 합니다.) Mesosphere DC/OS에서 운영하므로 S/W easy install 등 운영인력에 부담을 덜 주는 인프라이기 때문이기도 하겠습니다. (물론 RedHat OpenShift도 유사한 기능을 제공합니다.)

K8S를 Mesosphere 위에서 구동하는 방식도 잘 활용한다고 합니다. 개발자들이 좋아하기 때문이라고 설명했습니다. AWS 위에서 Mesosphere를 설치해서 쓰는데 중국와 유럽 지역 인프라를 추상화해서 개발자에게 제공합니다. CI/CD를 통해서 두 지역 인프라에 병행 배포하는 체계를 구현할 수도 있었을 텐데, 파이프라인이 단순하지는 못하겠다 싶습니다. 비슷한 맥락으로 DR(재해복구) 구성이 가능한데, 클러스터 설계 쪽에 노하우가 있어야 하는 모양입니다.

---

2019년 말에 북미시장에서 철수하긴 했는데 BMW도 공유차 서비스를 했습니다. 하루 1억5천 건 메시지를 처리했다고 합니다. Mesosphere 위에서 HDFS를 써서 처리한 걸로 보입니다. 품질관리 KPI를 운영했다고 하는데 내용이 궁금합니다.

머신러닝을 쓰는 중이고, Kafka를 통해 MQTT로 오는 실시간 데이터를 받아 Spark streaming으로 처리하며, 장기 보관 데이터는 HDFS, 데이터 마트는 Elastic Search를 쓴다고 합니다. PostgreSQL 대신 Elastic Search를 쓰는 중인데, 5~6 M/M를 들여 데이터를 이관한 HDFS 대신 Cassandra를 고려하기도 한답니다. 이렇게 하니 인력공수가 많이 줄었으며 1분 정도이던 다운타임이 무려 사라졌다고 합니다.

---

Mesosphere의 S/W easy install 기능은 참 탐이 납니다. 일반적인 어플리케이션은 물론, HDFS, Kafka, Elastic Search 같은 다루기 힘든 플랫폼도 stable 버전으로 쉽게 설치 가능해지면 운영 면에서 여러모로 부담이 적기에 새로운 시도를 더 자주 할 수 있게 됩니다.

특히 Mesosphere는 Kubernetes 설치도 제공합니다. 처음에 그 얘기를 듣고 뭔가 싶었는데, 인프라를 건드리지 않는 상태로 개발자에게 인기가 좋은 쿠버네티스를 제공하는 것도 의미가 있겠다 싶습니다. 최근에는 쿠버네티스를 전면에 내세운 KSphere를 내놓았습니다. 취향 대로 선택하기 좋겠습니다.

KSphere: Kubernetes as a Service (KaaS) | D2iQ

---

이제 와서 보니 라이선스 비용 정책이 눈에 들어옵니다. CPU나 메모리와 무관하게 서버 노드 개수로 산정하는군요. 단순해서 좋습니다. 서버 하나 하나를 크게 크게 만들어 쓰면 되겠군요.