인공지능을 쉽게 시작할 수 있는 엘라스틱 서치

지난 11월 13일에 Elastic Search hands on 세미나가 있었습니다. 주로 Kibana를 통해 머신러닝 기능을 실습했습니다. Kibana는 대시보드 솔루션이었는데, 이제는 엘라스틱 서치에 모이는 데이터를 분석하는 기능이 제법 많아졌습니다. 인공지능 모델을 사용하는 기능까지 들어갔으니 BI(Business Intelligence) 솔루션에 든다고 해도 손색이 없어 보입니다.

• 평소에 데이터를 축적하고 모니터링하면,
  • 각종 알람을 수행할 임계치를 조정할 근거를 마련한다.
  • 인프라 Capacity 계획에 있어 명확한 근거를 마련한다. (예: 내년에 서버를 더욱 늘려야 하는가 여부)
• Anomalousness (변칙성)
  • 판단이 모호한 Grey 영역에 대한 고민을 줄여주고자 한다.
  • Elastic search는 feature에 맞게 detector 구성하고, 머신러닝을 통해 판단을 도울 지표를 제공한다. (기존 데이터를 바탕으로 엘라스틱 서치 사가 scoring 기준을 마련)
• Lab1 - single(단일) metric
  • 방문자 필드에 대해 low_mean 함수를 적용한다.
  • 머신러닝 분석 시, Bucket span(주기, 기간) 설정이 중요하다. - 학습 데이터량이 달라진다. Use case를 정의할 때 고심할 필요가 있다.
    • 예: 일 단위일 때에는 요일 별 주기성을 볼 수 있지만, 그 이상으로 설정하면 보지 못할 수 있다.
  • forecasting은 과거 학습을 기반으로 추세를 보여주지만, 미래의 이상치까지 보이지는 못한다.
• Lab2 - multi metrics
  • How to broadly apply ML to “everything“
  • Multi metrics와 splits 통합
    • 1,000개 호스트에 대한 5개 메트릭은 ML 모델링이 총 5,000개가 된다.
    • 1,000,000개 IP 주소에 대한 1개 메트릭은 물론 백만 개 모델링이다.
  • 모델링은 각각 10kb~20kb 메모리(RAM)를 차지한다.
    • 5,000 entities = 100MB
    • 1M entities = 20GB
  • 그러므로, 리소스 소모가 큰 작업 한 개보다 작은 작업 여러 개를 하는 것이 낫다.
• Lab3 - Anomalies can tell a story.
  • 대부분의 경우, 실패/이상 행위는 즉각적이나 하나의 원인으로만 발생하지 않는다.
    • “이상 현상은 무슨 일이 일어났는지에 대한 스토리텔링이다.”
    • 이벤트 하나에 여러 가지 요소가 작용한다. (도미노 효과)
    • 상관관계 또는 순차적 이벤트를 감안해야 한다. (탐정이 추리하는 느낌)
  • 적절한 맥락에서 이상을 볼 수 있는 방법: 대시보드 - 여러 관점의 뷰/대시보드
  • 스캔한 걸로 끝나지 않는다. 다시 침입하여 악성코드를 설치하든지 또 다른 행위가 발생한다.
  • Anomaly score는 엘라스틱서치 Kibana가 개발한 머신러닝에 의해 산출한 값이다.
• Lab4 - Unstructured logs
  • Categorization analysis
    • 유사한 로그 메시지를 동일한 카테고리에 자동으로 그룹화 한다. (예: 그룹화하는 정규식 생성)
    • 문자열 유사성을 살피고 유사한 로그 줄을 클러스터링하는 알고리듬을 통한다.
    • 반구조화된 데이터에 구조를 부여하여 분석할 수 있도록 한다.
    • 로그 구조를 알지 못해도 로그에서 이상 징후를 발견한다.
• Lab5 - Population Analysis 모집단 분석
  • 모집단과 객체(entities) 비교: 비시계열 데이터 분석
• 머신 러닝 모델 사용
  • Kibana에서 바로 사용 가능한 머신러닝 모델이 있고,
  • Kibana에서 커스텀 가능한 모델이 있으며,
  • Kibana에서 제공한 전제를 충족하면 Python으로 모델을 만들어 올릴 수도 있다.

01234567891011121314

Elastic Search - Kibana Machine Lerning 실습 화면