지식을 활용하려는 조직은 AI 활용 검색이 필수이다

사내에 있는 각종 문서를 지식으로서 활용하는 데에는 검색이 필수입니다. 전통적인 검색엔진 기술의 한계를 극복한 AI 활용 검색은 어디에 붙어있는지 몰랐던 보물 지식을 찾아 줍니다. 꽤 유행했던 지식관리(KM, Knowledge Management) 역시 구축은 어찌 어찌 끝냈어도 운영은 어려웠습니다. 지식 카테고리 분류, 키워드 설정 등 사용자 모두의 선의과 역량이 모두 갖춰지지 않는 한 지속이 불가능하다고 해도 과언이 아니었습니다. 일반적인 인식으로는 혜성같이 등장한 생성형 AI는 어지간한 사람보다 훨씬 손쉽고도 꾸준하게 이런 작업을 해치웁니다. 이 업계에서 일했던 터라 더욱 놀랍습니다.
 
단순히 문자열만 놓고 찾아주기로 시작하여 유사어를 같이 찾아 주기, 지식 그래프 관계를 반영하기 등 검색엔진은 계속 발전해 왔습니다. 다만 검색 서비스를 사용하는 노하우와 더불어 도메인 지식 역시 풍부해야 기껏 돈 들여 크롤링한 지식을 찾아 쓸 수 있었습니다. '로봇' OR '로보트' OR 'robot' OR '로보' OR '로봍'처럼 검색식을 길게 쓸 수 있어도 검색 결과가 줄줄이 많이 나와서는 도움 되는 항목을 찾기 힘듭니다. 검색결과 상위에 필요로 하는 문서가 딱 나오게 하는 노하우는 도메인 지식을 근간으로 하므로 단기간에 쌓이지 않습니다. 기존 검색엔진은 정말 쓸 만합니다만 검색엔진을 쓰지 않아도 이미 많이 알고 있는 전문가라야 검색엔진을 충분히 활용한다는 아이러니가 있습니다. 
 
지식관리 개념으로 온톨로지 구축, 개체명 인식 등을 활용하여 검색 능통 수준에 이르는 진입장벽을 낮추며 검색 품질을 높이려는 시도가 꽤 오랫동안 이어졌습니다. 안타깝게도 컨설팅 비용도 비싸고 변화관리에 따른 운영 비용도 만만하지 않아 글로벌 기업이 아닌 한 유지보수가 제대로 되는 사례를 본 적이 없습니다. 사용자들은 문자열 검색이라도 잘 되는 것에 감지덕지하는 형국이었습니다.
 
그러다 생성형 AI(GenAI)가 등장하면서 판이 뒤집혔습니다. 내가 찾고자 의도했던 대로 검색결과를 보이는 수준을 넘어, 아시다시피 질의응답 자체가 원활해졌습니다. 내가 알고자 하는 정보를 담은 문서를 찾을 필요 없이 알고자 하는 정보를 AI에게 바로 질문하면 그만입니다. SF 영화같은 세상이 오는 중입니다. 곧 성공사례가 속속 나올 거라 기대해도 될 만큼 기술이 무르익어 간다고 봅니다.
 
여러 대기업들은 앞다퉈 생성형 AI를 도입했거나 검토하는 중입니다. 한 번을 읽히지 못하고 사장되던 사내 지식문서의 효용을 높여 인구 절벽을 앞두고 많지 않은 인적자원의 업무 수준을 끌어 올리기 위해서입니다. 늘 벌어지는 일이야 대리급만 되어도 달인 수준에 오릅니다. 문제는 가끔 벌어지며 또 벌어질 일을 대비해야 하고, 과거와 유사성이 적은 이슈에 유연하게 대응할 줄 아는 인력이 있어야 한다는 점입니다. 이력을 문서로 저장했다면 다행입니다만 그 문서를 찾지 못한다면 소용이 없습니다. 더불어 그 문서를 이해하도록 맥락을 이해하고 있어야 합니다. 아무래도 어려운 일입니다. 돌파구가 필요했습니다.

NASA logo

최근에는 NASA가 생성형 AI를 사용한 검색 서비스를 출시했습니다. 과학자들이 방대한 과학 데이터에 쉽게 액세스할 수 있도록 생성형 AI를 활용해 상황에 맞는 결과를 제공하는 SDE(Science Discovery Engine)를 개발했다고 합니다. 접하기 쉬운 대형 사례가 드문 터라 부디 성공하기를 기대합니다. 성공했는지 여부는 내년, 내후년 정도에 보면 되겠습니다. 성공한 기업은 비법을 숨기느라 실패한 기업은 책임을 피하느라 성공사례를 접하기가 힘듭니다. 나사는 귀추를 숨기지 않을 것이기에 축복하며 주목하고자 합니다.

‘방대한 양의 과학 데이터’… NASA의 생성형 AI 도입 여정
Thor Olavsrud, CIO Korea, 2024/01/16
https://www.ciokorea.com/news/321486    
신경망 검색 기능은 키워드와 벡터 검색을 결합해 정보를 검색하고, GPT는 수집된 정보를 빠르게 소화해 재사용 가능한 형식으로 요약한다. 또한 과학자들이 자연어를 사용해 더 심층적으로 질문하고 검색 또는 응답을 구체화할 수 있게 한다. SDE는 약 9,000개의 서로 다른 과학 용어를 이해할 수 있으며, AI 학습에 따라 그 수는 더 늘어날 것으로 예상되고 있다.

SCIENCE DISCOVERY ENGINE
Empowering open science, the Science Discovery Engine allows you to explore the universe, from the tiniest of cells to the vastness of space, through discovery of NASA's science data, documentation, and code.
개방형 과학을 지원하는 과학 디스커버리 엔진은 NASA의 과학 데이터, 문서 및 코드를 검색하여 아주 작은 세포부터 광활한 우주까지 우주를 탐험할 수 있게 해줍니다.
https://sciencediscoveryengine.nasa.gov/app/nasa-sba-smd/