본문 바로가기

BI138

A~Z가 다 나온 '데이터 품질의 비밀' 데이터 품질의 비밀 - 데이터 신뢰를 쌓는 데이터옵스의 핵심과 엔드 투 엔드 단계별 가이드 원제: Data Quality Fundamentals 지은이: 바 모세스, 라이어 개비쉬, 몰리 보르웨르크 / 옮긴이: 데이터야놀자 / 2023/04/10 https://www.decoding.co.kr/product/데이터-품질의-비밀/ IT 일을 하는 내내 데이터와 어울렁더울렁하며 살았기에 데이터 품질과 거버넌스라는 개념 자체에는 익숙합니다. 그럼에도 속시원하게 데이터 품질관리를 했거나 거버넌스를 실현했다고 감히 말하지 못합니다. 업무 관련 법규에 따라 강제로 DBMS 메타데이터 관리를 도입했던 조직은 필요한 데이터를 모두 DB에 넣지 못했고, 그런 관리 솔루션을 도입하지 못했던 조직은 뭐는 'T', 뭐는 '1.. 2023. 5. 23.
저자의 풍부한 경험이 느껴지는 '머신러닝 시스템 설계' 머신러닝 시스템 설계 - 프로젝트 범위 산정부터 프로덕션 배포 후 모니터링까지, MLOps 완벽 해부하기 원제: Designing Machine Learning Sytems 저자: 칩 후옌 / 번역: 김대근, 김영민 / 출간: 2023-03-14 https://www.hanbit.co.kr/store/books/look.php?p_code=B1811121220 MLOps 책은 몇 권 읽었던 터라 제목만 봤을 때에는 비슷한 내용일까 했으나, 차례를 보니 독특할 정도로 많은 주제를 다룬다는 생각이 들었습니다. 다른 책이 부족하다는 게 아니라 이 책의 다루는 주제 범위가 상당히 넓습니다. 머신러닝 개요, 머신러닝에 앞서 작업해야 하는 데이터 엔지니어링, 운영을 감안한 모델 개발의 여러 요소, 모니터링과 개선에.. 2023. 4. 24.
AI 쇼핑 어드바이저 로사와 샬롯의 흔적 2018년 초에 오픈했던 AI 쇼핑 어드바이저 챗봇인 로사(LOSA)와 샬롯(Charlotte)의 모습이 이제는 사라졌기에 프로젝트에 참여했던 기억이 아쉬워서 남은 기록을 모아 올립니다. 깔끔하게 정리하지는 못했습니다. https://n.news.naver.com/mnews/article/001/0010043142?sid=101 롯데백화점 인공지능 챗봇, 영국 '월드 리테일 어워즈' 받아 (서울=연합뉴스) 강종훈 기자 = 롯데백화점은 작년 12월 선보인 인공지능(AI) 챗봇(채팅과 로봇의 합성어) '로사'(LOSA)가 영국 에센셜그룹이 주관하는 '월드 리테일 어워즈'에서 고객 경험 혁신 부 n.news.naver.com 이런 프로젝트였습니다. IBM이 작성한 아래 첨부문서도 참고하시길 바랍니다. 화면에서.. 2023. 4. 20.
제조업 2.0 온라인 강의 장면 2023년은 Industry 4.0을 외친지도 오랜 시점이건만, 옛날 자료를 정리하다보니 '제조업 2.0'을 주제로 사내 강연을 했던 영상이 나왔습니다. 2012년 즈음일 겁니다. '제조업 2.0'은 웹 2.0 트렌드에 영향을 받아 나온 개념으로서 내부 역량을 IT를 통해 더 잘 활용하면서 외부와 소통을 통해 발전을 같이 꾀한다는 기조를 내세웠습니다. 디지털을 앞세우는 편인 Industry 4.0과는 언뜻 결이 달라 보입니다만, 핵심은 비슷하다고 봅니다. 앞으로 모쪼록 이 분야로도 연이 닿았으면 좋겠습니다. 제 앞에 어떤 갈래길들이 있을지 예상이 가지 않습니다. 돌이켜 보니 그런 삶을 살아왔군요. 그러나 저러나 저 때는 지금보다 참 어려 보이는군요. 살도 좀 빼야겠고요. 😅 2023. 4. 19.
ChatGPT의 세상에서 빅테크가 아닌 조직은 무엇을 해야 하는가? 2023년 3월 20일에 CJ ENM Data Solution Center Tech Blog에 올렸던 글을 백업차 올립니다. https://medium.com/@sihyoung.jurn/chatgpt의-세상에서-빅테크가-아닌-조직은-무엇을-해야-하는가-f664c89d3678 GPT-3라는 LLM(Large Language Model)이 2020년 6월에 나오고도 큰 반향이 없었다가 최근에 채팅으로 쉽게 쓸 수 있는 ChatGPT가 나오면서 작금과 같은 열풍이 불고 있습니다. https://www.joongang.co.kr/article/25143293 한국에서는 비용이 많이 들어서인지 LLM을 초거대AI라고도 부르는 편입니다. 저 유명한 ChatGPT의 기반인 GPT 모델을 개발한 OpenAI는 Micr.. 2023. 4. 15.
ChatGPT 이후의 자연어처리는 어디로 흘러가게 될까? 석사 논문 주제로 기계학습을 통한 콜센터 상담대화의 카테고리 분류를 했던 게 불현듯 기억나서 ChatGPT에게 바로 물어보았다. 엄밀하게 얘기하면 bing.com의 Chat 메뉴를 통해서 아주 간단하게 분류해보라고 주문했다. 학습을 따로 시키지 않았는데 이 정도면 GPT API로 학습했을 때에는 분류 정확도가 꽤나 높을 듯했다. 더불어 운송장 번호를 알려 달라고 하더니 해당하는 택배회사의 배송조회 화면을 안내하려고 시도했다. 아직 AGI나 강인공지능이 아닌데도 응용력이 정말 뛰어나다. Microsoft bing.com의 실무자들이 GPT와 다른 서비스 간의 연결고리를 꽤나 정리해 둔 모양이다. 혹시나 싶어 이전 직장의 동료에게 연락해서 근황을 물었더니 이미 GPT API를 써서 콜센터 상담대화 카테고리 .. 2023. 4. 2.
ChatGPT 서비스로 성향 맞춤 AI Copywriter 흉내 내보기 ChatGPT에게 'CJ 바이오코어 구강 유산균' 상품 설명을 복사해다가 광고 문구를 만들어 달라고 요청했습니다. 몇 가지 안을 만드는 기준을 같이 주는 게 좋겠다 싶었습니다. 심리학계에서 인정받는 Big 5 성격특성 요소(https://together.kakao.com/big-five)를 기반으로 도출한 네 가지 성격 유형에 맞춰서 카피를 제안해 달라고 했습니다. 역시나 성향에 맞춘 듯하면서 그럴듯하게 잘 대답합니다. 인간 카피라이터가 피드백을 좀 더 한다면 실제 업무에 적용할 만하지 않을까 합니다. 평균형(average type) ~ 역할모델형(role model type) 분류는 논문, 기사 등으로 설명이 많은 편입니다. 심리학계에서는 유명한 성격 유형이기에 ChatGPT가 추가 학습하거나 별도로 .. 2023. 3. 30.
ChatGPT로 컨텐츠 기반 추천 흉내 내보기 Richard Feynman: Can Machines Think? - YouTube 영상의 제목, 설명, 댓글 텍스트를 복사해다가 ChatGPT에게 보내고 (정확히는 bing.com의 Chat 메뉴 사용) 간략한 분석과 함께 어떤 군집에 추천하면 좋을지 제안해 달라고 요청해 보았습니다. 정말 간단하게 문의했는데, 보편적인 광고 타겟팅 관점에서 답변을 생성했습니다. 추가적으로 군집에 대한 특성을 나열하여 입력하고, 해당 군집 목록 중에서 선택해 달라고 하면(일종의 classification) 그대로 해줄 겁니다. OpenAI 사가 제공하는 fine-tuning(미세조정) 기능을 통해 컨텐츠 기반 추천에 유용한 데이터를 추가로 학습하고 타겟팅용 군집을 제시하면 더욱 정확하게 추천할 것으로 예상합니다. Ope.. 2023. 3. 30.
도전해 보자 '파이썬 기반 금융 인공지능' 파이썬 기반 금융 인공지능 - 파이썬과 케라스를 활용한 금융 시계열 데이터 기반 알고리즘 트레이딩 전략 저자: 이브 힐피시 / 번역: 김도형 / 출간: 2022-09-30 https://www.hanbit.co.kr/store/books/look.php?p_code=B2409963430 주식투자 경험과 더불어 통계학을 '좀' 알고, Python의 ScikitLearn과 Pandas 라이브러리에 익숙하면 이 책을 읽기에 충분합니다. 저는 트레이딩에 대해 잘 아는 편이 아니라 중반 이후부터는 이해하기가 쉽지 않았습니다. 손절 정도의 리스크 관리까지는 그런가보다 하겠는데 상승매수, 하락매도 같은 용어가 나오니 제대로 이해하고 있는 건지 확신하기가 힘들더군요. 인공지능에 대한 지식은 없어도 됩니다. 이 책에서 .. 2023. 3. 26.
AI는 우리 삶에 무슨 짓을 하게 될까? ChatGPT 들어 보셨지요? 알파고 열풍 이후에 이 정도로 인공지능이 화두가 된 적이 있었나 싶습니다. 알파고를 계기로 인공지능 기술에 손을 대게 된 터라 한 마디 얹자면, 그때보다도 지금이 더 우리 사회가 들썩이는 듯합니다. “직장인들의 오피스 노가다는 완전히 끝났습니다. 챗GPT가 MS 오피스에 적용되었습니다.” 바둑이야 인간보다 인공지능이 잘 두든 말든 큰 상관이 없다는 사람들이 많았겠지요. MS 오피스 역시 전국민이 쓰지는 않겠지만 바둑보다는 파급력이 큰가 봅니다. 그럼 MS 오피스 말고 다른 업무는 어떨까요? Coffee Robot C1 PRO 커피 로봇이 내린 커피의 품질은 잠깐 논외로 하고 자동화 관점만 놓고 생각해 봅시다. 위의 사진처럼 사용자가 키오스크로 주문을 하면 원두를 갈아 커피를.. 2023. 3. 22.
AI는 AE의 경쟁자인가? 2023년 1월 4일에 CJ ENM Data Solution Center Tech Blog에 올렸던 글을 백업차 올립니다. https://techblog.cjenm.com/ai는-ae의-경쟁자인가-7c879f97f118 AI(Artificial intelligence, 인공지능)는 AE(Account Executive)의 경쟁자일까요? 산업혁명 시대에 러다이트 운동 같이 AI가 일자리를 위협하는 사례가 잘 알려져 있다 보니, AI가 인간의 경쟁자로만 비치는 인상은 깊은 편입니다. ※ 러다이트 운동에 대해서는 이 블로그의 다른 글(인공지능 러다이트 운동을 예방하려면 https://wizmusa.tistory.com/1170964268)을 참고 바람. AI 모델을 만들어 업무 현장에 투입하게 되면 아무래도 .. 2023. 3. 18.
상황인식 AI 서비스로 살짝 보이는 국민성 일본 전철역판 '마이너리티 리포트'같은 범죄 예측 시스템을 다룬 2021년도 기사입니다. 후속 기사를 검색해 보았는데 찾지 못했습니다. 일본, 범죄로부터 전철 내 안전 어떻게 지키나 https://news.kbs.co.kr/news/view.do?ncd=5357581 AI로 영상을 분석하여 일반적인 심리 상태인 사람은 녹색으로 표시하는데, 공격성이나 긴장이 높아지면 붉은 색으로 표시한다고 합니다. 범행 전 영상을 분석해 봤더니 경찰 앞을 지나갈 때 붉은 색으로 바뀌었습니다. 범죄가 아닌 다른 일로 긴장을 했다 해도 붉은 색이 나올 듯합니다. 정확도가 얼마나 될까요? 사람이 긴장을 하는지 여부는 일종의 정답지가 있는 데이터가 분명히 있습니다만, 그것만 가지고 범죄 의도를 의심하기에는 불충분해 보입니다. 경.. 2023. 3. 16.
아이는 마을이 키우고 AI는 조직이 키운다 2022년 9월 30일자 정보처리학회지(Korea Information Processing Society Review)에 기고한 인공지능 프로젝트 lessons learned(https://g.co/kgs/h8yRcq) 모음이랄까요? 제29권 3호 Pages. 44-49에 실렸습니다. 아이 하나를 잘 키우기 위해 온 마을이 나서야 하듯이 AI로 기본 비즈니스를 발전하게 하려면 조직 전체가 나서야 한다는 주제입니다. 그러지 못하면 어떤 한계에 봉착하는지 줄줄이 읊어 보았습니다. http://www.koreascience.or.kr/article/JAKO202229753208300.page?&lang=ko 아이는 마을이 키우고 AI는 조직이 키운다 -정보처리학회지 | Korea Science 여기를 클릭하여.. 2023. 3. 10.
데이터만 거론하지 않는 '데이터로 말한다! 퍼포먼스 마케팅' 이은영 (지은이) / 한빛미디어 / 2022-11-30 https://www.hanbit.co.kr/store/books/look.php?p_code=B8839851696 이제까지 나온 퍼포먼스 마케팅 도서는 기술 트렌드를 논한 것 외에는 페이스북, 네이버 같은 광고 서비스나 Google 애널리틱스 같은 분석도구 사용법 튜토리얼이 대부분이었습니다. 반면 이 책은 독특합니다. 어떻게 보면 저자가 자신이 겪은 처절한 경험에 근간을 둔 마케팅 철학을 내보여서 스스로를 마케팅하려는 목적도 다분하지 않을까 합니다. 책 전반에는 대한민국 디지털 마케팅 역사를 약술하고, 후반에는 페이스북, 구글 같은 매체를 활용하는 방식을 설명합니다. 정말 독특하게도 책 중반에는 이 책의 미덕이라 할 만한 제조 분야 신사업 기획을 .. 2023. 3. 1.
AI 개발에서 꼼수는 한계가 자명하다 최근 김상욱 교수의 페이스북에서 아마추어 바둑기사가 바둑 인공지능 카타고(https://github.com/lightvector/KataGo)를 상대로 헛점을 파고 들어 15전 14승을 거두었다는 글을 읽었습니다. (https://www.facebook.com/sangwook.kim.quantum/posts/6404154772952052) 알파고나 알파고 제로였다면 저렇게 지지는 않았을 듯합니다. 아마 알파고처럼 오랜 기간 큰 비용을 투자하지는 못하는 조직이 휴리스틱(https://g.co/kgs/PtfMxb)이나 일종의 룰을 설정해서 조기에 전반적인 완성도를 높이지 않았나 싶습니다. 이렇게 하면 추론을 하는 데에도(실전 투입) 컴퓨팅 자원이 덜 들어가게 되는 장점이 있습니다. CPU, GPU, 메모리 .. 2023. 3. 1.
점원처럼 응대하는 챗봇 UX가 나올 때가 됐다 앞서 올렸던 AI 모델만이 아니라 서비스를 이야기하는 'AI & UX' (https://wizmusa.tistory.com/1170964427) 글에서 다룬 A백화점만이 아니라 챗봇을 기존 쇼핑몰 화면의 사용자 시나리오와 별개로 동작하게 하는 사례가 많습니다. PC의 웹 브라우저로 챗봇 창에서 대화를 하다가 이전의 쇼핑몰 화면으로 쉽게 돌아가지 못해서 사용자가 혼란스러워하는 사례도 종종 생겼습니다. 챗봇 서비스는 없어도 되는 덤이었던 기획에서 완전히 벗어나지 못했기 때문입니다. 그래도 지금은 클릭 클릭 클릭해 들어가야 하는 메뉴 기능을 챗봇에게 물어봐서 한번에 들어가라는 식으로 안내하기도 합니다. 제가 AI 쇼핑 어드바이저 챗봇 구축 프로젝트에 참여했던 2016년 인식을 돌이켜 보면 장족의 발전입니다. .. 2023. 2. 20.
AI 모델만이 아니라 서비스를 이야기하는 'AI & UX' 개빈 루, 로버트 슈마허 주니어 (지은이), 송유미 (옮긴이) 에이콘출판 2022-01-28 원제: AI and UX: Why Artificial Intelligence Needs User Experience https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=286793217 지인 추천으로 알게 된 책으로, '인공지능에 사용자 경험이 필요한 이유'라는 부제를 보자마자 이 책을 2016년 말, 2017년 초에 봤더라면 좋았겠다는 탄식이 나왔습니다. A백화점 AI 쇼핑 어드바이저 개발 프로젝트를 시작하던 시기로서 저는 PL로 참여했습니다. A사만이 아니라 I사 한국지사도 AI 프로젝트는 처음이라 챗봇, 상품 추천 AI 모델, 빅데이터 플랫폼 개발에 치중했습니다. 프로.. 2023. 2. 16.
구글이 벌였던 눈에 띈 실수와 눈에 띄지 않은 실수 오늘 도서관에 들렀다가 잠깐 펼친 책에 '담뽀뽀'라는 영화를 추천하는 내용이 있었습니다. 집에 와서 밥 먹고 이런 저런 일을 마치고 어떤 영화였던가 기억을 더듬어 보니 제목이 영 떠오르지 않았습니다. 검색해 보면 나오겠지 하여 구글에 기억 나는 부분인 '일본 라멘 영화 1986년'이라고 검색어를 넣었더니 단박에 최상단으로 나무위키의 '담뽀뽀' 항목이 나왔습니다. 클릭해 들어가니 개봉년도는 1985년이었군요. 내용 중에는 1986년이라고도 언급이 되어 있고요. 그 정도는 틀려도 구글이 잘 찾아주나 봅니다. 구글 영화에 담뽀뽀가 있으면 볼까 하여 '담뽀뽀'를 검색했더니 의외의 결과가 나왔습니다. 장르를 요리영화나 그냥 코미디로만 분류했으면 그런가보다 했을 텐데, 뜬금없이 '서부극'이라고 하는군요. 이유를 곰.. 2023. 2. 12.
반응형

티스토리툴바