매니악한 구석이 있는 'AI 딥 다이브'

AI 딥 다이브
오차역전파부터 확산모델까지, 미래를 만드는 73가지 기술 이야기
저자: 오카노하라 다이스케 / 번역: 정원창 / 한빛미디어 / 2024-07-30
https://www.hanbit.co.kr/store/books/look.php?p_code=B8118200104

 
인공지능 입문자는 굳이 읽지 않아도 됩니다. 완독하고 나서 보니, 저자는 누구를 대상으로 삼아 이 책을 썼을까 궁금해졌습니다. 저자가 AI로 고심했던 흔적은 여기 저기에서 보입니다. 그 비슷한 주제로 고민을 하고 있는 사람에게는 도움이 될 내용이 꽤 있겠습니다. 굳이 저처럼 완독하지 않아도 되지 않을까 합니다. 차례를 보고 당장 흥미 있는 주제만 골라 읽은 후 책장에 꽂아두는 게 효율적이겠다 싶습니다. 막히는 게 있거나 AI 과제를 새로 시작할 때 다시 꺼내 한 번 훑어보기를 권합니다. 저자가 다룬 내용은 트랜스포머 Z쯤 되는 게 나와도 여전히 유용한 주제이기 때문입니다. 그러고 보니, 하던 것만 하느라 얘기거리가 적다 싶은 AI 업계종사자가 참고해도 쓸 만하지 않을까 합니다.
 

'드래곤볼'에 이어서 '드래곤볼 Z'가 나왔습니다.

---

 

반응형

[1부: 지능이란 무엇인가, 딥러닝이란 무엇인가]
 
1장: 인공지능의 원리 해명
_1.1 딥러닝 모델 학습이 잘 되는 이유
_1.2 매니폴드 가설: 현실 세계 데이터의 모델링 기법
_1.3 딥러닝이 일반화되는 이유
_1.4 독립 성분 분석: 정보 얽힘 풀기
_1.5 딥러닝 이론 해석, 신경망 미해결 문제 해명을 향한 진전
_1.6 과다 파라미터 표현 신경망과 복권 가설
_1.7 인과와 상관: 미지의 분포에 대한 일반화 가능성
_1.8 대칭성이 학습에 활용되는 방식
_1.9 머신러닝의 새로운 거듭제곱 법칙: 모델이 클수록 일반화 능력과 샘플 효율 향상
_1.10 강건한 모델의 과다 파라미터 표현 필요성
 
2장: 사람의 학습
_2.1 뇌의 오차 역전파 여부
_2.2 뇌의 학습 시스템
 
[2부: 학습 기법]
 
3장: 학습 기법
_3.1 학습의 엔진: 수리 최적화 Adagrad, RMSProp, Adam
_3.2 랜덤 푸리에 피처 함수: 규모가 큰 문제에도 커널 기법 적용 가능
_3.3 정규화: 일반화 능력 얻기
_3.4 오차 역전파 기법에 의한 기댓값 최대화
_3.5 오차 역전파를 사용하지 않는 학습 기법: Feedback Alignment, Synthetic Gradient, Target Prop
_3.6 연속 학습: 과거의 학습 결과를 잊지 않고 새로운 작업 학습
_3.7 예측 학습
_3.8 진화 전략
_3.9 메타 학습: 학습 방법을 학습하는 MAML과 뉴럴 프로세스
_3.10 음함수 미분: 경삿값 계산에서 계산 그래프를 워프
_3.11 비지도 표현 학습: 다른 뷰 간 상호 정보량 최대화
_3.12 지식 증류: 거대 모델의 지식 추출
_3.13 마스크 오토인코더: 이미지 인식에서 사전 학습 혁명의 가능성
 
4장: 강화 학습
_4.1 강화 학습: 피드백으로부터 최적 행동 획득
_4.2 월드 모델: 상상 속에서의 학습 가능성
_4.3 안전이 보장되는 강화 학습: 랴푸노프 함수로 제약을 만족시키는 폴리시 도출
_4.4 미래 예측에 기반한 플래닝, 학습화 시뮬레이터와 몬테카를로 트리 탐색
_4.5 오프라인 강화 학습: 데이터 주도형 학습
 
5장: 고속화, 저전력화, 인프라
_5.1 심층 신경망 학습의 고속화 가능성
_5.2 모바일향 신경망: 추론 시 전력 효율 향상 3가지 방안
_5.3 AI 연구의 뼈아픈 교훈
_5.4 MN-3/MN-Core: 세계 최고의 저소비전력 슈퍼컴퓨터
 
[3부: 모델과 아키텍처]
 
6장: 생성 모델
_6.1 적대적 생성 신경망: 신경망을 경합시켜 생성 모델 단련
_6.2 VW: 재귀 확률적 신경망에 의한 생성과 인식 수행
_6.3 Glow: 가역적 생성 모델, GAN보다 안정적으로 학습 가능한 가능도 기반 기법
_6.4 셀프 어텐션 메커니즘: 이미지 생성, 기계 번역 등 많은 문제에서 최고 정확도 달성
_6.5 연속 다이내믹스 표현 가능 신경망
_6.6 정규화 계층: 신경망 학습의 안정화, 고속화, 일반화
_6.7 에너지 기반 모델: 노이즈 복원을 통한 생성 모델 학습
_6.8 트랜스포머: 모든 작업의 표준 네트워크 아키텍처가 될 가능성
_6.9 이산화 생성 모델
_6.10 Perceiver: 다양한 입출력에 대응 가능한 신경망
 
7장: 기억의 얼개
_7.1 Fast Weight: 어텐션으로 단기 기억 실현
_7.2 미분 가능 신경 컴퓨터: 외부 기억을 갖춘 신경망
 
[4부: 애플리케이션]
 
8장: 이미지
_8.1 이미지 인식에서 높은 성과를 올린 CNN: 분류 오류가 매년 절반 가까이 감소
_8.2 GLOM：파싱 트리에 의한 이미지 인식의 실현 가능성
 
9장: 음성
_9.1 웨이브넷: 자연스러운 음성 및 음악 생성을 위한 신경망
 
10장: 공간생성/인식
_10.1 Generative Query Network: 이미지로부터 3차원 구조를 이해하여 생성
_10.2 자기 지도 학습에 의한 깊이와 자기 이동 추정
_10.3 3차원 형상 표현 기법
_10.4 이미지로부터 3차원 장면 이해: 국소 피처량 기반 이미지 매칭
_10.5 사람이나 동물의 공간 이해 메커니즘의 AI 활용 가능성
_10.6 Rotation Averaging: 빠르고 최적인 자세 추정 실현
_10.7 DROID-SLAM: 순차적 수정으로 환경에 대응
_10.8 NDF: 적은 지도 학습 데이터로 학습 가능한 물체나 3차원 환경의 동변 표현
 
11장: 언어
_11.1 seq2seq：텍스트에서 텍스트를 생성하는 신경망
_11.2 언어의 창발: 기계 간 커뮤니케이션 가능성
_11.3 자유로운 말로 로봇에게 지시
_11.4 BERT: 언어 이해의 사전 학습
 
12장: 제어
_12.1 확률적 제어: 부정확한 제어가 돕는 학습
_12.2 온라인 학습과 최적 제어, 미지의 노이즈에도 강건한 제어 기법
 
13장: 시뮬레이션
_13.1 AI에 의한 시뮬레이션의 진화
_13.2 시뮬레이션 기반 추론: 관측으로부터 귀납적 파라미터 추정
_13.3 딥러닝을 사용하는 물리 시뮬레이션 고속화
_13.4 매틀란티스: AI를 사용한 범용 원자 레벨 시뮬레이터
 
14장: 게임
_14.1 알파고: CNN과 강화 학습을 조합한 컴퓨터 바둑
_14.2 알파고 제로: 제로 베이스에서 학습하여 인간을 초월
_14.3 알파스타: 다양성이 있는 학습 환경에서 고도의 스킬 획득
 
15장: 바이오 생명 과학
_15.1 알파폴드: 50년간의 생명 과학 그랜드 챌린지 해결
 
16장: 로봇
_16.1 전자동 정리 로봇 시스템 개발. 고정밀도 객체 인식 기반 정리
_16.2 도메인 무작위화
 
참고 문헌 
찾아보기