AI 딥 다이브

[1부: 지능이란 무엇인가, 딥러닝이란 무엇인가]

1장: 인공지능의 원리 해명
_1.1 딥러닝 모델 학습이 잘 되는 이유
_1.2 매니폴드 가설: 현실 세계 데이터의 모델링 기법
_1.3 딥러닝이 일반화되는 이유
_1.4 독립 성분 분석: 정보 얽힘 풀기
_1.5 딥러닝 이론 해석, 신경망 미해결 문제 해명을 향한 진전
_1.6 과다 파라미터 표현 신경망과 복권 가설
_1.7 인과와 상관: 미지의 분포에 대한 일반화 가능성
_1.8 대칭성이 학습에 활용되는 방식
_1.9 머신러닝의 새로운 거듭제곱 법칙: 모델이 클수록 일반화 능력과 샘플 효율 향상
_1.10 강건한 모델의 과다 파라미터 표현 필요성

2장: 사람의 학습
_2.1 뇌의 오차 역전파 여부
_2.2 뇌의 학습 시스템

[2부: 학습 기법]

3장: 학습 기법
_3.1 학습의 엔진: 수리 최적화 Adagrad, RMSProp, Adam
_3.2 랜덤 푸리에 피처 함수: 규모가 큰 문제에도 커널 기법 적용 가능
_3.3 정규화: 일반화 능력 얻기
_3.4 오차 역전파 기법에 의한 기댓값 최대화
_3.5 오차 역전파를 사용하지 않는 학습 기법: Feedback Alignment, Synthetic Gradient, Target Prop
_3.6 연속 학습: 과거의 학습 결과를 잊지 않고 새로운 작업 학습
_3.7 예측 학습
_3.8 진화 전략
_3.9 메타 학습: 학습 방법을 학습하는 MAML과 뉴럴 프로세스
_3.10 음함수 미분: 경삿값 계산에서 계산 그래프를 워프
_3.11 비지도 표현 학습: 다른 뷰 간 상호 정보량 최대화
_3.12 지식 증류: 거대 모델의 지식 추출
_3.13 마스크 오토인코더: 이미지 인식에서 사전 학습 혁명의 가능성

4장: 강화 학습
_4.1 강화 학습: 피드백으로부터 최적 행동 획득
_4.2 월드 모델: 상상 속에서의 학습 가능성
_4.3 안전이 보장되는 강화 학습: 랴푸노프 함수로 제약을 만족시키는 폴리시 도출
_4.4 미래 예측에 기반한 플래닝, 학습화 시뮬레이터와 몬테카를로 트리 탐색
_4.5 오프라인 강화 학습: 데이터 주도형 학습

5장: 고속화, 저전력화, 인프라
_5.1 심층 신경망 학습의 고속화 가능성
_5.2 모바일향 신경망: 추론 시 전력 효율 향상 3가지 방안
_5.3 AI 연구의 뼈아픈 교훈
_5.4 MN-3/MN-Core: 세계 최고의 저소비전력 슈퍼컴퓨터

[3부: 모델과 아키텍처]

6장: 생성 모델
_6.1 적대적 생성 신경망: 신경망을 경합시켜 생성 모델 단련
_6.2 VW: 재귀 확률적 신경망에 의한 생성과 인식 수행
_6.3 Glow: 가역적 생성 모델, GAN보다 안정적으로 학습 가능한 가능도 기반 기법
_6.4 셀프 어텐션 메커니즘: 이미지 생성, 기계 번역 등 많은 문제에서 최고 정확도 달성
_6.5 연속 다이내믹스 표현 가능 신경망
_6.6 정규화 계층: 신경망 학습의 안정화, 고속화, 일반화
_6.7 에너지 기반 모델: 노이즈 복원을 통한 생성 모델 학습
_6.8 트랜스포머: 모든 작업의 표준 네트워크 아키텍처가 될 가능성
_6.9 이산화 생성 모델
_6.10 Perceiver: 다양한 입출력에 대응 가능한 신경망

7장: 기억의 얼개
_7.1 Fast Weight: 어텐션으로 단기 기억 실현
_7.2 미분 가능 신경 컴퓨터: 외부 기억을 갖춘 신경망

[4부: 애플리케이션]

8장: 이미지
_8.1 이미지 인식에서 높은 성과를 올린 CNN: 분류 오류가 매년 절반 가까이 감소
_8.2 GLOM：파싱 트리에 의한 이미지 인식의 실현 가능성

9장: 음성
_9.1 웨이브넷: 자연스러운 음성 및 음악 생성을 위한 신경망

10장: 공간생성/인식
_10.1 Generative Query Network: 이미지로부터 3차원 구조를 이해하여 생성
_10.2 자기 지도 학습에 의한 깊이와 자기 이동 추정
_10.3 3차원 형상 표현 기법
_10.4 이미지로부터 3차원 장면 이해: 국소 피처량 기반 이미지 매칭
_10.5 사람이나 동물의 공간 이해 메커니즘의 AI 활용 가능성
_10.6 Rotation Averaging: 빠르고 최적인 자세 추정 실현
_10.7 DROID-SLAM: 순차적 수정으로 환경에 대응
_10.8 NDF: 적은 지도 학습 데이터로 학습 가능한 물체나 3차원 환경의 동변 표현

11장: 언어
_11.1 seq2seq：텍스트에서 텍스트를 생성하는 신경망
_11.2 언어의 창발: 기계 간 커뮤니케이션 가능성
_11.3 자유로운 말로 로봇에게 지시
_11.4 BERT: 언어 이해의 사전 학습

12장: 제어
_12.1 확률적 제어: 부정확한 제어가 돕는 학습
_12.2 온라인 학습과 최적 제어, 미지의 노이즈에도 강건한 제어 기법

13장: 시뮬레이션
_13.1 AI에 의한 시뮬레이션의 진화
_13.2 시뮬레이션 기반 추론: 관측으로부터 귀납적 파라미터 추정
_13.3 딥러닝을 사용하는 물리 시뮬레이션 고속화
_13.4 매틀란티스: AI를 사용한 범용 원자 레벨 시뮬레이터

14장: 게임
_14.1 알파고: CNN과 강화 학습을 조합한 컴퓨터 바둑
_14.2 알파고 제로: 제로 베이스에서 학습하여 인간을 초월
_14.3 알파스타: 다양성이 있는 학습 환경에서 고도의 스킬 획득

15장: 바이오 생명 과학
_15.1 알파폴드: 50년간의 생명 과학 그랜드 챌린지 해결

16장: 로봇
_16.1 전자동 정리 로봇 시스템 개발. 고정밀도 객체 인식 기반 정리
_16.2 도메인 무작위화

참고 문헌
찾아보기