파이썬 기반 강화학습 알고리듬

1부. 알고리듬과 환경

1장. 강화학습의 개요
__강화학습 소개
______강화학습과 지도학습의 비교
____강화학습의 역사
____딥 강화학습
__강화학습의 구성 요소
____폴리시
____가치함수
____보상
____모델
__강화학습 애플리케이션
____게임
____로봇과 인더스트리 4.0
____기계학습
____경제와 금융
____헬스케어
____지능형 교통시스템
____에너지 최적화와 스마트 그리드
__요약
__질문
__심화학습 자료

2장. 강화학습 사이클과 OpenAI Gym 구현하기

__환경 설정하기
____OpenAI Gym 설치하기
____로보스쿨 설치하기
__OpenAI Gym과 강화학습 사이클
____강화학습 사이클 개발하기
____공간에 익숙해지기
____텐서플로우 2.X
________즉시 실행
________오토그래프
__텐서플로우 기반 기계학습 모델 개발
____텐서
________상수
________변수
________그래프 생성하기
____간단한 선형회귀 예제
____텐서보드 도입하기
__강화학습 환경의 유형
____왜 다른 환경인가?
____오픈소스 환경
__요약
__질문
__심화학습 자료

3장. 동적 프로그래밍DP으로 문제 해결하기
__MDP
____폴리시
____감가율과 리턴
____가치함수
____벨만 방정식
__강화학습 알고리듬 분류
____모델 프리 알고리듬
________가치 기반 알고리듬
________폴리시 그래디언트 알고리듬
________액터 크리틱 알고리듬
________하이브리드 알고리듬
____모델 기반 강화학습
____알고리듬 다양화
__DP
____폴리시 평가와 폴리시 개선
____폴리시 이터레이션
________프로즌레이크에 적용된 폴리시 이터레이션
____가치 이터레이션
________프로즌레이크에 적용한 가치 이터레이션
__요약
__질문
__심화학습 자료

2부. 모델 프리 강화학습 알고리듬

4장. Q-러닝과 SARSA 애플리케이션

__모델없이 학습하기
____사용자 경험
____폴리시 평가
____탐색 문제
________왜 탐색해야 하는가?
________탐색 방법
__시간차 학습
____시간차 업데이트
____폴리시 개선
____몬테카를로와 시간차 비교
__SARSA
____알고리듬
__Taxi-v2에 SARSA 적용하기
__Q-러닝
____이론
____알고리듬
__Taxi-v2에 Q-러닝 적용하기
____SARSA와 Q-러닝 비교
__요약
__질문

5장. Deep Q-Network

__심층신경망과 Q-러닝
____함수 근사
____신경망을 이용한 Q-러닝
____딥 Q-러닝의 불안정성
__DQN
____해결책
________리플레이 메모리
________타깃 네트워크
____DQN 알고리듬
________손실함수
________의사코드
____모델 아키텍처
__DQN을 퐁에 적용하기
____아타리 게임
____전 처리
____DQN 구현
________DNN
________경험 버퍼
________계산 그래프와 훈련 루프
____결과
__DQN 개선 알고리듬
____Double DQN
________DDQN 구현
________결과
____DQN 듀얼링하기
________듀얼링 DQN 구현
________결과
____N-스텝 DQN
________구현
________결과
__요약
__질문
__심화학습 자료

5장. 확률 기반 PG 최적화 학습

__폴리시 그래디언트 메소드
____폴리시의 그래디언트
____폴리시 그래디언트 정리
____그래디언트 계산하기
____폴리시
____온-폴리시 PG
__REINFORCE 알고리듬 이해하기
____REINFORCE 구현하기
____REINFORCE를 이용해 탐사선 착륙시키기
________결과 분석하기
__베이스라인이 있는 REINFORCE
____베이스라인으로 REINFORCE 구현하기
__AC 알고리듬 학습하기
____액터가 학습하도록 돕기 위해 크리틱 사용하기
____n-step AC 모델
____AC 구현
____AC를 사용해 탐사선spacecraft 착륙시키기
____고급 AC 팁과 트릭
__요약
__질문
__심화학습 자료

7장. TRPO와 PPO 구현

__로보스쿨
____연속 시스템 제어
__Natural Policy Gradient
____NPG에 대한 아이디어
____수학적 개념
________FIM과 KL 발산
____NG 문제
__TRPO
____TRPO 알고리듬
____TRPO 알고리듬 구현
____TRPO 애플리케이션
__Proximal Policy Optimization
____PPO의 개요
____PPO 알고리듬
____PPO의 구현
____PPO 애플리케이션
__요약
__질문
__심화학습 자료

8장. DDPG와 TD3 애플리케이션

__폴리시 그래디언트 최적화와 Q-러닝 결합하기
____결정론적 폴리시 그래디언트
____DDPG 알고리듬
____DDPG 구현
____DDPG를 BipedalWalker-v2에 적용하기
__TD3 폴리시 그래디언트
____과대평가 편향 문제 해결
________TD3의 구현
____분산 감소 해결
________지연된 폴리시 업데이트
________타깃 정규화
____BipedalWalker에 TD3를 적용하기
__요약
__질문
__심화학습 자료

3부. 모델 프리 알고리듬과 개선

9장. 모델 기반 강화학습

__모델 기반 메소드
____모델 기반 학습에 대한 폭넓은 관점
________알려진 모델
________미지의 모델
____장단점
__모델 기반 학습과 모델 프리 학습 결합하기
____모델 기반과 모델 프리 접근법의 유용한 조합
____이미지에서 모델 만들기
__역진자에 적용한 ME-TRPO 모델
____ME-TRPO 이해하기
____ME-TRPO 구현하기
____로보스쿨 실험하기
________로보스쿨 역진자 실험 결과
__요약
__질문
__심화학습 자료

10장. DAgger 알고리듬으로 모방 학습하기

__기술적 요구 사항
____Flappy Bird 설치
__모방 접근
____운전 보조 사례
____IL과 RL 비교하기
____모방 학습에서 전문가의 역할
____IL 구조
________수동 모방과 능동 모방 비교하기
__Flappy Bird 게임하기
____환경을 이용하는 방법
__데이터 집합dataset 집계 알고리듬 이해하기
____DAgger 알고리듬
____DAgger의 구현
________전문가 추론 모델 적재
________학습자의 계산 그래프 만들기
________DAgger loop 만들기
____Flappy Bird 결과 분석
__IRL
__요약
__질문
__심화학습 자료

11장. 블랙박스 최적화 알고리듬 이해하기

__강화학습의 대안
____강화학습에 대한 간단한 요약
____대안
________EAs
__EA의 핵심
____유전자 알고리듬GA
____진화 전략
________CMA-ES
________ES 대 RL
__확장 가능한 진화 전략
____핵심
________ES 병렬화하기
________다른 트릭
________의사 코드
____확장 가능한 구현
________메인 함수
________작업자
__확장 가능한 ES를 LunarLander에 적용하기
__요약
__질문
__심화학습 자료

12장. ESBAS 알고리듬 개발하기

__탐색 대 활용
____멀티 암드 밴딧
__탐색 접근법
____탐욕 전략
____UCB 알고리듬
________UCB1
____탐색 복잡도
__ESBAS
____알고리듬 선택 알아보기
____ESBAS 내부 구조
____구현
____Acrobot 실행하기
________결과
__요약
__질문
__심화학습 자료

13장. 강화학습 문제를 해결하기 위한 실제 구현
__딥 강화학습의 모범 사례
____적합한 알고리듬 선택하기
____강화학습 알고리듬 개발하기
__딥 강화학습의 도전 과제
____안정성과 재현성
____효율성
____일반화
__고급 기술
____비지도 강화학습
________내재적 보상
____전이 학습
________전이 학습의 유형
__현실에서의 강화학습
____강화학습을 현실에 적용할 때 해결해야 할 문제
____시뮬레이션과 현실 사이의 차이 줄이기
____자기만의 환경 만들기
__강화학습의 미래와 사회에 미치는 영향
__요약
__질문
__심화학습 자료