1부. 알고리듬과 환경



1장. 강화학습의 개요

__강화학습 소개

______강화학습과 지도학습의 비교

____강화학습의 역사

____딥 강화학습

__강화학습의 구성 요소

____폴리시

____가치함수

____보상

____모델

__강화학습 애플리케이션

____게임

____로봇과 인더스트리 4.0

____기계학습

____경제와 금융

____헬스케어

____지능형 교통시스템

____에너지 최적화와 스마트 그리드

__요약

__질문

__심화학습 자료



2장. 강화학습 사이클과 OpenAI Gym 구현하기



__환경 설정하기

____OpenAI Gym 설치하기

____로보스쿨 설치하기

__OpenAI Gym과 강화학습 사이클

____강화학습 사이클 개발하기

____공간에 익숙해지기

____텐서플로우 2.X

________즉시 실행

________오토그래프

__텐서플로우 기반 기계학습 모델 개발

____텐서

________상수

________변수

________그래프 생성하기

____간단한 선형회귀 예제

____텐서보드 도입하기

__강화학습 환경의 유형

____왜 다른 환경인가?

____오픈소스 환경

__요약

__질문

__심화학습 자료



3장. 동적 프로그래밍DP으로 문제 해결하기

__MDP

____폴리시

____감가율과 리턴

____가치함수

____벨만 방정식

__강화학습 알고리듬 분류

____모델 프리 알고리듬

________가치 기반 알고리듬

________폴리시 그래디언트 알고리듬

________액터 크리틱 알고리듬

________하이브리드 알고리듬

____모델 기반 강화학습

____알고리듬 다양화

__DP

____폴리시 평가와 폴리시 개선

____폴리시 이터레이션

________프로즌레이크에 적용된 폴리시 이터레이션

____가치 이터레이션

________프로즌레이크에 적용한 가치 이터레이션

__요약

__질문

__심화학습 자료



2부. 모델 프리 강화학습 알고리듬



4장. Q-러닝과 SARSA 애플리케이션



__모델없이 학습하기

____사용자 경험

____폴리시 평가

____탐색 문제

________왜 탐색해야 하는가?

________탐색 방법

__시간차 학습

____시간차 업데이트

____폴리시 개선

____몬테카를로와 시간차 비교

__SARSA

____알고리듬

__Taxi-v2에 SARSA 적용하기

__Q-러닝

____이론

____알고리듬

__Taxi-v2에 Q-러닝 적용하기

____SARSA와 Q-러닝 비교

__요약

__질문



5장. Deep Q-Network



__심층신경망과 Q-러닝

____함수 근사

____신경망을 이용한 Q-러닝

____딥 Q-러닝의 불안정성

__DQN

____해결책

________리플레이 메모리

________타깃 네트워크

____DQN 알고리듬

________손실함수

________의사코드

____모델 아키텍처

__DQN을 퐁에 적용하기

____아타리 게임

____전 처리

____DQN 구현

________DNN

________경험 버퍼

________계산 그래프와 훈련 루프

____결과

__DQN 개선 알고리듬

____Double DQN

________DDQN 구현

________결과

____DQN 듀얼링하기

________듀얼링 DQN 구현

________결과

____N-스텝 DQN

________구현

________결과

__요약

__질문

__심화학습 자료



5장. 확률 기반 PG 최적화 학습



__폴리시 그래디언트 메소드

____폴리시의 그래디언트

____폴리시 그래디언트 정리

____그래디언트 계산하기

____폴리시

____온-폴리시 PG

__REINFORCE 알고리듬 이해하기

____REINFORCE 구현하기

____REINFORCE를 이용해 탐사선 착륙시키기

________결과 분석하기

__베이스라인이 있는 REINFORCE

____베이스라인으로 REINFORCE 구현하기

__AC 알고리듬 학습하기

____액터가 학습하도록 돕기 위해 크리틱 사용하기

____n-step AC 모델

____AC 구현

____AC를 사용해 탐사선spacecraft 착륙시키기

____고급 AC 팁과 트릭

__요약

__질문

__심화학습 자료



7장. TRPO와 PPO 구현



__로보스쿨

____연속 시스템 제어

__Natural Policy Gradient

____NPG에 대한 아이디어

____수학적 개념

________FIM과 KL 발산

____NG 문제

__TRPO

____TRPO 알고리듬

____TRPO 알고리듬 구현

____TRPO 애플리케이션

__Proximal Policy Optimization

____PPO의 개요

____PPO 알고리듬

____PPO의 구현

____PPO 애플리케이션

__요약

__질문

__심화학습 자료



8장. DDPG와 TD3 애플리케이션



__폴리시 그래디언트 최적화와 Q-러닝 결합하기

____결정론적 폴리시 그래디언트

____DDPG 알고리듬

____DDPG 구현

____DDPG를 BipedalWalker-v2에 적용하기

__TD3 폴리시 그래디언트

____과대평가 편향 문제 해결

________TD3의 구현

____분산 감소 해결

________지연된 폴리시 업데이트

________타깃 정규화

____BipedalWalker에 TD3를 적용하기

__요약

__질문

__심화학습 자료



3부. 모델 프리 알고리듬과 개선



9장. 모델 기반 강화학습



__모델 기반 메소드

____모델 기반 학습에 대한 폭넓은 관점

________알려진 모델

________미지의 모델

____장단점

__모델 기반 학습과 모델 프리 학습 결합하기

____모델 기반과 모델 프리 접근법의 유용한 조합

____이미지에서 모델 만들기

__역진자에 적용한 ME-TRPO 모델

____ME-TRPO 이해하기

____ME-TRPO 구현하기

____로보스쿨 실험하기

________로보스쿨 역진자 실험 결과

__요약

__질문

__심화학습 자료



10장. DAgger 알고리듬으로 모방 학습하기



__기술적 요구 사항

____Flappy Bird 설치

__모방 접근

____운전 보조 사례

____IL과 RL 비교하기

____모방 학습에서 전문가의 역할

____IL 구조

________수동 모방과 능동 모방 비교하기

__Flappy Bird 게임하기

____환경을 이용하는 방법

__데이터 집합dataset 집계 알고리듬 이해하기

____DAgger 알고리듬

____DAgger의 구현

________전문가 추론 모델 적재

________학습자의 계산 그래프 만들기

________DAgger loop 만들기

____Flappy Bird 결과 분석

__IRL

__요약

__질문

__심화학습 자료



11장. 블랙박스 최적화 알고리듬 이해하기



__강화학습의 대안

____강화학습에 대한 간단한 요약

____대안

________EAs

__EA의 핵심

____유전자 알고리듬GA

____진화 전략

________CMA-ES

________ES 대 RL

__확장 가능한 진화 전략

____핵심

________ES 병렬화하기

________다른 트릭

________의사 코드

____확장 가능한 구현

________메인 함수

________작업자

__확장 가능한 ES를 LunarLander에 적용하기

__요약

__질문

__심화학습 자료



12장. ESBAS 알고리듬 개발하기



__탐색 대 활용

____멀티 암드 밴딧

__탐색 접근법

____탐욕 전략

____UCB 알고리듬

________UCB1

____탐색 복잡도

__ESBAS

____알고리듬 선택 알아보기

____ESBAS 내부 구조

____구현

____Acrobot 실행하기

________결과

__요약

__질문

__심화학습 자료



13장. 강화학습 문제를 해결하기 위한 실제 구현

__딥 강화학습의 모범 사례

____적합한 알고리듬 선택하기

____강화학습 알고리듬 개발하기

__딥 강화학습의 도전 과제

____안정성과 재현성

____효율성

____일반화

__고급 기술

____비지도 강화학습

________내재적 보상

____전이 학습

________전이 학습의 유형

__현실에서의 강화학습

____강화학습을 현실에 적용할 때 해결해야 할 문제

____시뮬레이션과 현실 사이의 차이 줄이기

____자기만의 환경 만들기

__강화학습의 미래와 사회에 미치는 영향

__요약

__질문

__심화학습 자료