Reinforcement Learning:
An Introduction
强化学习：导论 — 中英文双语精读笔记
基于
Sutton & Barto (2018)
原著 · 共13章 · 中英对照 · 公式 + 伪代码 + 概念速查
13
章节 / Chapters
548
原著页数 / Pages
双语
中英对照 / Bilingual
Part I
基础篇
Foundations: Tabular Methods
01
强化学习导论
Introduction
RL定义
Agent-Environment
核心思想
→
02
多臂老虎机
Multi-armed Bandits
探索-利用
ε-greedy
UCB
Gradient Bandit
→
03
有限马尔可夫决策过程
Finite Markov Decision Processes
MDP
回报
策略
Bellman方程
→
04
动态规划
Dynamic Programming
策略评估
策略迭代
值迭代
GPI
→
05
蒙特卡罗方法
Monte Carlo Methods
MC预测
MC控制
重要性采样
ES
→
06
时序差分学习
Temporal-Difference Learning
TD(0)
Sarsa
Q-learning
Expected Sarsa
→
07
n步自举
n-step Bootstrapping
n-step TD
n-step Sarsa
Off-policy
Tree Backup
→
08
基于模型的规划与行动
Planning and Acting with Models
Dyna-Q
模拟
优先级扫描
规划vs学习
→
Part II
近似篇
Approximate Methods: Function Approximation
09
On-policy预测与近似
On-policy Prediction with Approximation
VE
半梯度TD
特征构造
ANN
瓦片编码
→
10
On-policy控制与近似
On-policy Control with Approximation
半梯度Sarsa
Mountain Car
平均奖励
差分Sarsa
→
11
*Off-policy方法与近似
*Off-policy Methods with Approximation
致命三要素
Baird反例
Gradient-TD
Emphatic-TD
→
12
资格迹
Eligibility Traces
λ-回报
TD(λ)
Sarsa(λ)
Dutch迹
前向/后向视图
→
13
策略梯度方法
Policy Gradient Methods
策略梯度定理
REINFORCE
Actor-Critic
连续动作
→