Paper Reading 2:Human-level control through deep reinforcement learning

来源：Nature 2015

作者：Deepmind

理解基础：

• 深度学习基础
• 增强学习基础

创新点：构建一个全新的Agent，基于Deep Q-network,能够直接从高维的原始输入数据中通过End-to-End的增强学习训练来学习策略

成果：将算法应用到Atari 2600 游戏中，其中49个游戏水平超过人类。第一个连接了高维的感知输入到动作，能够通用地学习多种不同的task

详细分析

研究目标

General Aritficial Intelligence 通用人工智能！这绝对是人工智能当前最振奋人心的问题！创造一个单一的算法能够学习掌握执行多种任务。从而全面解放人类的重复性劳动。

Deep Q-network是本文提出的核心算法。

核心思想

使用深度卷积神经网络(deep convolutional neural network)来拟合最优的动作估值函数(optimal action-value function).

面临的困难

增强学习的困难在于在使用nonlinear function approximator非线性函数拟合时很容易不稳定unstable甚至发散diverge。
不稳定有很多原因，主要是数据的相关性太强导致小的权值更新会导致policy策略大的变化。

解决办法

• experience replay
• fixed θ 目标Q值仅周期性更新，目的是减少目标和q值的相关性。第二个办法在NIPS 2013的文章中没有

算法基本流程

1）初始化replay memory D，容量是N 用于存储 训练的样本
2）初始化action-value function 的Q 卷积神经网络 ，初始的参数θ随机
3）初始化 target action-value function的卷积神经网络，结构和Q的一样，参数θ∗−初始等于Q的参数

For episode = 1,M do
初始化状态系列s1，并对其进行预处理得到4 * 84 * 84的视频帧
for t=1,T do // 每个episode篇章训练一定的时间
根据概率e（很小）选择一个随机的动作
或者根据当前的状态输入到当前的网络中 （用了一次CNN）计算出每个动作的Q值，选择Q值最大的一个动作（最优动作）
执行上面的动作a就可以得到reward(得分）以及下一个图像
那么下一个状态就往前移动一帧，依然是4帧的图像，再次处理得到新的网络输入
存储（上一个状态，使用的动作，得到reward，下一个状态）数据 到replay memory来做训练
接下来从D中随机选取一个存储的数据来训练网络
计算当前状态的目标action-value，根据bellman公式得到：
如果episode结束，那么就是得到的reward，如果没有结束，那么就将下一个处理好的状态输入到网络，使用target网络 参数（上面的3）），得到最大的Q值，然后按下面公式计算： （用第二次CNN）

接下来就是计算当前状态和动作下的Q值，将当前处理好的状态输入到网络，选择对应的动作的Q值。（用第三次CNN）
根据loss function通过SGD来更新参数
每C次迭代后更新target action-value 网络的参数为当前的参数
end
end

具体Atari 2600 实验成果

比NIPS2013的版本改进不少，主要是Fixed target Q-network的贡献

DQN的突出表现

使用t-SNE算法来可视化高维数据，相似的state会放在接近的位置。有时候可能state不相似，但期望的reward相近。结论是

• 这个网络能够从高维的原始输入中学习支持可适应规则的表征。

疑问点: The representations learned by DQN are able to generalize to data generated from policies other than its own

• 能够发现相对长的策略，虽然依然无法应对很长策略的游戏

和脑科学对比

Reward signals during perceptual learning may influence the characteristics of representations within primate visual cortex.
The hippocampus may support the physical realization of such a process in the mammalian brain,with time-compressed reactivation of recently experienced trajectories during offline periods

未来使用优先的经验进行训练必然会改进性能！

小结

Nature的文章结构和NIPS这种会议的文章结构是完全不一样的。Nature更重要的是告诉不了解的人们他们取得的成果，而具体的技术实现则全部放在附录。

Method 技术方法再分析

这里只分析和NIPS2013不一样的地方

Preprocess预处理

Nature版本：使用Y通道图像(luminance亮度分量）
NIPS版本：使用灰度图像

Model Architecture 模型结构

和NIPS一样

Training 训练

比NIPS多训练了其他游戏。
使用RMSProp 更新参数（看来有必要再次学习一下Hinton的课程了）

Procedure Evaluation 过程评估

只是介绍训练完之后如何评估训练效果，比如每个游戏玩30次至多5分钟。

Algorithm 算法

这里等同于NIPS的背景介绍

总结

总的来说Nature文章对DQN进行了改进，添加了Fixed Target Q-network,提升了性能，并且对更多的游戏做了效果评估，以及进一步发现了DQN算法的优点及类人特性。