Asynchronous Advantage Actor-Critic (A3C)实现cart-pole

tensorflow实现：

github代码地址如下:

https://github.com/wweichn/A3C.git

1 Asynchronous Advantage Actor-Critic (A3C)简介

 

actor network，critic network

1 Actor观测到state，得到action

2 critic对于state和action进行打分

3 actor根据critic打分，调整策略

4 critic根据reward，调整打分策略

其中A3C特点在于

1） softmax作为actor网络输出，linear作为critic网络输出

2）A3C使用优势A（Advantage）作为动作的评价。

优势A是指动作a在状态s下相对其他动作的优势。假设状态s的价值是V，那么A=Q-V。这里的动作价值Q是指状态s下a的价值，与V的含义不同。直观上看，采用优势A来评估动作更为准确。举个例子来说，假设在状态s下，动作1的Q值是3，动作2的Q值是1，状态s的价值V是2。如果使用Q作为动作的评价，那么动作1和2的出现概率都会增加，但是实际上我们知道唯一要增加出现概率的是动作1。这时如果采用优势A，我们可以计算出动作1的优势是1，动作2的优势是-1。基于优势A来更新网络，动作1的出现概率增加，动作2的出现概率减少，更符合我们的目标。因此，A3C算法调整了Critic评判模块的价值网络，让其输出V值，然后使用多步的历史信息来计算动作的Q值，从而得到优势A，进而计算出损失函数，对行动网络进行更新