分类目录：《深入理解强化学习》总目录

到目前为止，我们已经探讨了评估动作价值的方法，并使用这些估计值来选择动作。这通常是一个好方法，但并不是唯一可使用的方法。我们针对每个动作$a$考虑学习一个数值化的偏好函数$H_t(a)$。偏好函数越大，动作就越频繁地被选择，但偏好函数的概念并不是从“收益"的意义上提出的。只有一个动作对另一个动作的相对偏好才是重要的，如果我们给每一个动作的偏好函数都加上1000，那么对于按照如下Softmax分布（吉布斯或玻尔兹曼分布）确定的动作概率没有任何影响：
Pr { A t = a } = e H t ( a ) ∑ i = 1 k e H t ( i ) = π t ( a ) \text{Pr}\{A_t=a\}=\frac{e^{H_t(a)}}{\sum_{i=1}^ke^{H_t(i)}}=\pi_t(a) Pr{At​=a}=∑i=1k​eHt​(i)eHt​(a)​=πt​(a)

其中，${\pi }_t(a)$是一个新的且重要的定义，用来表示动作$a$在时刻时被选择的概率。所有偏好函数的初始值都是一样的（如：$\forall A:H_1(a)=0$），所以每个动作被选择的概率是相同的。

基于随机梯度上升的思想，本文提出了一种自然学习算法。在每个步骤中，在选择动作$A_t$并获得收益$R_t$之后，偏好函数将会按如下方式更新：
$$\begin{array}{rl}{H}_{t+1}(A_t)& =H_t(A_t)+\alpha (R_t-\overline{R_t})(1-{\pi }_t(A_t))\\ H_{t+1}(a)& =H_t(a)-\alpha (R_t-\overline{R_t}){\pi }_t(a)\end{array},\forall a\ne A_t$$

其中，$\alpha$是一个大于0的数，表示步长。$R_t\in R$是在时刻$t$内所有收益的平均值，可以按文章《深入理解强化学习——多臂赌博机：增量式实现》所述逐步计算，若是非平稳问题，则可以参考文章《深入理解强化学习——多臂赌博机：非平稳问题》。$\overline{R_t}$作为比较收益的一个基准项。如果收益高于它，那么在未来选择动作的概率就会增加，反之概率就会降低，未选择的动作被选择的概率上升。

下图展示了在一个10臂测试平台问题的变体上采用梯度赌博机算法的结果，在这个问题中，它们真实的期望收益是按照平均值为$+4$而不是$0$（方差与之前相同）的正态分布来选择的。所有收益的这种变化对梯度赌博机算法没有任何影响，因为收益基谁项计它可以马上适应新的收益水平。如果没有基准项（即把$\overline{R_t}$设为常数0），那么性能将显著降低，如图所示：

参考文献：
[1] 张伟楠, 沈键, 俞勇. 动手学强化学习[M]. 人民邮电出版社, 2022.
[2] Richard S. Sutton, Andrew G. Barto. 强化学习（第2版）[M]. 电子工业出版社, 2019
[3] Maxim Lapan. 深度强化学习实践（原书第2版）[M]. 北京华章图文信息有限公司, 2021
[4] 王琦, 杨毅远, 江季. Easy RL：强化学习教程 [M]. 人民邮电出版社, 2022