#mote-carlo

在之前的一篇文章中讲到了多臂老虎机问题，这是强化学习中探索-利用困境的经典案例。这篇文章将更多从理论上来探讨如何解决探索-利用困境。 1. 多臂老虎机问题回顾 多个拉杆的赌博机，每一个拉杆的中奖几率是不一样的，问题是：如何在有限次数内，选择拉不同的拉杆，获得最多的收益。 将这个问题用强化学习的数学模型进行描述 每个拉杆相互独立，只有一个Episode，拉一次就结束这个Episode.

之前发表的关于强化学习的文章，无论是基于策略的还是基于价值的还是两者均兼顾的强化学习方法都没有涉及到具体的模型。 1. 无模型(Model-Free)的强化学习回顾 机器人在真实环境中互动学习，然后寻找到行动策略，然后学习优化策略。 2. 基于模型(Model-Based)的强化学习简介 模型就是对真实世界的模拟，在模型中学习就是在真实世界中建模，所以学习的环境变成了模型中的‘‘卡通’’世界。

1. 回顾强化学习方法 我们介绍了基于价值(Value-Based)的强化学习和基于策略(Policy-Based)的强化学习，有没有结合两者优势的强化学习方法呢？答案是肯定的，那就是Actor-Critic学习方法。三者的关系如下图：

1. 基于价值的强化学习回顾 前几篇文章都是在讲通过训练值函数的近似函数，然后通过比如Ɛ-greedy探索方法获得最佳策略，这种方法叫做基于价值的强化学习。然而基于价值的强化学习有无法收敛，无法获得随机策略，以及可能遇到状态重名的问题。

前面两篇文章介绍了如何使用近似函数，而不是“查表”的方法找到最优策略，但是遇到了一个问题，就是在使用非线性近似函数，比如神经网络的时候，大多数情况是不收敛的。这篇文章就是来解决这个问题的。这里用到的DQN(Deep Q-Learning)方法实际上在之前的文章中也已经介绍过了。 1. 批方法Batch Methods

前文介绍了函数近似来预测V函数，但是还没涉及到行动和控制，这篇文章就来谈谈用近似Q函数来控制和行动。 1. 控制——递增算法 Incremental Control Algorithms 回顾前文动态规划(DP)解决MDP我们用迭代+Greedy的方法寻找最优策略 同样的，在使用近似函数之后，也可以使用类似的方法 分为两个步骤 第一步，进行策略评估，当然这里是用近似函数，将w带入

在前面的文章介绍了什么是MDP，以及如何求解最优MDP解决MDP问题。接着又介绍了用MD和TD的方法在未知环境下预测MDP。在这些方法中的最优策略π就是为了获得最大值函数(V函数)Vπ(s)或者加入了行动a的Q函数Qπ(s,a)。 然而在实际问题中，比如电子游戏，下象棋棋，状态的个数可以是10的几十到几百个次方，数量可能比宇宙中的微粒都多，不要说遍历一下每一个状态，就是记录下每一个状态都是几乎不可能完成的任务。

前面关于强化学习的文章中介绍了MDP，动态规划的方法对MDP问题的V函数进行评估和求最优策略。然而现实问题中，往往很多时候环境是未知的。那么这篇文章就介绍一下在未知环境下用Model Free的方法预测MDP。 1. Monte-Carlo （蒙特卡洛）策略估计