强化学习介绍（Introduction to RL）

一、简介

机器学习有三大分支，监督学习、无监督学习和强化学习，强化学习是系统从环境学习以使得奖励最大的机器学习。人工智能中称之为强化学习，在控制论中被称之为动态规划，两者在概念上是等价的。也被翻译为增强学习。

二、概念

1.不同于机器学习的其它两个分支：

它不是无监督学习，因为有回报（Reward）信号

反馈是延时的，而不是即时的

数据是与时间有关的序列

智能体的动作与后续的数据有关

2.强化学习基于一种回报假设：

回报是标量反馈信号

表明智能体（Agent）在这步做得有多好

智能体（Agent）的任务就是最大化累计回报

Reinforcement learning is learning what to do —-how to map situations to actions —- so as to maximize a numerical reward signal.

强化学习关注的是智能体如何在环境中采取一系列行为，从而获得最大的累积回报。

3.连续决策（Sequential Decision Making）：

目标：选择一个Action尽量最大化将来的总回报

Aciton可能有长期的影响

回报可能延时

牺牲即时回报去获得更好的长期回报

金融投资就是一个这样的过程。

4.环境状态（Environment State）：

Environment State是Environment私有的表达

Environment利用这些数据寻找下个Observation或者Reward

Environment State不总是对Agent可见的

即使Environment State是可见的，也有可能包含一些不相关的信息



5.智能体状态（Agent State）：

Agent State是Agent的内在表达

Agent用这些信息寻找下个Action

这些信息被用于强化学习算法



6.信息状态（Information State）：包含来自历史记录的所有有用的信息，也称之为Markov State

将来信息独立给定现在信息的过去信息

一旦状态已知，历史记录就可以扔掉

这个状态是将来的充要统计

Environment State是Markov

历史记录也是Markov

5.完全可观察的环境（Fully Observable Environments）：Agent可以直接观察到的Environment State

Agent State = Environment State = Information State

这是一个Markov Decision Process

6.部分可观察的环境（Partially Observable Environments）

Agent不能直接观察到Environment

Agent State不等于Environment State

这是一个Partially Observable Markov Decision Process

Agent必须创建自己的State表达自己

7.强化学习智能体的主要组件（Major Components of an RL Agent）：

Policy：Agent的习惯函数

Value Function：每个State或者Action的好坏

Model：Agent的环境表达

8.策略（Policy）：

Policy是Agent的习惯表达

State到Action的映射

确定策略

随机策略

9.值函数（Value Function）：

Value Function是将来回报的预测

用于评估State的好坏

因此，可以用于动作间的选择

10.模型（Model）：

Model预测下一步Environment做什么

预测下个状态

预测下个回报

三、Agent的分类：

1.Value Based：

Value Function

2.Policy Based：

Policy

3.Actor Critic：

Policy

Value Function

4.Model Free：

Policy或Value Function

5.Model Based：

Policy或Value Function

Model

四、过程：

通过强化学习，一个智能体（Agent）应该知道在什么状态（State）下应该采取什么行为（Action），这个状态从以获取最大的回报（Reward）。强化学习是从环境状态到动作的映射的学习，我们把这个映射称之为策略（Policy）。



从David Silver的图可以看出Agent和Environment之间的关系 ，每个时间点Agent都会根据上一刻的State，从可以选择的动作集合中选择一个动作a_t执行，这个动作集合可以是连续的，比如机器人的控制，也可以是离散的比如游戏中的几个按键，动作集合的数量将直接影响整个任务的求解难度，执行a_t后得到一个Reward。环境收到动作a_t，放出State和Reward。

Agent都是根据当前的State来确定下一步的动作。因此，状态State和动作Action存在映射关系，也就是一个State可以对应一个Action，或者对应不同动作的概率（概率最高的就是最值得执行的动作）。状态与动作的关系其实就是输入与输出的关系，而State到Action的过程就称之为一个Policy。我们需要找到这样一个Policy使得Reward最大。

五、例子

1.直升机特技飞行

2.机器人行走

3.战胜棋类世界冠军

4.玩游戏比人类还要好



上图是一个吃豆子游戏，迷宫的每一格就是一种State，Agent在每个State下，应该选择上下左右这些Action，吃豆子会得到正的Reward，被吃掉则反之。而在每个State下会选择哪一个Action则是Policy。

输入是：

State = Observation，例如迷宫的每一格是一个State

Actions = 在每个状态下，有什么行动

Reward = 进入每个状态时，能带来正面或负面的回报

输出就是：

Policy = 在每个状态下，会选择哪个行动

再详细一点就是：

State = 迷宫中Agent的位置，可以用一对座标表示，例如(1,3)

Action = 在迷宫中每一格，你可以行走的方向，例如：｛上，下，左，右｝

Reward = 当前的状态 (current state) 之下，迷宫中的一格可能有食物 (+1) ,也可能有怪兽 (-100)

Policy = 一个由状态 → 行动的函数，即： 函数对给定的每一个状态，都会给出一个行动

六、预测与控制

1.Prediction：评估未来

给定Policy

2.Control：优化未来

找到最好的Policy

七、一些问题

1.强化学习像一个尝试-错误的学习

2.Agent发现一个最好的Policy

3.来自环境的经验

4.在这条路上不要丢掉太多的Reward

5.探索寻找更多关于Environment的信息

6.运用那些可以最大化Reward的信息

7.探索和利用通常一样重要