机器学习相关的基本公式:从Bayes公式到cross entropy
2017-03-29 16:24
211 查看
一、引子
cost function (在其他场合也常称为 error function 、lost function 或 object function ),是机器学习理论中最“朴素”也最核心的概念之一。(其地位相当于物理学中尊贵无比的“作用量”)不论是简单的linear/logistic regression模型,还是复杂一点的SVM、RBM等模型,或者更加复杂的神经网络模型,“万变不离其宗”,只要我们谈到要“训练”模型 (从另一个角度说,也叫“拟合”数据) ,那么我们首先要搞清楚这个模型的 cost function 怎么计算,这是我们“训练”的入手点。
另一方面,cost function 的具体选择对于初学者却似乎不太友好。例如:在线性回归、SVM等模型中,我们的cost function 会用到 均方差(Mean Square Error)形式;而在神经网络等模型中 cost function 又会采用 cross entropy 形式(cross entropy的定义在不同场景下也有些细腻的差异,只死记硬背定义的话会难以变通)。我们自然要问:
cross entropy 是怎么引入的,有没有像均方差一样简单直观的理解方式?
cross entropy 和 均方差形式的 cost function 可不可以彼此关联起来?
cost function 中的 regularization 项有没有更加“优雅”的引入方式?
有没有统一的理论框架可以让这些“七零八落”的概念各居其位,全部理顺?
为了回答这些疑问,让我们先回顾一下机器学习要解决的问题。
二、选择模型
我们以一个典型的“拟合”或 supervised learning 问题为例。这类问题可以描述为:已知一组采样数据 S:={(x1,y1),(x2,y2),…,(xN,yN)},其中 xi 可以视为输入的参量,yi 视为输出量。(不妨记采样集 X:={x1,x2,⋯,xN}1,Y:={y1,y2,⋯,yN}) 问题:给定一个新的 x, 怎样根据已知数据“最合理地”预测出其对应的 y值?
为了能利用数学工具描述并解决这个问题,我们首先要假设一种数学结构来描述变量关系 。(即选择model,model中所依赖的全部参数记为 θ,即 “一个 θ 对应一个模型”)
最直接的一个想法是: 我们假定 y 和 x 之间存在函数关系,即 y=f(x,θ), 其中 θ 是函数 f(⋅) 所依赖的参数。这是一个“决定论”模型(y的值由 x 唯一决定),这类模型最明显的限制是: 一个 x 值只能对应唯一一个 y 值,它从一开始就无法描述“一个 x 对应多个 y 值”这种可能性。
因此,为了将推导建立在更普适的基础上,我们选择“概率论” 模型: 我们将 x 看做是随机变量 X 的采样值,y 看做是随机变量 Y 的采样值。 于是,给定 x 后, y 的值由条件概率 p(y|x,θ) 决定,其中 θ 是该概率模型所依赖的参数)。
显然,当 p(y|x,θ)=δ(y−f(x,θ)) 时 (其中 δ(⋅) 表示 Dirac函数), 这个“概率论”模型还原到 y=f(x,θ) 的“决定论”模型
三、怎样预测
(1) 关于Bayes公式
假设已知条件概率 p(y|x,θ) 的表达式,并给定参数 θ 的值,则对于某个给定的 x 值,y “最合理”的预测值应当取如下概率平均值:y^=∫dy[yp(y|x,θ)](1)
(这里假设 y 的取值空间是连续,例如“regression问题”。对于y 取离散值的情形,例如“分类问题”, 可以取 y^=argmaxyp(y|x,θ))
在贝叶斯思想中,除了观测数据,我们不应对理论模型的正确性做任何假设,或者说:我们应该把所谓模型的“正确性”也看做一个概率分布。 即,这里描述模型的参数 θ 不应当是给定的, 而应当也看做一个概率分布,于是公式(1)应改写为:
y^=∫dy∫dθ[yp(y|x,θ)p∗(θ)]其中 p∗(θ) 表示参数 θ “应当”符合的概率分布(2)
由于每个θ 对应一个model,对 θ 的积分,其含义就是对所有 model 的统计平均。(这种对所有 model 的统计平均,类似于统计物理中 “系综平均”的概念)。
下面的问题是该怎样选定 p∗(θ) 呢?显然,一个合理的假设是: p∗(θ) 的选取应当依赖于已知的观测数据 (X,Y),也就是说,p∗(θ) 应是在给定数据 (X,Y) 前提下的某种“条件概率”,即 p∗(θ)≡p(θ|X,Y)=p(θ)p(Y|X,θ)(贝叶斯公式)=p(θ)∏i=1Np(yi|xi,θ)(3)
其中等式的第二步用到 Bayes公式 ,第三步用到 i. i. d. 假设 (independent, identical distribution), 即每个观测数据 (xi,yi) 都是同一分布的一次独立采样结果。p(θ) 是 θ 的“先验分布”(p(θ) 是我们需要“手工”选定的, 如果我们对 θ 没有任何“先验”认识,那么可以取 p(θ) 为均匀分布。 后文中,我们会看到,p(θ) 是 cost function 中 regularization 项一种非常自然的引入方式)
将公式(3)代入公式(2),我们进一步得到
y^=∫dy∫dθ[yp(θ)p(y|x,θ)∏i=1Np(yi|xi,θ)](4)
即,只要我们选取一个 p(y|x,θ) (以及“先验分布”p(θ)), 我们就可以得到“预测值”y^.
四、极值点近似
根据上面的式子,我们有两点结论:仅仅在Bayes 公式的框架下,(即不涉及任何model“训练”过程),我们已经有一套方法完全可以实现“预测”。
基于Bayes公式的“预测”,一般计算量很大。在model参数和观测数据很多的情况下,我们很难处理(因为涉及到对所有参数的全空间积分,同时被积函数又和所有数据点的值有关)
因此为了简化计算,我们引入“极值点近似”:我们认为 p∗(θ)≡p(θ|X,Y) 满足某种“凸性”,我们 p∗(θ) 可以用其极大值位置 θ∗ 来描述 (想象 p∗(θ) 是一个“凸峰”,其极大值的位置在 θ∗), 即:
p∗(θ)≈δ(θ−θ∗)其中 θ∗ 满足极值条件:θ∗=argmaxθp(θ|X,Y)(5)
将近似条件(5),带入用于“预测”的公式(2),我们有:
y^=∫dy[yp(y|x,θ∗)](6)
其中 θ∗,结合公式(3),满足极值条件:
θ∗=argmaxθp(θ|X,Y)=argmaxθ[p(θ)∏i=1Np(yi|xi,θ)]=argmaxθlog[p(θ)∏i=1Np(yi|xi,θ)]=argmaxθ[logp(θ)+∑i=1Nlogp(yi|xi,θ)]
即,
θ∗其中:C(θ)=argminθC(θ):=−1N∑i=1Nlogp(yi|xi,θ)−1Nlogp(θ)≡C0(θ)−1Nlogp(θ)(7)
C(θ) 即是训练model时用到的 cost function。我们可以通过 SGD 等方法来找到极值点 θ∗
通过上面的推导,我们可以发现:机器学习中“训练”模型的整套数学方法可以看做是 Bayes公式在“极值点近似”下2的结果。下面我们将证明: 公式(7)第一项 C0(θ)≡−1N∑i=1Nlogp(yi|xi,θ) 和 第二项 可以分别看作是 “cross entropy”和 regularization 因子。
五、cross entropy 和 regularization
基于已经观测到的数据 (X,Y),我们定义“经验分布”(emprical distribution)为:q(x,y)≡1N∑i=1Nδ(x−xi)δ(y−yi)显然它满足归一性条件:∫dxdyq(x,y)=1
于是公式(7)中的 C0(θ) 可以改写为:
C0(θ)=−∫dxdyq(x,y)logp(y|x,θ)≡cross_entropy(q,pθ)
即 C0(θ) 是“经验分布” q 和 “理论分布”pθ 之间的 cross entropy 。
为了避免over-fitting,我们不希望weight参数过大,因此常在 cost function 中引入一个额外项。这个额外项,被称为 regularization 因子。所谓“不希望weight参数过大”,换句话说,就是我们对weight参数有个“先验”预期,(我们不妨把公式(7)中的θ 看做 weight参数),即 “先验分布”p(θ) 应当优先取范数较小的值,因此我们不妨把 p(θ) 取为以0 为中心的正态分布:p(θ)∝e−Nα|θ|2 (Nα 可以看作一个调节正态分布宽度的参数),带入公式 (7), 我们有:
C(θ)=C0(θ)+α|θ|2+(不重要的常数因子)
其中的 α|θ|2 “正好”还原了 L2 regularization 的结果;同样如果我们取 p(θ)∝e−Nα|θ|,则我们将还原 L1 regularization 的结果。综上,公式(7)的意义正好可以看作是 cross entropy 和 regularization 的和。
六、cross entropy 判据和 均方差判据的关系
在公式(7)中,如果我们取 p(y|x,θ) 满足正态分布形式 p(y|x,θ)∝e−α[y−f(x,θ)]2,则 公式(7) 化为:θ∗=argminθC(θ)=argminθ[1N∑i=1N[y−f(x,θ)]2+(regularization 因子项)]
这个公式的第一项求和,正好是均方差 (Mean Square Error)。即,在 p(y|x,θ) 取上述的正态分布时,“最小化 cross entropy判据 ”还原为 “最小化均方差判据”。
X 可以看做一个“随机序列”,在本文讨论的问题中各{xi} 之间彼此独立。但在更一般的情况下,X 可以是一个有内在数学结构的序列,例如一条 Markov chain ↩
“极值点近似”在理论物理中和 “鞍点近似”、“平均场近似”等概念类似 ↩
相关文章推荐
- 机器学习相关基础概念(基本术语)
- 统计相关的基本数学公式
- 机器学习理论与实战(八)回归 相关公式详解
- 爱尔兰的基本计算公式
- 再发基本电子书和Adobe技术相关的
- 概率五大基本公式
- 与数据结构相关的基本概念
- 数据挖掘相关的基本问题
- 蓝牙基本介绍及相关应用
- Vista UAC研究之一——UAC 相关的基本技术
- 营业税计提及企业所得税的相关计算公式
- 网格的相关基本概念(转载)
- 管网建模之基本公式篇
- 相关基本知识
- 塑胶行业应用点――水口料的基本知识及相关管理
- 一些基本的财务公式
- 思考一个模式识别与机器学习相关的问题
- HTML在线编辑器的基本概念与相关资料第1/2页
- 移动业务相关基本知识
- 浅谈IP相关的几个基本概念