从贝叶斯角度深入理解正则化
2017-01-13 15:42
253 查看
一、正则化
一般来说,监督学习可以看做最小化下面的目标函数:
其中,第一项L(yi,f(xi;w))
衡量我们的模型(分类或者回归)对第i个样本的预测值f(xi;w)和真实的标签yi之前的误差。因为我们的模型是要拟合我们的训练样本的嘛,所以我们要求这一项最小,也就是要求我们的模型尽量的拟合我们的训练数据。但正如上面说言,我们不仅要保证训练误差最小,我们更希望我们的模型测试误差小,所以我们需要加上第二项,也就是对参数w的规则化函数Ω(w)去约束我们的模型尽量的简单。其中这个规则化函数就是我们常见的L0,L1,L2范数。
模式识别理论中,常提到的正则化到底是干什么的?渐渐地,听到的多了,看到的多了,再加上平时做东西都会或多或少的接触,有了一些新的理解。
1. 正则化的目的:防止过拟合!
2. 正则化的本质:约束(限制)要优化的参数。
二、贝叶斯理论
贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。 贝叶斯决策就是在不完全情报下,对部分未知的状态用主观概率估计,然后用贝叶斯公式对发生概率进行修正,最后再利用期望值和修正概率做出最优决策。
贝叶斯决策理论方法是统计模型决策中的一个基本方法,其基本思想是:
1. 已知类条件概率密度参数表达式和先验概率
2. 利用贝叶斯公式转换成后验概率
3. 根据后验概率大小进行决策分类
设D1,D2,……,Dn为样本空间S的一个划分,如果以P(Di)表示事件Di发生的概率,且P(Di)>0(i=1,2,…,n)。
对于任一事件x,P(x)>0,如图
三、从贝叶斯角度理解正则化
从我们平时最为熟悉的最小二乘回归、Ridge 回归和LASSO 回归入手。
从概率论的角度:
Least Square 的解析解可以用 Gaussian 分布以及最大似然估计求得
Ridge 回归可以用 Gaussian 分布和最大后验估计解释
LASSO 回归可以用 Laplace 分布和最大后验估计解释
给定观察数据D, 贝叶斯方法通过最大化后验概率估计参数w。
其中
p(D|w)是似然函数(likelihood function): 参数向量w的情况下,观测数据D出现的概率
p(w)是参数向量的先验概率(prior)
对于似然函数部分有:
则,对后验概率取对数有:
当先验概率分布满足正态分布的时候
代入式子展开可以得到
对比下式
可以看到,似然函数部分对应于损失函数(经验风险),而先验概率部分对应于正则项。L2正则,等价于参数w的先验概率分布满足正态分布。
当先验概率分布满足拉普拉斯分布的时候
可以得到
L1正则,等价于参数w的先验概率分布满足拉普拉斯分布。
拉普拉斯分布是怎样的?
对比拉普拉斯分布和高斯分布,可以看到拉普拉斯分布在0值附近突出;而高斯分布在0值附近分布平缓,两边分布稀疏。对应地,L1正则倾向于产生稀疏模型,L2正则对权值高的参数惩罚重。
从贝叶斯角度,正则项等价于引入参数的先验概率分布。常见的L1/L2正则,分别等价于引入先验信息:参数符合拉普拉斯分布/高斯分布。
一般来说,监督学习可以看做最小化下面的目标函数:
其中,第一项L(yi,f(xi;w))
衡量我们的模型(分类或者回归)对第i个样本的预测值f(xi;w)和真实的标签yi之前的误差。因为我们的模型是要拟合我们的训练样本的嘛,所以我们要求这一项最小,也就是要求我们的模型尽量的拟合我们的训练数据。但正如上面说言,我们不仅要保证训练误差最小,我们更希望我们的模型测试误差小,所以我们需要加上第二项,也就是对参数w的规则化函数Ω(w)去约束我们的模型尽量的简单。其中这个规则化函数就是我们常见的L0,L1,L2范数。
模式识别理论中,常提到的正则化到底是干什么的?渐渐地,听到的多了,看到的多了,再加上平时做东西都会或多或少的接触,有了一些新的理解。
1. 正则化的目的:防止过拟合!
2. 正则化的本质:约束(限制)要优化的参数。
二、贝叶斯理论
贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。 贝叶斯决策就是在不完全情报下,对部分未知的状态用主观概率估计,然后用贝叶斯公式对发生概率进行修正,最后再利用期望值和修正概率做出最优决策。
贝叶斯决策理论方法是统计模型决策中的一个基本方法,其基本思想是:
1. 已知类条件概率密度参数表达式和先验概率
2. 利用贝叶斯公式转换成后验概率
3. 根据后验概率大小进行决策分类
设D1,D2,……,Dn为样本空间S的一个划分,如果以P(Di)表示事件Di发生的概率,且P(Di)>0(i=1,2,…,n)。
对于任一事件x,P(x)>0,如图
三、从贝叶斯角度理解正则化
从我们平时最为熟悉的最小二乘回归、Ridge 回归和LASSO 回归入手。
从概率论的角度:
Least Square 的解析解可以用 Gaussian 分布以及最大似然估计求得
Ridge 回归可以用 Gaussian 分布和最大后验估计解释
LASSO 回归可以用 Laplace 分布和最大后验估计解释
给定观察数据D, 贝叶斯方法通过最大化后验概率估计参数w。
其中
p(D|w)是似然函数(likelihood function): 参数向量w的情况下,观测数据D出现的概率
p(w)是参数向量的先验概率(prior)
对于似然函数部分有:
则,对后验概率取对数有:
当先验概率分布满足正态分布的时候
代入式子展开可以得到
对比下式
可以看到,似然函数部分对应于损失函数(经验风险),而先验概率部分对应于正则项。L2正则,等价于参数w的先验概率分布满足正态分布。
当先验概率分布满足拉普拉斯分布的时候
可以得到
L1正则,等价于参数w的先验概率分布满足拉普拉斯分布。
拉普拉斯分布是怎样的?
对比拉普拉斯分布和高斯分布,可以看到拉普拉斯分布在0值附近突出;而高斯分布在0值附近分布平缓,两边分布稀疏。对应地,L1正则倾向于产生稀疏模型,L2正则对权值高的参数惩罚重。
从贝叶斯角度,正则项等价于引入参数的先验概率分布。常见的L1/L2正则,分别等价于引入先验信息:参数符合拉普拉斯分布/高斯分布。
相关文章推荐
- Glide系列第二弹,从源码的角度深入理解Glide的执行流程
- 从贝叶斯推断角度理解机器学习模型(PRML全书概括)
- Android 源码系列之<六>从源码的角度深入理解LayoutInflater.Factory之主题切换(下)
- Android 源码系列之<十一>从源码的角度深入理解AccessibilityService,打造自己的APP小外挂(下)
- 从源码角度深入理解Handler
- http://flyvenus.net/ 深入android http://www.eoeandroid.com/thread-67739-1-1.html 从进程-线程的角度,理解Activity,Service,Broadcast - 4.7更
- 从服务端架构设计角度,深入理解大型APP架构升级
- 深入理解闭包系列第二篇——从执行环境角度看闭包
- 从程序员的角度深入理解MySQL
- 从源码角度深入理解iScroll中的snap选项的含义
- Glide系列之二:从源码的角度深入理解Glide的执行流程
- 从源码角度深入理解Handler
- Android 源码系列之<十二>从源码的角度深入理解LeakCanary的内存泄露检测机制(上)
- 换个角度深入理解GlusterFS
- 从源码角度深入理解Handler
- 从概率论的角度理解 正则化
- Android 源码系列之<十三>从源码的角度深入理解LeakCanary的内存泄露检测机制(中)
- 从源码角度深入理解Handler处理机制
- 数据结构之线性表之顺序表和链表(通过数据结构角度深入理解arrayList和linkedList的特性)
- Android 源码系列之<七>从源码的角度深入理解IntentService及HandlerThread