机器学习2:通过交叉检验（cross validation）来解决方差过大的问题

机器学习总结2（7月12日）

本文章是我在学习了台湾大学教授李宏毅的机器学习课程后，针对其中的要点做的学习笔记。文笔不够优雅，水平不够高深。感兴趣的博友们请移步李宏毅老师的youtube专栏：https://www.youtube.com/channel/UC2ggjtuuWvxrHHHiaDH1dlQ

或者在bilibili上观看网友搬运的视频：http://www.bilibili.com/video/av9770302/

我们通过机器学习得到的最优的模型，与真实的函数总是有一定的差别，即存在偏差（bias）与方差(variance)



假设x的平均值是µ，x的方差是σ2



 

通过做实验，我们可以了解到，简单的model，它的方差较小，偏差较大。
复杂的model，它的方差较大，偏差较小。





我们发现，方差和偏差的关系好像是互相排斥的，必须找到一个最好的中间值来得到最好的结果。
我们可以通过 交叉检验来解决这个方法（Cross Validation）
具体的做法是：将训练集分为两部分，一部分用来测试，一部分用来检验。然后将训练出来的模型在检验集中检验，寻找产生错误指数最小的那个模型



但是为了减少划分测试集合和检验集合时，可能会存在特殊性的可能，我们也可以是使用更复杂的交叉检验：