过拟合及正则化
2016-07-19 23:07
218 查看
详情参考斯坦福公开课第三周第7节。
看下图:
欠拟合 合适 过拟合
相信看了上面的例子就知道欠拟合与过拟合了。欠拟合不能很好的反应训练集;而过拟合过于强调拟合原始
数据,而丢失了算法的本质:预测新数据。从模型函数角度来说,欠拟合时缺少高次自变量或高次自变量参数过小;
而过拟合则相反,自变量次数太高或参数过大。
相应的解决办法:1.丢弃一些对正确预测没帮助的特征。 可以手工选择保留哪些特征。
2.正则化,减小参数的大小
例如,原模型:
如果要减小x3,x4带来的过拟合,可以通过在代价函数中增加对他们的惩罚的方法达到:
有时不知道哪些特征要惩罚时,可以对所有特征进行惩罚:
其中又被称为正则化参数。
看下图:
欠拟合 合适 过拟合
相信看了上面的例子就知道欠拟合与过拟合了。欠拟合不能很好的反应训练集;而过拟合过于强调拟合原始
数据,而丢失了算法的本质:预测新数据。从模型函数角度来说,欠拟合时缺少高次自变量或高次自变量参数过小;
而过拟合则相反,自变量次数太高或参数过大。
相应的解决办法:1.丢弃一些对正确预测没帮助的特征。 可以手工选择保留哪些特征。
2.正则化,减小参数的大小
例如,原模型:
如果要减小x3,x4带来的过拟合,可以通过在代价函数中增加对他们的惩罚的方法达到:
有时不知道哪些特征要惩罚时,可以对所有特征进行惩罚:
其中又被称为正则化参数。
相关文章推荐
- 用Python从零实现贝叶斯分类器的机器学习的教程
- My Machine Learning
- 机器学习---学习首页 3ff0
- Spark机器学习(一) -- Machine Learning Library (MLlib)
- 反向传播(Backpropagation)算法的数学原理
- 关于SVM的那点破事
- 也谈 机器学习到底有没有用 ?
- #ML-SDN
- TensorFlow人工智能引擎入门教程之九 RNN/LSTM循环神经网络长短期记忆网络使用
- TensorFlow人工智能引擎入门教程之十 最强网络 RSNN深度残差网络 平均准确率96-99%
- TensorFlow人工智能引擎入门教程所有目录
- Tensorflow 杂记
- 如何用70行代码实现深度神经网络算法
- 量子计算机编程原理简介 和 机器学习
- 近200篇机器学习&深度学习资料分享(含各种文档,视频,源码等)
- 已经证实提高机器学习模型准确率的八大方法
- 初识机器学习算法有哪些?
- 机器学习相关的库和工具
- 10个关于人工智能和机器学习的有趣开源项目
- 机器学习实践中应避免的7种常见错误