3、机器学习-Logistic Regression and Regularization
2014-01-11 14:58
417 查看
机器学习-Logistic Regression and Regularization
本文以Rachel-Zhang“美女”的网上博文Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization为主要阅读材料,外加Andrew Ng.老师的lecture6和lecture7补充材料以解决阅读时不理解的问题。在前面,我首先提出几个问题以理清自己的思路:
-为什么机器学习能够通过对训练数据的学习提高计算机程序的性能?
-机器学习是怎样提高计算机程序的性能的?(从数据中学习模型,该模型能够很好的拟合“未来的数据”)
-训练数据在机器学习过程中充当的作用是啥?(为已知量,用来求模型参数)
-假设模型h在机器学习中扮演怎样的角色?(拟合或者分割训练数据,拟合或者分割测试数据)
-如何选择代价函数,它的选择需要考虑的因素?(实际问题、模型、目标值、学习算法)
-学习算法怎样选择,它跟那些因素有关?(时间复杂度、空间复杂空、计算的速度)
-为什么逻辑回归的代价函数是分段函数?此分段函数跟学习算法关系?(带有不同标签的训练数据将选择不同的代价函数)
上面的问题涉及到机器学习的本质问题。关于这个问题的解决可以查看资料Stanford机器学习---第一讲. Linear Regression with one variable和Andrew
Ng.的lecture1。
到现在为止,我已经学习Rachel-Zhang的前三次讲座Stanford机器学习---第一讲. Linear Regression with one variable、Stanford机器学习---第二讲.
多变量线性回归 Linear Regression with multiple variable、Stanford机器学习---第三讲.
逻辑回归和过拟合问题的解决 logistic Regression & Regularization。现在总结一下:
假设模型h主要根据这几个因素进行分类:
-变量的个数(输入空间)
一个变量(实数)
多个变量(多维空间)
-因变量跟自变量的关系(映射|线性变换)
线性关系
非线性关系
-因变量的取值范围(输出空间)
实数(回归)
0<=y<=1
0和1(Logistic 回归,二值分类)
本文由多维线性回归模型引出的逻辑的回归。逻辑回归是多线性回归的函数经过值一个阀值进行分类得出的。从数字角度看,逻辑回归是一个复合函数,它是经过两个映射得出的。首先从多特征空间映射到一维的输出空间(一维实数空间),再由一维实数空间在选择某个阀值的情况下映射到“二值空间”。
选择阀值:0.5
代价函数引进的目的为是求解假设模型的参数,最终求解出模型。代价函数主要跟假设的模型、目标值有关。其中的假设模型的具体形式则跟实际上的问题、训练的数据、训练方法的选择有关。
实际问题:二值分类
训练数据:带有m个有标签的n个特征的样本集
代价函数选择分析:
选择代价函数第一种情况的y=1分析:
选择代价函数的第二种情况y=0分析:
机器学习之所以能够提高计算机程序的性能,是因为在给定训练数据的情况下,假设模型可以通过学习算法不断逼近目标值,最好可以更好拟合未来的数据,或者将未来的数据划分成几个“数据块”-分类。
直线决策边界(分类):
圆形决策边界(分类):
逻辑回归模型的代价函数为什么是分段函数-带有不同标签的训练数据选择不同的代价函数进行学习。
引入“正规化”的目的是解决模型过拟合的现象。过拟合就是模型可完全拟合训练数据或者100%正确分类训练数据。而对测试数据的拟合或者分类相当差。
在线代中,正规化跟矩阵是否可逆有联系,线性相关,线性无关;在高等数学中,正规化跟变量的个数有关,多维空间。
解决过拟合的方法:
1)减少特征的个数
2)正规化
相关文章推荐
- Coursera-吴恩达-机器学习-(第3周笔记)Logistic Regression and Regularization
- Stanford机器学习-- 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- 机器学习2——分类和逻辑回归Classification and logistic regression(牛顿法待研究)
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- [机器学习笔记]二:Classification and logistic regression(分类和逻辑回归)
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- Machine Learning 03 - Logistic Regression and Regularization
- [机器学习实验3]Logistic Regression and Newton Method
- [ML of Andrew Ng]Week 3 Logistic Regression and Regularization
- (3)Logistic Regression and Regularization
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- 机器学习笔记(十)——Logistic Function AND Softmax Function
- 机器学习基石-10-3-Gradient of Logistic Regression Error
- Stanford机器学习网络课程---第三讲(续)Matlab实现线性回归和逻辑回归: Linear Regression & Logistic Regression
- Softmax Regression and Logistic Regression