七月机器学习之回归分析与工程应用5
2017-03-26 22:12
218 查看
线性回归用于解决连续值预测的问题,逻辑回归用于解决分类的问题,但是实际上通常用来分类,因为它输出的是一个概率
这三个概念面试一定会问!!!!
拿到损失函数->对损失函数进行梯度下降->求出最优解,正则化是为了防止过拟合,降低波动
线性回归是假定输入和输出间是有线性相关的
不同的算法的损失函数的定义不同
这种情况说的是入参只有一个的时候,当斜率为负数的时候,值会变大,就会继续往前,当为正数的时候就会减小,往回退
如果入参有多个,对多个入参求偏导(即对每一个入参求倒数)
最快的到达最低点就是与等高线垂直
学习率很小,会导致收敛率很慢。
学习率很大,会导致震荡,有可能找不到最小值,所以学习率一般取较小值
欠拟合是我们的参数太少,拟合的不准
过拟合是我们的参数太多,波动太大,在样本点里拟合的非常完美,但是丧失了一般性,导致在新的测试点上效果不好
正则化就是在在损失函数后面加一个参数的平方项,防止波动太大,图中是L2正则化,L1是把平方改成绝对值
回归一般是对连续值的预测,但是逻辑回归特殊,它是用于分类问题,是一个离散的结果
如果采用线性回归加阈值来实现分类,当达到一定的阈值,就分一个类,但是这样导致了它的鲁棒性不强,它对噪声不敏感
逻辑回归的本质是在找判断边界
边界是线性还是非线性,取决于g()中线性回归的部分,g就是sigmod函数
该函数是凸函数,所以可以使用梯度下降求偏导
逻辑回归如果用于多分类,可以用于分为多个二分类,即某一类作为一类,剩余的作为一类,然后再继续分剩下的
scaling类似与固益化,将数据压缩到某一个空间(好像是-1,1),防止数值太大或太小影响最终结果
采样是针对样本进行采样
降维是针对特征进行降维
这三个概念面试一定会问!!!!
拿到损失函数->对损失函数进行梯度下降->求出最优解,正则化是为了防止过拟合,降低波动
线性回归是假定输入和输出间是有线性相关的
不同的算法的损失函数的定义不同
这种情况说的是入参只有一个的时候,当斜率为负数的时候,值会变大,就会继续往前,当为正数的时候就会减小,往回退
如果入参有多个,对多个入参求偏导(即对每一个入参求倒数)
最快的到达最低点就是与等高线垂直
学习率很小,会导致收敛率很慢。
学习率很大,会导致震荡,有可能找不到最小值,所以学习率一般取较小值
欠拟合是我们的参数太少,拟合的不准
过拟合是我们的参数太多,波动太大,在样本点里拟合的非常完美,但是丧失了一般性,导致在新的测试点上效果不好
正则化就是在在损失函数后面加一个参数的平方项,防止波动太大,图中是L2正则化,L1是把平方改成绝对值
回归一般是对连续值的预测,但是逻辑回归特殊,它是用于分类问题,是一个离散的结果
如果采用线性回归加阈值来实现分类,当达到一定的阈值,就分一个类,但是这样导致了它的鲁棒性不强,它对噪声不敏感
逻辑回归的本质是在找判断边界
边界是线性还是非线性,取决于g()中线性回归的部分,g就是sigmod函数
该函数是凸函数,所以可以使用梯度下降求偏导
逻辑回归如果用于多分类,可以用于分为多个二分类,即某一类作为一类,剩余的作为一类,然后再继续分剩下的
scaling类似与固益化,将数据压缩到某一个空间(好像是-1,1),防止数值太大或太小影响最终结果
采样是针对样本进行采样
降维是针对特征进行降维
相关文章推荐
- 七月机器学习之矩阵分析与应用3
- 七月算法机器学习笔记2--机器学习中的数学之矩阵分析与应用
- 机器学习深入与强化--回归分析与工程应用
- 机器学习系列(3)_逻辑回归应用之Kaggle泰坦尼克之灾
- C语言实现fft理论基础与工程应用的实例分析
- 【读书笔记】iOS应用逆向工程-分析与实践(第一章)
- 【读书笔记】iOS应用逆向工程-分析与实践(第二章)
- R语言与回归分析学习笔记(应用回归小结)(2)
- 机器学习笔记--回归分析(3)
- 拟牛顿法(DFP、BFGS)在回归分析中的应用
- L-BFGS的原理及在回归分析中的应用
- 机器学习笔记--回归分析(1)
- 光传送网保护机制研究及应用性能分析(电子与通信工程)
- 公开课机器学习笔记(1)回归分析
- 公开课机器学习笔记(4)回归分析
- 云计算ERP项目应用价值工程的分析
- R语言与回归分析学习笔记(应用回归小结)(1)
- 小白学数据分析----->回归分析在游戏人气分析的应用探索
- 信赖域法+狗腿法在回归分析中的应用
- 机器学习(非传统统计方法如回归)到底在量化金融里哪些方面有应用?