logistic分类
2016-06-18 11:16
162 查看
对Logistic回归模型,个人做的一些总结:
公式就不套用了,教材上面基本都有而且详细。logistic回归用图形化形式描述如下:
logistic回归是一种简单高效的分类模型,它不仅可以通过学习来预测样本的类别,还可以得到样本属于各个类别的概率信息。因此在机器学习中得到了及其广泛的应用。
同时,它还有比较与其他模型的一些优点:
(1)logistic回归模型是线性模型,线性模型的优势是稳定性强,求解简单。但通常情况下,线性回归拟合得到的输出范围是不确定的,可以从负无穷至正无穷的区间范围内,输出的“不确定性”给分类问题提出了很大的挑战。logistic回归模型汲取了一般线性模型的优点,同时由于增加了Sigmoid函数,因此将输出范围限定在了0-1区间,而最终的输出可以看作是输入的条件概率分布。因此具有很好的实用性和可解释性。
(2)模型求导方便,使用简单的求导法则即可完成模型的求导,因此很多教材/教程都将该模型作为了入门学习的模型,受众广大/使用简单。相比于神经网络/SVM等模型,对于应用者来说是拿来就可以用的起的模型。
(3)模型是基于统计学的,在二分类情况下,假设样本服从伯努利分布后最大化极大似然函数进行推导的结果,这一部分可以参考斯坦福大学的资料,因此是具备足够理论支撑的模型。
(4)同样是计算过程简单,对于现在互联网行业中轻则百万千万的样本量的输入来说,使用起来是低成本的,同时迭代起来也快。
(5)对于小样本量来说,logistic模型训练参数的个数与输入维数是基本一致的,在前期进过降维和特征选择之后,输入的特征并不会太多,因此需要训练的参数个数相比其他模型来说相对较少,过拟合的程度相对还好。
(6)处理多分类问题,可以使用one to all的方法训练多个分类器,在神经网络处理多分类问题时,最终输出结果通常会使用softmax函数,可以看作是logistic模型的广义推广。
欢迎同行指正和补充。
公式就不套用了,教材上面基本都有而且详细。logistic回归用图形化形式描述如下:
logistic回归是一种简单高效的分类模型,它不仅可以通过学习来预测样本的类别,还可以得到样本属于各个类别的概率信息。因此在机器学习中得到了及其广泛的应用。
同时,它还有比较与其他模型的一些优点:
(1)logistic回归模型是线性模型,线性模型的优势是稳定性强,求解简单。但通常情况下,线性回归拟合得到的输出范围是不确定的,可以从负无穷至正无穷的区间范围内,输出的“不确定性”给分类问题提出了很大的挑战。logistic回归模型汲取了一般线性模型的优点,同时由于增加了Sigmoid函数,因此将输出范围限定在了0-1区间,而最终的输出可以看作是输入的条件概率分布。因此具有很好的实用性和可解释性。
(2)模型求导方便,使用简单的求导法则即可完成模型的求导,因此很多教材/教程都将该模型作为了入门学习的模型,受众广大/使用简单。相比于神经网络/SVM等模型,对于应用者来说是拿来就可以用的起的模型。
(3)模型是基于统计学的,在二分类情况下,假设样本服从伯努利分布后最大化极大似然函数进行推导的结果,这一部分可以参考斯坦福大学的资料,因此是具备足够理论支撑的模型。
(4)同样是计算过程简单,对于现在互联网行业中轻则百万千万的样本量的输入来说,使用起来是低成本的,同时迭代起来也快。
(5)对于小样本量来说,logistic模型训练参数的个数与输入维数是基本一致的,在前期进过降维和特征选择之后,输入的特征并不会太多,因此需要训练的参数个数相比其他模型来说相对较少,过拟合的程度相对还好。
(6)处理多分类问题,可以使用one to all的方法训练多个分类器,在神经网络处理多分类问题时,最终输出结果通常会使用softmax函数,可以看作是logistic模型的广义推广。
欢迎同行指正和补充。
相关文章推荐
- logistic分类
- 指针变量概念
- LeetCode 132 Palindrome Partitioning II--In C++
- Redis学习手册
- AOP和IOC的作用
- ArcMap打开越来越慢
- SQL简单查询
- 【drp 9】Servlet生命周期
- hdu 4504
- 利用shell脚本生成qt 项目的项目文件列表
- PHP魔术方法使用总结
- opencv 鼠标响应
- 【drp 9】Servlet生命周期
- Java垃圾回收基础
- Codeforces Round #357 (Div. 2)
- Java 集合框架
- 阿里云 RDS 怎么保证高可用性
- fstream的使用方法介绍
- LeetCode题解-203-Remove Linked List Elements
- 使用Xamarin插件和VS2010开发android应用程序(一)