Logistic Regression的理解
2016-05-02 10:29
267 查看
一:为什么要引入Logistic Regression?
从linear Regression说起,假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。收集的数据中,每一个分量,就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数,向量表示形式:
求解
(具体求解方式不讲了)可以得到一个线性函数,这个线性函数可以拟合数据集。
当特征和结果不满足线性,数据集仅仅分散在0和1的周围的时候,线性函数可定不能拟合数据集了,这时候我们引用sigmod函数去拟合数据集。
linear Regression模型修改为:
所以:Linear Regression解决的是连续的预测和拟合问题,而Logistic Regression解决的是离散的分类问题。两种方式,但本质殊途同归,两者都可以算是指数函数族的特例。
二Logistic Regression参数的求解
Logistic Regression采用梯度下降法对
进行求解。
为了防止过拟合加入L1正则项。其损失函数变为:
三softmax Logistic Regression
对于多分类的问题,引入了softmax Logistic Regression
softmax Logistic Regression 模型为:
其中的参数sidta不再是列向量,而是一个矩阵,矩阵的每一行可以看做是一个类别所对应分类器的参数,总共有k行。所以矩阵sidta可以写成下面的形式:
此时,系统损失函数的方程为:
其中的1{.}是一个指示性函数,即当大括号中的值为真时,该函数的结果就为1,否则其结果就为0。
Softmax 为了防止过拟合,加入L2范数作为正则项
这个时候的偏导函数表达式如下所示:
从linear Regression说起,假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。收集的数据中,每一个分量,就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数,向量表示形式:
求解
(具体求解方式不讲了)可以得到一个线性函数,这个线性函数可以拟合数据集。
当特征和结果不满足线性,数据集仅仅分散在0和1的周围的时候,线性函数可定不能拟合数据集了,这时候我们引用sigmod函数去拟合数据集。
linear Regression模型修改为:
所以:Linear Regression解决的是连续的预测和拟合问题,而Logistic Regression解决的是离散的分类问题。两种方式,但本质殊途同归,两者都可以算是指数函数族的特例。
二Logistic Regression参数的求解
Logistic Regression采用梯度下降法对
进行求解。
为了防止过拟合加入L1正则项。其损失函数变为:
三softmax Logistic Regression
对于多分类的问题,引入了softmax Logistic Regression
softmax Logistic Regression 模型为:
其中的参数sidta不再是列向量,而是一个矩阵,矩阵的每一行可以看做是一个类别所对应分类器的参数,总共有k行。所以矩阵sidta可以写成下面的形式:
此时,系统损失函数的方程为:
其中的1{.}是一个指示性函数,即当大括号中的值为真时,该函数的结果就为1,否则其结果就为0。
Softmax 为了防止过拟合,加入L2范数作为正则项
这个时候的偏导函数表达式如下所示:
相关文章推荐
- HDU-ACM2016
- 在ListCtrl控件中插入图标
- MySQL事务提交过程(二)
- centos7 安装apache.2.4.20
- 抓包工具 Fiddler 相关知识总结
- 剑指offer-面试题57:删除链表中重复的结点
- Android高效加载大图、多图解决方案,有效避免程序OOM
- 安装Activemq5.13.2异常
- CentOS 7 install alfrasco ECM
- 如何解决Ubuntu与Windows双系统时间不同步
- KVM&Libvirt基本概念及开发杂谈
- Java数据结构 划分算法
- string const char *和char *的转换
- CSS选择器优先级
- Ruby基础教程(四)——运算符、异常、块
- LinearLayout 当作fragment的容器,fragment与button按钮之间的联动
- Unique Paths
- HDU-ACM2014
- spring cloud/mesos:在mesos上运行高可用的eureka服务发现
- Holt-Winters原理和初始值的确定