ML基石_LinearModelsForClassfication

retro

start

linear models for 01 classification
回顾线性模型

误差函数分析

解决步骤

stochastic gradient descent
概述

PLA比较与建议

multiclass via Logistic Regression
图形

OVA

multiclass via Binary Classfication

总结

retro

start

首先，回顾了学习过的几种线性模型，比较了它们的

error measure

等。

linear classfication

linear regression

logistic regression

然后，根据

error measure

的联系，可以将

linear regression

和

logistic regression

也应用到

linear classfication

的问题中，也就是01分类问题中。

接下来，对梯度下降法进行了改进，梯度下降法每一次迭代权值需要遍历所有数据，改进的随机梯度下降法保证了平均的方向是梯度下降的方向，每次更新权值只需要其中某一个数据。

这个也可以和PLA比较，PLA每次更新权值也只需要一个数据。

讨论了线性模型用于二分类问题后，讨论了其能否用于多分类问题。

多分类问题主要有两种担忧：

数据偏斜（OVA中表现明显，可以采用OVO）

数据重叠（单个数据被几个模型都标示或者都不标示，可以采取logistic等的概率模型）

方法主要有两种

OVO

OVA

linear models for 01 classification

回顾线性模型

误差函数分析

根据

linear classification

的Eout上限被

linear regression

和

logistic regression

的上Ein所

bound

住。所以可以利用两种

regression

的误差函数来解决原问题。

解决步骤

实际工程中，对于二分类问题，一般采用：

用

linear regression

找到初始的还不错的w0。

使用

logistic regression

继续优化模型。

stochastic gradient descent

概述

这里就是简单的把连加去掉，但是理论上整体平均的方向仍然是梯度下降的方向。

PLA比较与建议

multiclass via Logistic Regression

图形

OVA

multiclass via Binary Classfication

总结