机器学习基石第十一讲笔记

Lecture 11: Linear Models for Classification
11-1 二分类的线性模型
在上一节比较了线性分类，线性回归和逻辑回归：



那么linear classification求解Ein时是NP难问题，能否由后两者帮忙求解？
算出三种情况的error function，分别为：



可以画出error function的图为：



其中，scaled ce=log2(1+exp(-ys))，为了使得ys=0时都切于一点。
只要有regression，就能做classification：



线性回归优点：最容易；缺点：和0/1相差较多。
逻辑回归优点：比较容易；缺点：上限宽松。
PLA优点：线性可分时效果不错；缺点：线性不可分时要使用pocket。
线性回归可以用来设置其他方法中的w0。
人们相比pocket，更愿意用逻辑回归。

11-2 Stochastic的梯度下降（随机梯度下降SGD)
PLA:每一轮只看一个点；逻辑回归：每一轮要看所有点。
那逻辑回归怎么才能和PLA一样快呢？
答：使用随机梯度下降，这样省去了求整体梯度的过程。
优点：简单代价小；缺点：没法预测每步结果是否准确，所以不太稳定。
逻辑回归的SGD和PLA是大致相同的。
在SGD里决定什么时候停很困难（一般选择迭代次数）。
一般选取yita=0.1（经验数字）

11-3 逻辑回归的多分类问题（Multiclass）





方法：one class at a time一次先分一种，这样就可以做是非题了。



改进：原先方法的soft版，不是二分，而是probability。
这种方法我们叫它为one-versus-all方法(OVA)。
优点：效率高；缺点：当类别太多时容易出现unbalance。

11-4 多分类和二分类

one-versus-one方法(OVO)，四类点可产生六种分类器，六个分类器对于每个点投票得出结论。
优点：有效率，每次的分类器没有用全部点；缺点：分类器多的时候存储空间大，预测时间长。