机器学习基础（九）—— iterative optimization

统计学习的核心步骤：模型、策略、算法。

优化（optimization）是算法的一种，迭代优化（iterative optimization）又是优化的一种。

iterative optimization 的一般框架：

wt+1←wt+ηv

根据梯度的相关理论可知，v（方向）得选择为负梯度方向，w 才会下降得最快，也即（此时关于 Ein 求导）：

wt+1←wt−η∇Ein(wt)

采用迭代优化，并与最速下降法结合的算法流程为：

（1）w0，并计算此时的梯度 Ein(w0)

（2）进行权值的更新，wt+1←wt−η∇Ein(wt)

（3）一直不断地更新，直到 ∇Ein(wt)=0，或者达到足够的迭代次数

采用 iterative optimization 优化的模型主要有：

perceptron 感知机算法

wt+1←wt+1η⋅1sgn(wTtxn)≠ynynxnv

感知机算法的 v（方向）来自于：误分样本的修正（mistake correction）；

Logistic Regression 逻辑斯回归

wt+1←wt−η∇Ein(wt)