逻辑斯特回归(随机梯度上升算法)预测马疝病的死亡率问题

预测马疝病死亡率github代码

随机梯度上升(下降)算法推导过程：

使用的一些变量，类别标签向量y，数据集样本矩阵X，回归系数向量W，观察值与真实值偏差向量e，步长(学习率)α，PS:以上向量均为标准列向量。

那么我们的目标就是损失(代价)函数cost function(lost function)最小化，也就是f=eTe最小，进一步地，也就是似然函数最大−12eTe最大，

f(W) = argmaxω ∈ W = −12eTe = −12(y−XW)T(y−XW) = −12(yTy−yTXW−WTXTy+WTXTXW)

则梯度为，∂f(ω)∂ω = −12(2XTXW−2XTy) = XT(y−XW) = XTe

由此得，W = W+αXTe = W+α∇ωf(ω)