第三周（Logistic回归 + Regularization）-【机器学习-Coursera Machine Learning-吴恩达】

目录：
    逻辑回归模型
    多类别分类
    正则化

1 逻辑回归模型

1）逻辑回归的假设函数：





利用Logistic函数，使输出范围控制在【0，1】之间
2）决策边界
由logistic函数的图像可以看出 当y=1时：



也就是说：



这样，就会形成一个判断输出为0还是1的边界（X为变量，与参数theta有关），称为决策边界。
3）代价函数



简化：





（在使用梯度下降时，用这个函数确认每一次迭代J(theta)都是减少的）
向量化：



4）梯度下降
通用式：



求导后：



向量化：



5）高级优化算法
例如："Conjugate gradient"、 "BFGS"、 "L-BFGS" 
原理很难，但可以利用一些已经实现的库函数
自己写相应代价函数：



调用库函数

2 多类别分类

一对多方法：



（对于每一个类别，都计算一个上述logistic假设函数 h ，表示属于此类别的概率
然后将测试值代入每一个函数，拥有最大值的即为所属类）

3 正则化——克服过度拟合

    过拟合就是模型过度的拟合了训练样本，形成的分界线一味迎合训练样本，使测试样本准确率降低。
    过度拟合解决办法：减少特征量 和 正则化
    假设函数过度拟合后，我们可以通过修改成本函数进行相应参数权重的弱化
代价函数正则化：



1）正则化线性回归
梯度下降法 求参数时：





正规方程法 求参数theta时：



2）正则化逻辑回归





——————————————————————————————————————————
Logistic Regression测试解答 http://blog.csdn.net/huazhenrea/article/details/52567041