《机器学习》（Machine Learning）——Andrew Ng 斯坦福大学公开课学习笔记(二)

第3集 欠拟合和过拟合的概念

一、线性回归的解释


，最后一项表示误差项（独立同分布），对前面未被建模的因素进行考虑，一般误差项的加和，根据中心极限定理，符合高斯分布



推出：


注意：分号表示（频率学派的观点，逗号则是贝叶斯学派的观点），以theta为参数的概率，theta不是随机变量，而是有真正数值但未知。然后最大似然求解

二、Locally weighted linear regression局部加权线性回归（非参数学习算法）

在预测值时，选取待预测x周围邻近训练集中的数据【x^(i)s,y^(i)s】进行拟合，然后预测



非负权重：

，tow是带宽参数

不适合大数据集，速度慢一些，因为每次要遍历所有数据。可以参考Andrew Moore的研究对其的改进

三、逻辑回归 logistic regression

线性回归不适合分类问题，当增加一个样本时，拟合出的参数差别很大，不适合分类

逻辑函数或sigmoid函数：







正无穷对应趋于1，负无穷对应趋于0

感知器学习算法：



第4集 牛顿方法













迭代收敛的很快，二次方的速度，代价时每次重新计算Hessian矩阵（适合小数据集，速度快，大数据集在计算矩阵时花费代价大）

指数家族



贝努力分布——逻辑回归

高斯分布——最小二乘

GLM （Generalized Linear Models）广义线性模型

选择怎样的分布进行假设？

Bernouli：0,1问题建模

高斯： K个结果建模

泊松分布： 计数建模 例如：网站访问人数

伽马和指数分布：间隔问题建模，例如等公交车时间

beta,Dirichlet：小数建模

要做的是假设服从什么样的分布，后面的都一样