Stanford 机器学习笔记 Week 1

一.监督学习（supervised learning）:

输入中的每个元素都给定了明确的类型，包含：

回归问题：给定训练集，预测输出为一些连续值。

分类问题：给定训练集，预测输出为一些离散值。

二.无监督学习（unsupervised learning）：

输入中的每个元素都没有指定明确类型，使用聚类算法，按照数据的结构将其分为多个聚类。

cocktail party算法: 对一个屋子中的两个音源，在不同的位置放置两个麦克风，通过两个音源在不同位置麦克风中混合结果不一样，将两个音源分开。

三.单变量线性回归：

1.评估函数：

评估拟合函数的优劣性，使用公式：

J(θ0,θ1)=（1/2m）*∑i（i=1~m) (hθ(x(i))−y(i))21

hθ(x)为拟合函数

2.梯度下降：

假设拟合函数为hθ(x)=θ0+θ1x，建立三维坐标系，θ0为x轴，θ1为y轴，J(θ0,θ1)为z轴，建立曲面后，曲面的最低点即为拟合效果最好的函数，为寻找这一点，可以一直沿曲面倒数的相反方向移动θ0，θ1，直到收敛。

repeat until convergence:

θj:=θj−α[Slope of tangent aka derivative]

对评估函数求导，该迭代过程变为：



这些每一次迭代都需要遍历整个训练集的算法称为batch gradient descent

四.线性代数基础

向量指的是N*1的矩阵，又称n维向量

将batch gradient descent中对整个训练集的计算改为一次矩阵乘法

假设训练集中有x=123,234,345,456,预测函数为h(x)=-40+0.25x

那么计算∑i（i=1~m)h(xi)的矩阵乘法为：

｜1 ， 123｜

｜1 ， 234｜　　＊　　　｜－４０｜

｜1 ， 345｜　　　　　　｜０.２５｜　　

｜1 ， 456｜

得到的４维向量就是答案