[机器学习] 第一课01笔记
2017-03-13 11:27
197 查看
老师给出了房价与房子面积、卧室数量的一组实际样本。
目的是让监督学习算法预测给定的一组数据(size,#benrooms),预测输出y为房子对应房价。
线性回归
给定一个预测函数
参数θ 既我们现在需要算法最终确定的值(目前理解)
那么我们如何选择参数的值?为了让h(x)逼近给定的样本y,定义一个cost function(成本函数):
老师的课上并未说明是如何得到此j,经查资料终于理解,记录如下:
我们假设
,误差满足正态分布
所以要使误差最小,再线性回归中取均方差最小 既
故,我们为了取得一个θ 使得j(θ)的值最小,可以使用梯度下降的方法(gradient
descent)。
对于单个样本:
推广到m个样本的情况:
还有一种方法叫做 随机梯度下降(stochastic gradient descent)
在极大训练数据条件下,收敛效率高于所有样本采样的梯度下降(叫啥来着:批量梯度下降)
2、矩阵的迹 和 矩阵导数
对于f(a)来说,他将 一个mxn的矩阵映射到一个实数R上,则 导数f(A)为一个mxn的矩阵,被定义为所有矩阵元素对于f的偏导数
例如:对于一个f(a) 将 2x2的矩阵映射到实数上
则 导数f(a)等于:
矩阵的迹是所有对角线上元素的累加和:
先引入矩阵求导和矩阵的迹 是为了简化后面loss函数求最小值的过程,但先不知道用法。
这里可以把矩阵的迹运算理解为f(x) 既将mxn的矩阵映射到实数的函数,所以可以对其求导
我们给出 输入X,输出Y的矩阵表示模式:
根据
得出
所以 使得j最小,倒数为0
即可直接由输入得出参数
目的是让监督学习算法预测给定的一组数据(size,#benrooms),预测输出y为房子对应房价。
线性回归
给定一个预测函数
参数θ 既我们现在需要算法最终确定的值(目前理解)
那么我们如何选择参数的值?为了让h(x)逼近给定的样本y,定义一个cost function(成本函数):
老师的课上并未说明是如何得到此j,经查资料终于理解,记录如下:
我们假设
,误差满足正态分布
所以要使误差最小,再线性回归中取均方差最小 既
故,我们为了取得一个θ 使得j(θ)的值最小,可以使用梯度下降的方法(gradient
descent)。
对于单个样本:
推广到m个样本的情况:
还有一种方法叫做 随机梯度下降(stochastic gradient descent)
在极大训练数据条件下,收敛效率高于所有样本采样的梯度下降(叫啥来着:批量梯度下降)
2、矩阵的迹 和 矩阵导数
对于f(a)来说,他将 一个mxn的矩阵映射到一个实数R上,则 导数f(A)为一个mxn的矩阵,被定义为所有矩阵元素对于f的偏导数
例如:对于一个f(a) 将 2x2的矩阵映射到实数上
则 导数f(a)等于:
矩阵的迹是所有对角线上元素的累加和:
先引入矩阵求导和矩阵的迹 是为了简化后面loss函数求最小值的过程,但先不知道用法。
这里可以把矩阵的迹运算理解为f(x) 既将mxn的矩阵映射到实数的函数,所以可以对其求导
我们给出 输入X,输出Y的矩阵表示模式:
根据
得出
所以 使得j最小,倒数为0
即可直接由输入得出参数
相关文章推荐
- [机器学习]机器学习实践笔记01
- Coursera公开课笔记: 斯坦福大学机器学习第一课“引言(Introduction)”
- Coursera台大机器学习技法课程笔记01-linear hard SVM
- [笔记]机器学习--01线性回归
- 机器学习基石--学习笔记01--linear hard SVM
- Coursera公开课笔记: 斯坦福大学机器学习第一课“引言(Introduction)”
- 【李宏毅老师机器学习课程笔记】第一课:What is Machine Learning, Deep Learning and Structured Learning?
- 机器学习笔记01:线性回归(Linear Regression)和梯度下降(Gradient Decent)
- Coursera公开课笔记: 斯坦福大学机器学习第一课“引言(Introduction)”
- 【01】 机器学习(Standford)笔记01
- [置顶] 【ML--01】第一课 机器学习概述
- 《机器学习中的数学》第一课笔记1.1
- 机器学习实战笔记(Python)-01-K近邻算法(KNN)
- 斯坦福机器学习笔记01 - 线性回归和梯度下降
- 机器学习笔记01-介绍(introduction)
- 【吴恩达机器学习学习笔记01】监督学习和无监督学习介绍
- 机器学习实战笔记(Python实现)-01-机器学习实战
- Andrew Ng 机器学习笔记 01 :机器学习的两种形式
- 【机器学习实战笔记】第2章 k-近邻算法【01】
- Andrew Ng 机器学习 第一课 监督学习应用.梯度下降 笔记