关于cs231n中作业1的SVM和Softmax线性分类器实现的感悟
2018-03-01 18:03
330 查看
1、对于复杂的含有多Wi参数的函数L求导问题,首先是分别对单个参数求偏导数,然后放置到此参数对应的矩阵的位置。在求偏导数的矩阵表示时,一般要经历如下两个步骤:
数字计算:分解步骤,同时计算L和导数:一般情况下,L的计算分很多步,而且每一步也十分复杂,可能涉及到数值判定等。但是只要你将这些步骤分解成很多个小步骤(使用循环,只要你能表达清楚,电脑不怕计算多),在每一个小步骤里面同时计算这一小步骤中Li的值和L的导数。最后将所有的Li汇总起来组成L,所有的导数汇总起来组成L对这个分参数的分导数。
矩阵计算:对于比较复杂的情况,想直接写出导数dw的表达式有点困难。一般情况下,建议将复杂问题先简单化,对于简单的问题,我们可以先数字计算得到导数矩阵,然后得出这个导数矩阵可以怎么通过矩阵计算得到。最后类比至复杂矩阵就行。
2、跟KNN分类器不同,线性分类器对初始数据进行了均一化的预处理。
3、f = w.dot(x)+b,可将x增加一个全是1的特征,问题即可转化为f=w'.dot(x'),我们就只需要考虑w。
4、大数之间相除会导致数据稳定性问题,技巧为 logC=−maxjfj
5、SGD:随机梯度下降 GD:梯度下降
SGD其实就是每次准备挪动一步时,都随机的从训练数据中抽取部分数据来计算梯度,并以得到的梯度来决定挪动的方向,相比GD每次都要计算所有的训练数据,省时省力,并且最终也可以走到最低点。还有一个好处就是SGD由于每次输入的训练数据都不同弄,因此可以很好的避免鞍点(局部导数为0)。
6、实际应用中,两种计算损失函数的方法的效果都差不多。
数字计算:分解步骤,同时计算L和导数:一般情况下,L的计算分很多步,而且每一步也十分复杂,可能涉及到数值判定等。但是只要你将这些步骤分解成很多个小步骤(使用循环,只要你能表达清楚,电脑不怕计算多),在每一个小步骤里面同时计算这一小步骤中Li的值和L的导数。最后将所有的Li汇总起来组成L,所有的导数汇总起来组成L对这个分参数的分导数。
矩阵计算:对于比较复杂的情况,想直接写出导数dw的表达式有点困难。一般情况下,建议将复杂问题先简单化,对于简单的问题,我们可以先数字计算得到导数矩阵,然后得出这个导数矩阵可以怎么通过矩阵计算得到。最后类比至复杂矩阵就行。
2、跟KNN分类器不同,线性分类器对初始数据进行了均一化的预处理。
3、f = w.dot(x)+b,可将x增加一个全是1的特征,问题即可转化为f=w'.dot(x'),我们就只需要考虑w。
4、大数之间相除会导致数据稳定性问题,技巧为 logC=−maxjfj
5、SGD:随机梯度下降 GD:梯度下降
SGD其实就是每次准备挪动一步时,都随机的从训练数据中抽取部分数据来计算梯度,并以得到的梯度来决定挪动的方向,相比GD每次都要计算所有的训练数据,省时省力,并且最终也可以走到最低点。还有一个好处就是SGD由于每次输入的训练数据都不同弄,因此可以很好的避免鞍点(局部导数为0)。
6、实际应用中,两种计算损失函数的方法的效果都差不多。
相关文章推荐
- cs231n作业一之实现SVM
- cs231n的第一次作业svm
- CS231n作业笔记2.4:Batchnorm的实现与使用
- cs231n作业1--SVM
- 关于软件工程结对编程作业 PairProject : Elevator Scheduler(电梯调度算法的实现与测试)的总结
- CS231n作业笔记2.2:多层神经网络的实现
- cs231n课程作业1——二层神经网络分类器感悟
- cs231n作业一之实现softmax
- CS231n课程学习笔记(二)——SVM的实现
- 关于虚函数的作业中对学校信息管理系统的实现要求和编程要点
- 关于cs231n作业1中KNN算法实现的感悟
- CS231n-Assignment1(作业1)-SVM
- cs231n一次课程实践,python实现softmax线性分类器和二层神经网络
- 一道关于SVM的机器学习作业题
- 『cs231n』作业1选讲_通过代码理解KNN&交叉验证&SVM
- [置顶] 机器学习:SVM作业编程实现(一)
- 关于四则运算作业的初步实现
- CS231n 2016 通关 第三章-SVM 作业分析
- CS231n作业笔记2.5:dropout的实现与应用