机器学习第一步-regression

machine learning 随着数据时代的到来，machine learning 逐渐成为解决数据处理的主要方式，而regression则是通向这个领域的门槛，ＭＬ本身是一门统计学，我们在数据中寻找规则，然后用这个规则去预测一些新的数据从而得到较为前瞻性的结论。

华科的计算机学科本科阶段我们很难有机会学到ＭＬ深邃的知识，有也只是在浅显的讲一些数据挖掘导论性质内容。唯一可以说我们学过的机器学习模型也只只有Regression了。

大学阶段有们课《计算方法》它教授了我们各种用计算机拟合各种数学运算的算法，其中有一个算法是我们了解回归的初音--最小二乘法

见 http://en.wikipedia.org/wiki/Least_squares

我刚刚开始看斯坦福ML选修课的时候，Andrew Ng 老师讲梯度下降法，觉得很新的一个算法，算法的核心思想就是寻找一个函数曲线的最快的下降拐点，求cost function曲线关于theta(特征量)的偏微分。

其中cost function：



最后可知theta的拟合公式：



其实alpha为learning rate

我们可以在若干的次数之内完成theta的迭代，最终产生收敛的theta

我庆幸自己学习了一个新的算法的时候，翻开课本才发现其实最小二乘法就是这么推导而来的。

有些沮丧，但知其然知其所以然也让我感到激动。

很显然这套算法并不是很有效率尤其是在多特征的情况下表现不是很理想，我们是否找到方法有效的解决

Normal Equation 就是解决多特征问题的有效方式：

经过数学的推导：

最终得到：



这段推导我觉得最有意思但是，我一是有点忘记了，二是记住了也写不上来。

下次跟大家分享的时候我希望自己能在白板上为大家演绎找段推导

得到了有效的线性计算降低了我们的代码复杂度，不一定降低了时间复杂度。（这个还需要不同的计算框架支持我的说法）



这张图很大，信息量其实也很大。今天就先写在着吧。逻辑回归和归一化一些内容明天补上，下午转正面试，知道自己会被虐，但只求前辈能看到我的潜力和努力，加油Ｒｙａｎ