正规方程求解特征参数的推导过程

多变量线性回归代价函数为：





其中：





正规方程是通过求解下面的方程来找出使得代价函数最小的参数：





设有m个训练实例，每个实例有n个特征，则训练实例集为：



其中

表示第i个实例第j个特征。

特征参数为：



输出变量为：

https://img-blog.csdn.net/20171012215016730?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2hlbmxpbjQxMjA0MDUw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" border="0" >

故代价函数为：



进行求导，等价于如下的形式：



其中第一项：



第二项：



该矩阵求导为分母布局下的标量/向量形式：

故有，



第三项：



该矩阵求导为分母布局下的标量/向量形式：

故有：



第四项：



其中

为标量，可看成一个常数。

该矩阵求导为分母布局下的标量/向量形式：

故有：



综上，正规方程为：



最终可得特征参数的表示：