批量梯度下降算法和随机梯度下降算法的代码实现

批量梯度下降算法和随机梯度下降算法的代码实现

随机梯度下降和批量梯度下降都是梯度下降方法的一种，都是通过求偏导的方式求参数的最优解。批量梯度下降算法：，。是通过对每一个样本求偏导，然后挨个更新。（对于大样本的实验，这种方法效率太低），而随机梯度下降算法则是从其中的所有样本中取出部分样本求偏导，对参数进行更新。

#include "stdio.h"
#include<iostream>
using namespace std;

void main()
{
float matrix[4][2] = { { 1, 4 }, { 2, 5 }, { 5, 1 }, { 4, 2 } };
float result[4] = { 19, 26, 19, 20 };
float theta[2] = { 2, 5 };
float learning_rate = 0.001;
float loss = 100.0;
for (int i = 1; i<500 && loss>0.001; i++)
{
float error_sum[2] = { 0.0, 0.0 };
for (int j = 0; j < 4; ++j)
{
float h = 0.0;
for (int k = 0; k < 2; ++k)
{
h += matrix[j][k] * theta[k];
}
for (int k = 0; k < 2; ++k)
{
error_sum[k] += (result[j] - h)*matrix[j][k];
}
}
for (int k = 0; k < 2; ++k)
{
theta[k] += error_sum[k] * learning_rate;
}
cout << "theta[2]=  " << theta[0] << "," << theta[1] << endl;
float loss = 0.0;
for (int j = 0; j < 4; ++j)
{
float h = 0.0;
for (int k = 0; k < 2; ++k)
{
h += matrix[j][k] * theta[k];
}
loss += (result[j] - h)*(result[j] - h);
}
cout << "error of this algorithms is" << loss << endl;
}
system("pause");
}