機器學習基石 (Machine Learning Foundations) 作业1 Q15-17的C++实现

大家好，我是Mac Jiang。今天和大家分享Coursera-台湾大学-機器學習基石 (Machine Learning Foundations) -作业1的Q15-17题的C++实现。

这部分作业的任务主要是写一个PLA分类器，用于解决一个4维数据的分类问题。

我的代码或许能较好的运行PLA算法。但它不一定是最好最快的实现过程，假设各位博友有更好的思路。请留言联系，谢谢！希望我的博客能给您带来一些学习上的帮助!

其它解答请看汇总帖：http://blog.csdn.net/a1015553840/article/details/51085129

PLA是一种十分简单。高速的分类算法，有速度快、实现简单的特点。特别适用于样本是线性可分的情况。对于线性可分的样本。PLA的实现过程为：

{

1.寻找w(t)的下一个错误分类点（x,y）（即sign（w(t)’*x）！=y）；

2.纠正错误：w(t+1) = w(t) + y*x；

}until(每一个样本都无错)

1.第15题



（1）题意：从https://d396qusza40orc.cloudfront.net/ntumlone%2Fhw1%2Fhw1_15_train.dat 下为训练数据，他的x是4维的。并且这个数据集是线性可分的，编写PLA算法进行分类，问迭代多少次后算法结束？

（2）代码实现

#include<fstream>
#include<iostream>
#include<vector>
using namespace std;

#define DEMENSION 5

double weight[DEMENSION];//权重值
int step = 0;//改动次数
int n = 0;//训练样本数
char *file = "training_data.txt";//读取文件名称

//存储训练样本，input为x，output为y
struct record{
double input[DEMENSION];
int output;
};

//把记录存在向量里而不是存在结构体数组内。这样能够依据实际一项项加入
vector<record> trainingSet;

//将数据读入训练样本向量中
void getData(ifstream &datafile)
{
while(!datafile.eof())
{
record curRecord;
curRecord.input[0] = 1;
int i;
for(i = 1; i < DEMENSION; i++){
datafile>>curRecord.input[i];
}
datafile>>curRecord.output;
trainingSet.push_back(curRecord);
}
datafile.close();
n = trainingSet.size();
}

//计算sign值
int sign(double x){
if(x <= 0)return -1;
else return 1;
}

//两向量相加(实际为数组相加)，将结果保存在第一个数组内。用于计算w(i+1)=w(i)+y*x
void add(double *v1,double *v2,int demension){
int i;
for(i = 0;i < demension; i++)v1[i] += v2[i];
}

//计算两数值相乘值，用于推断w*x是否小于0。若小于0要运行修正算法
double multiply(double *v1,double *v2,int demension){
double temp = 0.0;
int i;
for(i = 0; i < demension; i++)temp += v1[i] * v2[i];
return temp;
}

//计算实数num与向量乘积放在result中，用于计算y*x
void multiply(double *result,double *v,int demension,int num){
int i;
for(i = 0; i < demension; i++)result[i] = num * v[i];
}

void PLA()
{
int correctNum = 0;//当前连续正确样本数，当等于n则表明轮完一圈。则表示所有正确。算法结束
int index = 0;//当前正在计算第几个样本
bool isFinished = 0;//算法是否所有完毕的表示，=1表示算法结束
while(!isFinished){
if(trainingSet[index].output == sign(multiply(weight,trainingSet[index].input,DEMENSION)))correctNum++;//当前样本无错，连续正确样本数+1
else{//出错，运行修正算法
double temp[DEMENSION];
multiply(temp,trainingSet[index].input,DEMENSION,trainingSet[index].output);//计算y*x
add(weight,temp,DEMENSION);//计算w(i+1)=w(i)+y*x
step++;//进行一次修正，修正次数+1
correctNum = 0;//因为出错了。连续正确样本数归0
cout<<"step"<<step<<":"<<endl<<"index="<<index<<" is wrong"<<endl;
}
if(index == n-1)index = 0;
else index++;
if(correctNum == n)isFinished = 1;
}
cout<<"total step:"<<step<<endl;
}

void main()
{
ifstream dataFile(file);
if(dataFile.is_open()){
getData(dataFile);
}
else{
cout<<"出错，文件打开失败！

"<<endl;
exit(1);
}

int i;
for(i = 0; i < DEMENSION; i++)weight[i] = 0.0;
PLA();
}

（3）实验结果:



45次

2.第16题



（1）题意：因为样本的排列顺序不同，终于完毕PLA分类的迭代次数也不同。这道题要求我们打乱训练样本的顺序，进行2000次PLA计算。得到平均迭代次数。

在C++中自带打乱顺序的算法：random_shuffle函数，在调用之前，须要#include

（2）实现：

#include<fstream>
#include<iostream>
#include<vector>
#include<algorithm>
using namespace std;

#define DEMENSION 5

double weight[DEMENSION];//权重值
int step = 0;//改动次数
int totalStep = 0;
int n = 0;//训练样本数
char *file = "training_data.txt";//读取文件名称

//存储训练样本，input为x，output为y
struct record{
double input[DEMENSION];
int output;
};

//把记录存在向量里而不是存在结构体数组内，这样能够依据实际一项项加入
vector<record> trainingSet;

//将数据读入训练样本向量中
void getData(ifstream &datafile)
{
while(!datafile.eof())
{
record curRecord;
curRecord.input[0] = 1;
int i;
for(i = 1; i < DEMENSION; i++){
datafile>>curRecord.input[i];
}
datafile>>curRecord.output;
trainingSet.push_back(curRecord);
}
datafile.close();
n = trainingSet.size();
}

//计算sign值
int sign(double x){
if(x <= 0)return -1;
else return 1;
}

//两向量相加(实际为数组相加)，将结果保存在第一个数组内，用于计算w(i+1)=w(i)+y*x
void add(double *v1,double *v2,int demension){
int i;
for(i = 0;i < demension; i++)v1[i] += v2[i];
}

//计算两数值相乘值，用于推断w*x是否小于0。若小于0要运行修正算法
double multiply(double *v1,double *v2,int demension){
double temp = 0.0;
int i;
for(i = 0; i < demension; i++)temp += v1[i] * v2[i];
return temp;
}

//计算实数num与向量乘积放在result中，用于计算y*x
void multiply(double *result,double *v,int demension,double num){
int i;
for(i = 0; i < demension; i++)result[i] =  num * v[i];
}

void PLA()
{
int correctNum = 0;//当前连续正确样本数，当等于n则表明轮完一圈。则表示所有正确。算法结束
int index = 0;//当前正在计算第几个样本
bool isFinished = 0;//算法是否所有完毕的表示，=1表示算法结束
while(!isFinished){
if(trainingSet[index].output == sign(multiply(weight,trainingSet[index].input,DEMENSION)))correctNum++;//当前样本无错，连续正确样本数+1
else{//出错，运行修正算法
double temp[DEMENSION];
multiply(temp,trainingSet[index].input,DEMENSION,trainingSet[index].output);//计算y*x
add(weight,temp,DEMENSION);//计算w(i+1)=w(i)+y*x
step++;//进行一次修正，修正次数+1
correctNum = 0;//因为出错了。连续正确样本数归0
//cout<<"step"<<step<<":"<<endl<<"index="<<index<<" is wrong"<<endl;
}
if(index == n-1)index = 0;
else index++;
if(correctNum == n)isFinished = 1;
}
}

void main()
{
ifstream dataFile(file);
if(dataFile.is_open()){
getData(dataFile);
}
else{
cout<<"出错。文件打开失败！"<<endl;
exit(1);
}
int i;
for(i = 0; i < 2000; i++)
{
random_shuffle(trainingSet.begin(), trainingSet.end());
int j;
for(j = 0; j < DEMENSION; j++)weight[j] = 0.0;
PLA();
totalStep += step;
cout<<"第"<<i<<"次迭代的step:"<<step<<endl;
step = 0;
}
cout<<"average step:"<<totalStep/2000<<endl;
}

（3）实验结果：



平均40次

3.第17题



这道题实现更加简单，仅仅要在num之前*0.5就能够了

void multiply(double *result,double *v,int demension,double num){
int i;
for(i = 0; i < demension; i++)result[i] =  num * v[i];
}

大约为40次

from：http://blog.csdn.net/a1015553840/article/details/50979434

其它解答请看汇总帖：http://blog.csdn.net/a1015553840/article/details/51085129