简单易学的机器学习算法——极限学习机(ELM)
2014-04-24 11:56
253 查看
一、极限学习机的概念
极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解单隐层神经网络的算法。ELM最大的特点是对于传统的神经网络,尤其是单隐层前馈神经网络(SLFNs),在保证学习精度的前提下比传统的学习算法速度更快。
二、极限学习机的原理
ELM是一种新型的快速学习算法,对于单隐层神经网络,ELM 可以随机初始化输入权重和偏置并得到相应的输出权重。(选自黄广斌老师的PPT)
对于一个单隐层神经网络(见Figure 1),假设有
个任意的样本
,其中
,
。对于一个有
个隐层节点的单隐层神经网络可以表示为
其中,
为激活函数,
为输入权重,
为输出权重,
是第
个隐层单元的偏置。
表示
和
的内积。
单隐层神经网络学习的目标是使得输出的误差最小,可以表示为
即存在
,
和
,使得
可以矩阵表示为
其中,
是隐层节点的输出,
为输出权重,
为期望输出。
,
为了能够训练单隐层神经网络,我们希望得到
,
和
,使得
其中,
,这等价于最小化损失函数
传统的一些基于梯度下降法的算法,可以用来求解这样的问题,但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中, 一旦输入权重
和隐层的偏置
被随机确定,隐层的输出矩阵
就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统
。并且输出权重
可以被确定
其中,
是矩阵
的Moore-Penrose广义逆。且可证明求得的解
的范数是最小的并且唯一。
三、实验
我们使用《简单易学的机器学习算法——Logistic回归》中的实验数据。原始数据集
我们采用统计错误率的方式来评价实验的效果,其中错误率公式为:
对于这样一个简单的问题,
。
MATLAB代码
主程序
%% 主函数,二分类问题 %导入数据集 A = load('testSet.txt'); data = A(:,1:2);%特征 label = A(:,3);%标签 [N,n] = size(data); L = 100;%隐层节点个数 m = 2;%要分的类别数 %--初始化权重和偏置矩阵 W = rand(n,L)*2-1; b_1 = rand(1,L); ind = ones(N,1); b = b_1(ind,:);%扩充成N*L的矩阵 tempH = data*W+b; H = g(tempH);%得到H %对输出做处理 temp_T=zeros(N,m); for i = 1:N if label(i,:) == 0 temp_T(i,1) = 1; else temp_T(i,2) = 1; end end T = temp_T*2-1; outputWeight = pinv(H)*T; %--画出图形 x_1 = data(:,1); x_2 = data(:,2); hold on for i = 1 : N if label(i,:) == 0 plot(x_1(i,:),x_2(i,:),'.g'); else plot(x_1(i,:),x_2(i,:),'.r'); end end output = H * outputWeight; %---计算错误率 tempCorrect=0; for i = 1:N [maxNum,index] = max(output(i,:)); index = index-1; if index == label(i,:); tempCorrect = tempCorrect+1; end end errorRate = 1-tempCorrect./N;
激活函数
function [ H ] = g( X ) H = 1 ./ (1 + exp(-X)); end
黄老师提供的极限学习机的代码:点击打开链接
相关文章推荐
- 简单易学的机器学习算法——极限学习机(ELM)
- 简单易学的机器学习算法——极限学习机(ELM)
- 简单易学的机器学习算法——极限学习机(ELM)
- 简单易学的机器学习算法——极限学习机(ELM)
- 简单易学的机器学习算法——极限学习机(ELM)
- 简单易学的机器学习算法——极限学习机(ELM)
- 简单易学的机器学习算法——在线顺序极限学习机OS-ELM
- 简单易学的机器学习算法——集成方法(Ensemble Method)
- 简单易学的机器学习算法——Mean Shift聚类算法
- 简单易学的机器学习算法——lasso
- 简单易学的机器学习算法——Rosenblatt感知机
- 简单易学的机器学习算法——SVD奇异值分解
- 简单易学的机器学习算法——非线性支持向量机
- 简单易学的机器学习算法——lasso
- 简单易学的机器学习算法——受限玻尔兹曼机RBM
- 简单易学的机器学习算法——岭回归(Ridge Regression)
- 简单易学的机器学习算法——马尔可夫链蒙特卡罗方法MCMC
- 简单易学的机器学习算法——CART之回归树
- 简单易学的机器学习算法——神经网络之BP神经网络
- 简单易学的机器学习算法——基于密度的聚类算法DBSCAN