机器学习算法(降维)—SVD奇异值分解
2016-12-14 21:38
239 查看
一、SVD奇异值分解的定义
假设是一个
的矩阵,如果存在一个分解:
其中
为
的酉矩阵,
为
的半正定对角矩阵,
为
的共轭转置矩阵,且为
的酉矩阵。这样的分解称为
的奇异值分解,
对角线上的元素称为奇异值,
称为左奇异矩阵,
称为右奇异矩阵。
二、SVD奇异值分解与特征值分解的关系
特征值分解与SVD奇异值分解的目的都是提取一个矩阵最重要的特征。然而,特征值分解只适用于方阵,而SVD奇异值分解适用于任意的矩阵,不一定是方阵。这里,
和
是方阵,
和
为单位矩阵,
为
的特征向量,
为
的特征向量。
和
的特征值为
的奇异值的平方。
三、SVD奇异值分解的作用和意义
奇异值分解最大的作用就是数据的降维,当然,还有其他很多的作用,这里主要讨论数据的降维,对于的矩阵
,进行奇异值分解
取其前
个非零奇异值,可以还原原来的矩阵
,即前
个非零奇异值对应的奇异向量代表了矩阵
的主要特征。可以表示为
四、实验的仿真
我们在手写体上做实验,原始矩阵为原始矩阵
对应的图像为
对应图像
经过SVD分解后的奇异值矩阵为
部分奇异值矩阵
取前14个非零奇异值
前14个非零奇异值
还原原始矩阵B,还原后的图像为
还原后的图像
对比图像
对比图像
MATLAB代码
[plain]
view plain
copy
%% 测试奇异值分解过程
load data.mat;%该文件是做好的一个手写体的图片
B = zeros(28,28);%将行向量重新转换成原始的图片
for i = 1:28
j = 28*(i-1)+1;
B(i,:) = A(1,j:j+27);
end
%进行奇异值分解
[U S V] = svd(B);
%选取前面14个非零奇异值
for i = 1:14
for j = 1:14
S_1(i,j) = S(i,j);
end
end
%左奇异矩阵
for i = 1:28
for j = 1:14
U_1(i,j) = U(i,j);
end
end
%右奇异矩阵
for i = 1:28
for j = 1:14
V_1(i,j) = V(i,j);
end
end
B_1 = U_1*S_1*V_1';
%同时输出两个图片
subplot(121);imshow(B);
subplot(122);imshow(B_1);
相关文章推荐
- 贝塞尔曲线绘制原理& unity 3d实现绘制贝塞尔曲线
- 交换排序
- H-Store科研入门(2)
- 文档加载完成自动调用Js中的方法
- 网络访问和handler机制
- Java程序员必备知识
- 【ROS】移动机器人导航仿真(2)——SLAM(gmapping)
- inline-block,block,浮动
- 关于编写android程序遇到的问题
- 插入排序之希尔排序
- Redis的安装与配置
- 数据结构实验之排序四:寻找大富翁
- 第一篇blog
- 机器学习算法(降维)—主成分分析(PCA)
- 关于Spring简单的介绍
- 嵌入式的童年-第17~18课-串口连接+系统安装准备
- 算法复习-二部图判定 关节点判定(都用了DFS)
- Scroller的用法,VelocityTracker用法,以及滑动冲突的处理
- 网络流ISAP模板
- 样式和主题