《数学之美》拾遗——潜在语义索引(LSI)

一、潜在语义索引的提出

潜在语义索引(LSI)，又称为潜在语义分析(LSA)，是在信息检索领域提出来的一个概念。主要是在解决两类问题，一类是一词多义，如“bank”一词，可以指银行，也可以指河岸；另一类是一义多词，即同义词问题，如“car”和“automobile”具有相同的含义，如果在检索的过程中，在计算这两类问题的相似性时，依靠余弦相似性的方法将不能很好的处理这样的问题。所以提出了潜在语义索引的方法，利用SVD降维的方法将词项和文本映射到一个新的空间。

二、潜在语义索引的含义

潜在语义索引依靠SVD，具体SVD的操作过程可以参见《简单易学的机器学习算法——SVD奇异值分解》。
SVD的操作过程是将词项-文本矩阵

进行分解，分解为：



其中，

为左奇异矩阵，

是对角矩阵，对角线上是奇异值，

称为右奇异矩阵。
我们取前

个奇异值，构成新的矩阵，这样就可以重构矩阵

：



这样，我们便将原来的空间映射到了新的

维空间。
我们对一个具体的问题进行处理：



横坐标表示词“ship”，“boat”，“ocean”，“wood”和“tree”，纵坐标为文章“d1”，“d2”，“d3”，“d4”，“d5”和“d6”。我们对其进行奇异值分解，得到的

矩阵为：



我们取

的值为2，

的值即为我们要隐射的空间，此时左奇异向量

为：



这表第一个词与第一维空间更接近，依次类推，同样，我们可以得到右奇异矩阵

：



这表第一列表示文章“d1”与第一位空间更接近。
中间矩阵



表示的是词和文章的相关关系。

三、实验的仿真

对于“《数学之美》拾遗——TF-IDF”中的数据：



进行奇异值分解，分解完的三个矩阵分别为：







这里可以看到9个奇异值的条状图：



我们可以看到不同奇异值的重要性程度，选取前3个奇异值。
此时得到三个修改后的矩阵：







依据不同的值，我们便可以将词和文章分到不同的维中。

参考文献

1、《数学之美》 吴军 著. 矩阵运算和文本处理中的两个分类问题. P137-142.
2、《An Introduction to Information Retrieval》Manning. Latent semantic indexing. P449-454.