A simple but tough-to-beat baseline for sentence embedding

论文原文：A simple but tough-to-beat baseline for sentence embedding

引言

在神经网络泛滥的时候，这篇文章像一股清流，提出了一个无监督的句子建模方法，并且给出了该方法的一些理论解释。通过该方法得到的句子向量，在STS数据集上取得了不输给神经网络的效果。

句子建模算法

作者将该算法称之为WR。

W表示Weighted，意为使用预估计的参数给句中的每个词向量赋予权重。

R表示Removal，意为使用PCA或者SVD方法移除句向量中的无关部分。



输入：

预训练的词向量{vw:w∈V}，例如word2vec、glove等

待处理的句子集合 S

参数a（论文中建议a的范围： [1e−4,1e−3]）

词频估计{p(w):w∈V}

输出：

句子向量{vs:s∈S}

实验结果

这是文中的第一个实验——句子相似性评价。

实验使用的数据集都是公共数据集，在这些数据集上方法都取得了不输给RNN和LSTM的表现。

但是在情感分析方面，该方法不及RNN和LSTM，作者分析的了可能原因：

1. 算法使用的词向量(word2vec, glove等)大都基于分布式假说——拥有相近上下文的单词具有相近的意思，但是这些词向量对句子中的antonym problem(我的理解是句子中会出现转折)的感知能力有限。

2. 对于预估计词频来确定权重的方式，在情感分析中可能不是很有效。例如，单词”not”在情感分析中是非常重要的，但是在确定权重时，采用的词频估计会导致其难以在情感分析中发挥作用。

实验复现

作者在Github上开源了该算法代码，于是我在此基础上，对作者的实验继进行复现，实验代码在我的github上

实验结果：（黄色背景的数据为论文中数据，用来和我的实验数据进行比较）













部分数据存在缺失，可能是忘记记录了，但是实验效果和论文基本一致。

总结

这种句子的建模方式非常高效且便捷。由于这是一种无监督学习，那么就可以对大规模的语料加以利用，这是该方法相比于一般有监督学习的一大优势。

通过对实验的复现，发现运行一次程序只需要十几分钟，并且主要的运行耗时都在将词向量模型载入内存这个过程中，这比动不动就需要训练几周的神经网络模型确实要好很多，并且在这个词相似性任务中，与神经网络旗鼓相当。