读论文有感:A Sample But Tough-To-Beat Baseline For Sentence Embedding

该算法有着一定的意义，即通过分析，对Word Embeddings进行加权平均，得到比单纯平均或以TF-IDF为权值的平均向量更好的结果，因计算简单，如作者所述，作为一个更好的Baseline是很好的选择不过该论文的一些说法有点言过其实，甚至进行了一点小tricks，比如说比supervised 的LSTM有着更好的效果这一说法，有着一定的争议，因为Sentence Embedding实则也是一种特征提取。神经网络虽然功能强大，但是最怕就是“无米之炊”，数据不对或不好，那么表现往往不如人为地根据任务进行的特征抽取。而本文就是有这样的小tricks，用SentencePair这种任务数据去训练LSTM，恩，我觉得该任务本身目前并不能我们所愿的去捕捉我们想要的信息，而单纯的LSI（词频矩阵进行SVD得到句向量）或LDA（Topic Model）也能达到很好的性能。这是人为抽取特征与自动学习的特征的争执之处，更好的任务和数据能够让LSTM学得更好的特征，有着更大的发挥潜力。还有关于训练语料部分，我看了下，似乎文中的方法会先对测试数据过一遍调参？而有监督的方法其他方法不能针对所给语料进行参数调整？如果是这样的话，我想这也是实验结果有着差距的重要原因