语义相关app搜索(二) 论短文本相似——qjzcy的博客

语义相关app搜索(二) 论短文本相似——qjzcy的博客

App相似，其实是短文本相似的一种，如何在词和文本重合之外找到两个短语的相似呢？这里对我工作中用到短文本相似方法做个归纳，大概有这么几种方法

1、 Session相关法

2、 句子向量法

3、 多级的跳转法

4、 算法模型法

分别举例子吧

一、Session相关法

思路是用户在一个会话中替换的词基本会有某些语义相关，那么我们把这些session找到，可以提炼出相似的短文本有那些共同，如下图为在搜索query中找到的相似短语



二、句子向量法

和词向量空间一样，如果我们能够把句子用某种方式表达成向量，就可以用向量求距离

比如我们可以把搜索中query点击过的网址哈希值作为向量，如图，当然不仅限于网址，只要我们能把句子表示为某种向量，就可以用这种方法。



三、多级的跳转法

比如，搜索app的query为“交友”，我们通过简单词重合可以找到“秘密交友”，再通过“秘密交友”，找到“秘密花园”。实践中我感觉一级跳转的效果比较好，二级以上跳转的发散度有点大。

四、模型求解法

最近很多流行的算法都在尝试用深度学习的方法来解决短文本相似的问题，这里有我做的几个小例子

深度学习在短文本相似中的应用（Sentence2Vector）

利用lstm模型实现短文本主题相似