相关搜索词的一种粗排方法

源自一次未完成的实验，因为日志里面查询词实在太少了。

word2vec下载地址:http://download.csdn.net/detail/hortond/8095703

解压之后执行make。

下载点评头条内容,contents.txt文件

内容进行分词,需要安装jieba分词:pip install jieba

#! /usr/bin/env python

#coding=utf-8

import jieba

import sys

reload(sys)

sys.setdefaultencoding( "utf-8" )

f = open('contents.txt', 'rb')

line = f.readline()

no = 1

while line:

  seg_list = jieba.cut(line, cut_all=False)

  print '\t'.join(seg_list)

  line = f.readline()

  no += 1

f.close()

生成contents_cut.txt文件

生成

使用python gensim模块加载对应的词向量,首先pip install gensim,然后:

import sys

reload(sys)

sys.setdefaultencoding("utf-8")

from gensim.models import KeyedVectors

model = KeyedVectors.load_word2vec_format("vectors.bin", binary=True, unicode_errors="ignore")

然后就可以看到对应的词向量和相似度了:

model[u"男人"]

model.similarity(u"男人",u"女人")

可以算出词向量并非单位向量，并且长度不是固定值

词向量按单位向量进行归一，然后完整查询进行分词，每个词按照idf加权向量叠加，最后再按单位向量进行归一。

为什么归一为单位向量，因为这时余弦相似度和欧几里得距离是相关的了。

最后用kd树取近邻法，取出top k,再取更进一步的特征做精排，出相关搜索的词。