tensorflow ： 使用预训练词向量

目前使用深度网络进行文本任务模型训练时，第一步应该是将文本转为词向量进行处理。但一般词向量的效果跟语料的大小有关，而处理任务的语料不足支持我们的实验，这时就需要使用网上公开的大规模语料训练词向量。

1、下载

网上公开的词向量下载地址：https://github.com/xgli/word2vec-api

glove的文件说明如何使用预训练词向量，文件格式如下：每行为一个单词和其对应的词向量，以空格分隔。

glove对应的词向量，非二进制文件



word2vec对应的词向量，非二进制文件

2、装载

glove词向量的装载

filename = 'glove.6B.50d.txt'
def loadGloVe(filename):
vocab = []
embd = []
vocab.append('unk') #装载不认识的词
embd.append([0]*emb_size) #这个emb_size可能需要指定
file = open(filename,'r')
for line in file.readlines():
row = line.strip().split(' ')
vocab.append(row[0])
embd.append(row[1:])
print('Loaded GloVe!')
file.close()
return vocab,embd
vocab,embd = loadGloVe(filename)
vocab_size = len(vocab)
embedding_dim = len(embd[0])
embedding = np.asarray(embd)

word2vec词向量的装载

def loadWord2Vec(filename):
vocab = []
embd = []
cnt = 0
fr = open(filename,'r')
line = fr.readline().decode('utf-8').strip()
#print line
word_dim = int(line.split(' ')[1])
vocab.append("unk")
embd.append([0]*word_dim)
for line in fr :
row = line.strip().split(' ')
vocab.append(row[0])
embd.append(row[1:])
print "loaded word2vec"
fr.close()
return vocab,embd

vocab,embd = loadGloVe(filename)
vocab_size = len(vocab)
embedding_dim = len(embd[0])
embedding = np.asarray(embd)

vocab：为词表

embed：为词的词向量

3、词向量层

构建网络时候的词向量层

W = tf.Variable(tf.constant(0.0, shape=[vocab_size, embedding_dim]),
trainable=False, name="W")
embedding_placeholder = tf.placeholder(tf.float32, [vocab_size, embedding_dim])
embedding_init = W.assign(embedding_placeholder)

在网络结构中声明词向量矩阵W

sess.run(embedding_init, feed_dict={embedding_placeholder: embedding})

在将embedding传给网络赋值。

4、词表

此部分对某些任务不适用，比如对话，序列标注等问题，就是这个内置的函数会自动的过滤掉标点符号，但是标点符号也是一些任务需要的信息。

tf.nn.embedding_lookup(W, input_x)

该代码将输入映射为词向量，但input_x为词的id。因此我们需要将输入文本映射为词id序列。

from tensorflow.contrib import learn
#init vocab processor
vocab_processor = learn.preprocessing.VocabularyProcessor(max_document_length)
#fit the vocab from glove
pretrain = vocab_processor.fit(vocab)
#transform inputs
input_x = np.array(list(vocab_processor.transform(your_raw_input)))

使用tensorflow自带的词处理api进行处理，将词映射成为词id，同时会过滤掉标点符号。

目前写这么多，当时自己写的时候，进了很多坑，这次写的也不详细，如果有不理解的，欢迎评论交流，或发邮件给我（邮件比较及时）。

原作者里面是错的，少考虑了“unk”这种情况。请大家注意。

感谢作者：https://ireneli.eu/2017/01/17/tensorflow-07-word-embeddings-2-loading-pre-trained-vectors/