[置顶] 【python 走进NLP】NLP WordEmbedding的概念和实现
2017-07-02 11:49
363 查看
背景
如何表示词语所包含的语义?
苹果?水果?Iphone?
苹果、梨子,这两个词相关吗?
语言的表示
符号主义:Bags-of-word,维度高、过于稀疏、缺乏语义、模型简单
分布式表示:Word Embedding,维度低、更为稠密、包含语义、训练复杂
Word Embedding
核心思想:语义相关的词语,具有相似的上下文环境,例如, 苹果和梨子
所做的事情:将每个词语训练成,词向量
实践
基于gensim包和中文维基语料
gensim:http://radimrehurek.com/gensim/models/word2vec.html
中文维基分词语料:链接 https://pan.baidu.com/s/1qXKIPp6 密码 kade
如何表示词语所包含的语义?
苹果?水果?Iphone?
苹果、梨子,这两个词相关吗?
语言的表示
符号主义:Bags-of-word,维度高、过于稀疏、缺乏语义、模型简单
分布式表示:Word Embedding,维度低、更为稠密、包含语义、训练复杂
Word Embedding
核心思想:语义相关的词语,具有相似的上下文环境,例如, 苹果和梨子
所做的事情:将每个词语训练成,词向量
实践
基于gensim包和中文维基语料
gensim:http://radimrehurek.com/gensim/models/word2vec.html
中文维基分词语料:链接 https://pan.baidu.com/s/1qXKIPp6 密码 kade
# 加载包 from gensim.models import Word2Vec from gensim.models.word2vec import LineSentence # 训练模型 sentences = LineSentence('wiki.zh.word.text') model = Word2Vec(sentences, size=128, window=5, min_count=5, workers=4) # 保存模型 model.save('word_embedding_128') # 加载模型 model = Word2Vec.load("word_embedding_128") # 使用模型 items = model.most_similar(u'中国') model.similarity(u'男人', u'女人')
相关文章推荐
- [置顶] 【python 走进NLP】 NLP 使用jieba分词处理文本
- NLP自然语言处理 jieba中文分词,关键词提取,词性标注,并行分词,起止位置,文本挖掘,NLP WordEmbedding的概念和实现
- [置顶] Python编程->混合编程(C++,python,opencv)实现
- 一致性哈希概念与Python的简单实现
- 决策树与随机森林相关概念及其Python实现
- 决策树与随机森林相关概念及其Python实现
- 决策树与随机森林相关概念及其Python实现
- [置顶] python实现shell下小抄速查工具
- 决策树与随机森林相关概念及其Python实现
- 决策树与随机森林相关概念及其Python实现
- 决策树与随机森林相关概念及其Python实现
- 决策树与随机森林相关概念及其Python实现
- python网络爬虫——基本概念及代码实现1
- [置顶] 拉普拉斯特征图降维及其python实现
- [置顶] KNN及其改进算法的python实现
- 决策树与随机森林相关概念及其Python实现
- [置顶] DFA最小化 -- Hopcroft算法 Python实现
- 栈和队列数据结构的基本概念及其相关的Python实现
- [置顶] 利用python实现批量插入打印信息的方法
- 决策树与随机森林相关概念及其Python实现