A Neural Probabilistic Language Model笔记
2017-07-14 11:14
956 查看
1.经典之paper,虽然之前一直有了解,但是未及细读,现在终于有时间好好研究一下了。
2.首先是一个概率模型:
3.然后是两个假设条件:First, it is not taking into account contexts farther than 1 or 2 words,1 second it is not taking into account the “similarity” between words.
所以模型:
4.具体模型
4.1输入层(第一层):一个C映射,wi的维度是1xV,C的维度是Vxm,所以1xVxVxm=1xm;第二层tanh函数进行计算,在最后的实验中,Bengio 发现直连边虽然不能提升模型效果,但是可以少一半的迭代次数。同时他也猜想如果没有直连边,可能可以生成更好的词向量;输出层:softmax函数。
4.2目标函数
每一层的参数,和维度
最终训练的C就是我们需要的词向量
5.伪代码
6.训练的时候要找一个好点的语料库,因为自己的文本词频一般都不够。
2.首先是一个概率模型:
3.然后是两个假设条件:First, it is not taking into account contexts farther than 1 or 2 words,1 second it is not taking into account the “similarity” between words.
所以模型:
4.具体模型
4.1输入层(第一层):一个C映射,wi的维度是1xV,C的维度是Vxm,所以1xVxVxm=1xm;第二层tanh函数进行计算,在最后的实验中,Bengio 发现直连边虽然不能提升模型效果,但是可以少一半的迭代次数。同时他也猜想如果没有直连边,可能可以生成更好的词向量;输出层:softmax函数。
4.2目标函数
每一层的参数,和维度
最终训练的C就是我们需要的词向量
5.伪代码
6.训练的时候要找一个好点的语料库,因为自己的文本词频一般都不够。
相关文章推荐
- 论文笔记:A Neural Probabilistic Language Model
- A Neural Probabilistic Language Model笔记
- A Neural Probabilistic Language Model
- A Neural Probabilistic Language Model
- 读论文《A Neural Probabilistic Language Model》
- Neural Probabilistic Language Model, word2vec来龙去脉
- 【论文阅读】A Neural Probabilistic Language Model
- Deep Learning 读书笔记(十二):A Neural Probabilistic Language Model
- NLP论文研读之路:A Neural Probabilistic Language Model
- [学习笔记]学习主题模型(Topic Model)和PLSA( probabilistic latent semantic analysis)
- 论文笔记《A Survey of Model Compression and Acceleration for Deep Neural Networks》
- [论文笔记] Learning to Read Chest X-Rays Recurrent Neural Cascade Model for Automated Image Annotation
- 读论文《Recurrent neural network based language model 》
- 词嵌入(word2vec)-NNLM(Neural Network Language Model)
- [dialog system]阅读笔记 - 2016__A Persona-Based Neural Conversation Model
- 【论文笔记】Character-Aware Neural Language Models
- [NLP论文阅读]A Neural Knowledge Language Model(一)
- An unsupervised neural attention model for aspect extraction 读论文笔记
- [机器学习入门] 李宏毅机器学习笔记-5(Classification- Probabilistic Generative Model;分类:概率生成模型)
- Feedforward Neural Network Language Model(NNLM)原理及数学推导