Neural Network Methods for Natural Language Processing 系列读书笔记 -- 预览

Yoav Goldberg 出了一本新书，名字叫 Neural Network Methods for Natural Language Processing ，顾名思义，是讲的利用神经网络的方法来进行自然语言处理任务，在当下神经网络、深度学习爆火的背景下在很多领域都渗入了神经网络，深度学习的影子，前段时间本书的作者yoav也和神经网络大神Yann LeCun也进行了一次关注度很高的争论，争论现在关于神经网络与深度学习应用到nlp(自然语言处理)领域的情况，但是争论本身yoav是说现在的dler们不太尊重语言本身，做学问有些冒进，但是深度学习本身是一个很棒的东西，yoav本人也在从事将神经网络与深度学习应用到nlp中的相关研究。

导读摘要

神经网络是一个功能强大的机器学习模型家族，本书着重介绍神经网络模型在自然语言处理方面的应用。本书的前半部分（Parts I and II）介绍了有监督机器学习和前馈神经网络的基础，运用向量表示的语言而非符号表示（即相关很多word embedding的工作）。还涵盖了一些计算图的抽象知识以便定义和训练任意的神经网络。

本书的后半部分（Parts III and IV）介绍了一些具体的神经网络结构，包括一维卷积神经网络（1D CNN），递归神经网络（RNN），条件生成模型，注意力模型（attention-based models），这些神经网络结构是机器翻译、句法分析以及许多其他应用中最先进的推动力量。本书的最后还讨论了树型神经网络（tree-shaped networks）、结构化预测（structured prediction），以及多任务学习的前景等问题。

后续我会根据阅读这本书的过程记录读书笔记。