斯坦福大学深度学习与自然语言处理第一讲：引言

斯坦福大学在三月份开设了一门“深度学习与自然语言处理”的课程：CS224d: Deep Learning for Natural Language Processing，授课老师是青年才俊 Richard
Socher，他本人是德国人，大学期间涉足自然语言处理，在德国读研时又专攻计算机视觉，之后在斯坦福大学攻读博士学位，拜师NLP领域的巨牛 Chris
Manning 和 Deep Learning 领域的巨牛Andrew
Ng，其博士论文是《Recursive Deep Learning for Natural Language Processing
and Computer Vision》，也算是多年求学生涯的完美一击。毕业后以联合创始人及CTO的身份创办了MetaMind，作为AI领域的新星创业公司，MetaMind创办之初就拿了800万美元的风投，值得关注。

回到这们课程CS224d,其实可以翻译为“面向自然语言处理的深度学习（Deep Learning for Natural Language Processing）”，这门课程是面向斯坦福学生的校内课程，不过课程的相关材料都放到了网上，包括课程视频，课件，相关知识，预备知识，作业等等，相当齐备。课程大纲相当有章法和深度，从基础讲起，再讲到深度学习在NLP领域的具体应用，包括命名实体识别，机器翻译，句法分析器，情感分析等。Richard
Socher此前在ACL 2012和NAACL 2013 做过一个Tutorial，Deep
Learning for NLP (without Magic)，感兴趣的同学可以先参考一下: Deep
Learning for NLP (without Magic) – ACL 2012 Tutorial – 相关视频及课件 。另外，由于这门课程的视频放在Youtube上，@爱可可-爱生活 老师维护了一个网盘链接：http://pan.baidu.com/s/1pJyrXaF ，同步更新相关资料，可以关注。

第一讲：引言-自然语言处理与深度学习简介(Intro to NLP and Deep Learning)

推荐阅读材料：

线性代数相关知识点回顾：[Linear Algebra Review]

概率相关知识点回顾：[Probability Review]

凸优化相关知识点回顾: [Convex Optimization Review]

优化相关的另一篇介绍（来自于斯坦福CS231课程资料），随机梯度下降相关[More Optimization (SGD) Review]

语义向量空间模型的一篇综述[From Frequency to Meaning: Vector Space Models
of Semantics]

课程第一部分的Notes，涉及第一讲和第二讲[Lecture Notes 1]

python及numpy简介[python tutorial]

第一讲Slides[slides]

第一讲视频[video]

以下是第一讲的相关笔记，主要参考自课程的slides，视频和其他相关资料。

什么是自然语言处理（NLP）

自然语言处理是一门交叉学科，包括计算机科学，人工智能和语言学

目标：让计算机去处理或“理解”自然语言, 完成一些有用的任务例如问答系统，机器翻译

完全理解或者表示语言的意义（甚至去定义它）都是一个虚幻的目标

完美的理解语言是一个“AI-complete”的问题

自然语言处理的层次





自然语言处理的应用

应用范围从简单到复杂

拼写检查, 关键词提取&搜索，同义词查找&替换

从网页中提取有用的信息例如产品价格，日期，地址，人名或公司名等

分类，例如对教科书的文本进行分级，对长文本进行正负情绪判断

机器翻译

口语对话系统

复杂的问答系统

工业届里的NLP应用

搜索引擎

在线广告

自动的或辅助的翻译技术

市场营销或者金融交易领域的情感分析

语音识别

NLP为什么这么难

语言在表达上就很复杂，使用的时候要综合考虑使用情境

Jane hit June and then she [fell/ran].

歧义问题：“I made her duck”

什么是深度学习（DL）

深度学习是机器学习的一个分支

大多数机器学习方法很有效主要依靠人工精心设计的特征，例如下表是一个命名实体识别任务中设计的特征模板(Finkel, 2010)





最终这些机器学习问题会变成优化问题：优化这些特征权重以达到最好的预测效果

机器学习 vs 深度学习





什么是深度学习（DL）续

表示学习 or 表达学习（Representation Learning）尝试自动的学习合适的特征及其表征

深度学习（Deep Learning) 算法尝试学习（多层次）的表征以及输出

从一个“原生”的输入x(例如“单词”）





深度学习的历史

这门课主要关注至今为止在解决NLP问题上有效果的深度学习技术

关于深度学习模型的相关历史，推荐参考《Deep Learning in Neural Networks: An Overview》

探索深度学习的原因

人工设计的特征常常定义过多，不完整并且需要花费大量的时间去设计和验证

自动学习的特征容易自适应，并且可以很快的学习

深度学习提供了一个弹性的，通用的学习框架用来表征自然的，视觉的和语言的信息。

深度学习可以用来学习非监督的（来自于生文本）和有监督的（带有特别标记的文本，例如正向和负向标记）

在2006年深度学习技术开始在一些任务中表现出众，为什么现在才热起来？

深度学习技术受益于越来越多的数据

更快的机器与更多核CPU/GPU对深度学习的普及起了很大的促进作用

新的模型，算法和idea层出不穷

通过深度学习技术提升效果首先发生在语音识别和机器视觉领域，然后开始过渡到NLP领域

面向语音识别的深度学习

“深度学习”在大数据集上的第一个突破性进展发生在语音识别领域

Paper：Context-Dependent Pre-trained Deep Neural
Networks for Large Vocabulary Speech Recognition Dahl et al. (2010)





面向计算机视觉的深度学习

很多深度学习研究小组把大量的精力放在计算机视觉上（直到现在也是）

突破性的Paper: ImageNet Classification with Deep Convolutional Neural
Networks by Krizhevsky et al. 2012





Deep Learning + NLP = Deep NLP

综合使用一些深度学习的方法来解决NLP的相关问题

近几年在NLP的一些应用领域效果有了较大的提升

层次：语音，词形，句法，语义

应用：机器翻译，情感分析，问答系统

音位学层次的表示

传统的方法：音素





深度学习：通过声音特征并将这些特征表示为向量直接来预测音素（或词语）

形态学层次的表示

传统的方法：语素，例如前缀，词干，后缀等

深度学习：

每个语素都用向量表示

神经网络用于向量的两两合并

Thang et al. 2013





句法层次的表示

传统的方法：将一个短语或句子划分到多个句法标记，例如NP，VP等





深度学习

每个单词或者短语都是一个向量

神经网络用于向量的两两合并

Socher et al. 2011





语义层次的表示

传统的方法： Lambda算子 or Lambda演算(Lambda calculus)

非常精细的函数设计

需要指定其他函数的输入

没有相似性的概念或者模糊语言





深度学习

每个单词或者短语或者逻辑表达式都是一个向量

神经网络用于向量的两两合并

Bowman et al. 2014





NLP应用：情感分析

传统的方法：精选的情感词典+词袋模型（忽略词序）+人工设计的特征（很难覆盖所有的信息）

深度学习：和上述词素，句法和语义相似的深度学习模型–>RNN

Demo: http://nlp.stanford.edu/sentiment/





NLP应用：问答系统

传统的方法：用了非常多的特征工程去获取相关的知识，例如正则表达式，Berant et al. (2014)





深度学习：和上述词素，句法，语义，情感分析相似的深度学习模型

知识可以储备在向量中





NLP应用：机器翻译

过去尝试过很多层次的机器翻译方法

传统的机器翻译系统是一个非常大的复杂系统

可以思考一下在深度学习中中间语（interlingua）对于翻译系统是如何起作用的？





深度学习：

源句子首先映射为向量，然后在输出的时候进行句子生成





Sequence to Sequence
Learning with Neural Networks by Sutskever et al. 2014

方法很新但是可以替换传统非常复杂的机器翻译架构

可以发现所有NLP层次的表示都涉及到向量（Vectors), 下一讲将讲到如何来学习词向量以及这些向量表示了什么？





注：原创文章，转载请注明出处“我爱自然语言处理”：http://www.52nlp.cn

本文链接地址：斯坦福大学深度学习与自然语言处理第一讲：引言