NIPS 2017 | 机器之心线上分享第四期:用于序列生成的推敲网络
2017-11-28 06:40
387 查看
11 月初,我们发布了《攻略
| 虽然票早已被抢光,你可以从机器之心关注 NIPS 2017》。在 NIPS 2017 正式开始前,我们将选出数篇优质论文,邀请论文作者来做线上分享,聊聊理论、技术和研究方法。
此次我们邀请到了中山大学-微软亚洲研究院联合培养博士吴郦军为我们做最后一期的线上分享,介绍的论文题目为《Deliberation Networks: Sequence Generation Beyond One-Pass Decoding》
日期:北京时间 11 月 30 日 20:00-21:00
![](https://ss.csdn.net/p?https://image.jiqizhixin.com/uploads/wangeditor/e4409c58-af3c-46fc-8056-79a5da86e22c/00803%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20171129134621.jpg)
讲者简介:吴郦军,博士三年级,现就读于中山大学-微软亚洲研究院联合培养博士班,研究方向为机器学习、神经机器翻译、强化学习,目前在微软亚洲研究院机器学习组学习。
演讲主题:得句自斟酌:用于序列生成的推敲网络
演讲摘要:
编码器-解码器框架在许多序列生成任务中都实现了非常好的性能,包括机器翻译、自动文本摘要、对话系统和图像描述等。这样的框架在解码和生成序列的过程中只采用一次(one-pass)正向传播过程,因此缺乏推敲(deliberation)的过程:即生成的序列直接作为最终的输出而没有进一步打磨的过程。然而推敲是人们在日常生活中的一种常见行为,正如我们在阅读新闻和写论文/文章/书籍一样。在该研究中,我们将推敲过程加入到了编码器-解码器框架中,并提出了用于序列生成的推敲网络(Deliberation networks)。推敲网络具有两阶段解码器,其中第一阶段解码器用于解码生成原始序列,第二阶段解码器通过推敲的过程打磨和润色原始语句。由于第二阶段推敲解码器具有应该生成什么样的语句这一全局信息,因此它能通过从第一阶段的原始语句中观察未来的单词而产生更好的序列。神经机器翻译和自动文本摘要的实验证明了我们所提出推敲网络的有效性。在
WMT 2014 英语到法语间的翻译任务中,我们的模型实现了 41.5 的 BLEU 分值,即当前最优的 BLEU 分值。
论文地址:
http://papers.nips.cc/paper/6775-deliberation-networks-sequence-generation-beyond-one-pass-decoding.pdf
参与方式
线上分享将在「NIPS 2017 机器之心官方学霸群」中进行。加群方式:长按扫描下方二维码,添加「机器之心小助手Ⅱ」,备注暗号:147,由小助手拉大家入群。
![](https://ss.csdn.net/p?https://image.jiqizhixin.com/uploads/wangeditor/e4409c58-af3c-46fc-8056-79a5da86e22c/12704%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20171129134628.jpg)
线上分享往期回顾
第一期:视频 | NIPS
2017线上分享第一期:新型强化学习算法ACKTR
第二期:视频
| NIPS 2017线上分享第二期:利用价值网络改进神经机器翻译
点击这里,查看机器之心
NIPS 2017 专题策划并参与其中。
| 虽然票早已被抢光,你可以从机器之心关注 NIPS 2017》。在 NIPS 2017 正式开始前,我们将选出数篇优质论文,邀请论文作者来做线上分享,聊聊理论、技术和研究方法。
此次我们邀请到了中山大学-微软亚洲研究院联合培养博士吴郦军为我们做最后一期的线上分享,介绍的论文题目为《Deliberation Networks: Sequence Generation Beyond One-Pass Decoding》
日期:北京时间 11 月 30 日 20:00-21:00
![](https://ss.csdn.net/p?https://image.jiqizhixin.com/uploads/wangeditor/e4409c58-af3c-46fc-8056-79a5da86e22c/00803%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20171129134621.jpg)
讲者简介:吴郦军,博士三年级,现就读于中山大学-微软亚洲研究院联合培养博士班,研究方向为机器学习、神经机器翻译、强化学习,目前在微软亚洲研究院机器学习组学习。
演讲主题:得句自斟酌:用于序列生成的推敲网络
演讲摘要:
编码器-解码器框架在许多序列生成任务中都实现了非常好的性能,包括机器翻译、自动文本摘要、对话系统和图像描述等。这样的框架在解码和生成序列的过程中只采用一次(one-pass)正向传播过程,因此缺乏推敲(deliberation)的过程:即生成的序列直接作为最终的输出而没有进一步打磨的过程。然而推敲是人们在日常生活中的一种常见行为,正如我们在阅读新闻和写论文/文章/书籍一样。在该研究中,我们将推敲过程加入到了编码器-解码器框架中,并提出了用于序列生成的推敲网络(Deliberation networks)。推敲网络具有两阶段解码器,其中第一阶段解码器用于解码生成原始序列,第二阶段解码器通过推敲的过程打磨和润色原始语句。由于第二阶段推敲解码器具有应该生成什么样的语句这一全局信息,因此它能通过从第一阶段的原始语句中观察未来的单词而产生更好的序列。神经机器翻译和自动文本摘要的实验证明了我们所提出推敲网络的有效性。在
WMT 2014 英语到法语间的翻译任务中,我们的模型实现了 41.5 的 BLEU 分值,即当前最优的 BLEU 分值。
论文地址:
http://papers.nips.cc/paper/6775-deliberation-networks-sequence-generation-beyond-one-pass-decoding.pdf
参与方式
线上分享将在「NIPS 2017 机器之心官方学霸群」中进行。加群方式:长按扫描下方二维码,添加「机器之心小助手Ⅱ」,备注暗号:147,由小助手拉大家入群。
![](https://ss.csdn.net/p?https://image.jiqizhixin.com/uploads/wangeditor/e4409c58-af3c-46fc-8056-79a5da86e22c/12704%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20171129134628.jpg)
线上分享往期回顾
第一期:视频 | NIPS
2017线上分享第一期:新型强化学习算法ACKTR
第二期:视频
| NIPS 2017线上分享第二期:利用价值网络改进神经机器翻译
点击这里,查看机器之心
NIPS 2017 专题策划并参与其中。
相关文章推荐
- 预告 | NIPS 2017线上分享:用于序列生成的推敲网络
- 机器之心线上分享:用于序列生成的推敲网络
- 干货 | NIPS 2017:用于序列生成的推敲网络
- 干货 | NIPS 2017线上分享:利用价值网络改进神经机器翻译
- NIPS 2017线上分享:利用价值网络改进神经机器翻译
- NIPS 2017 | 线上分享第一期:似自然梯度的优化算法KFAC与强化学习算法ACKTR
- 帮助你生成分享和显示社交媒体网络按钮的jQuery插件 - #50C1AL
- 几维安全分享2017互联网大会:网络安全成火热议题
- 2017 ACM-ICPC 亚洲区(南宁赛区)网络赛 L. The Heaviest Non-decreasing Subsequence Problem(最长不下降子序列变形)
- 【2017沈阳网络赛】1004 hdu6197 array array array 最长不下降子序列
- Valse 2017 | 生成对抗网络(GAN)研究年度进展评述
- 2017(深圳) .NET技术分享交流会 第二期,将有网络直播
- 直播实录 | 基于生成模型的事件流研究 + NIPS 2017 论文解读
- 【SQL】分享表值函数FMakeRows,用于生成行
- 帮助你生成分享和显示社交媒体网络按钮的jQuery插件 - #50C1AL
- 用于代码生成的抽象语法网络 (侵图删)
- L. The Heaviest Non-decreasing Subsequence Problem -最长不降子序列变形nlogn-2017 ACM-ICPC 亚洲区(南宁赛区)网络赛
- 2017 ACM-ICPC 亚洲区(南宁赛区)网络赛 The Heaviest Non-decreasing Subsequence Problem 最长不下降序列
- The Heaviest Non-decreasing Subsequence Problem 最长非递减子序列 2017 ACM-ICPC 亚洲区(南宁赛区)网络赛
- 我们请来了2017 NIPS大会发文数全球前3的华人教授,讲解网络数据的表征学习(视频+PPT)