#Paper Reading# SummaRuNNer: A RNN based Sequence Model for Extractive Summarization of Documents

论文题目：SummaRuNNer: A Recurrent Neural Network based Sequence Model for Extractive Summarization of Documents

论文地址：https://arxiv.org/abs/1611.04230

论文发表于：AAAI 2017

论文大体内容：

这篇文章提出了一个基于GRU-RNN的模型，来完成抽取式自动文本摘要任务。通过与其它state-of-the-art的结果相比，发现这种方法能够达到更好的效果。

1、本文关注点在于单文档，extraction式摘要；

2、本文主要的贡献点在于：

①提出SummaRuNNer模型，在extractive summarization上达到更好的效果；

②模型的公式说明性强；

③能够将abstractive summary引入到extractive model中，作为训练数据；

3、SummaRuNNer的具体做法是：





①第一个layer是word level layer，包括2类RNN结果，一个forward，一个backward，所以是双向的RNN；

②第二个layer是sentence level layer，使用word level layer的输出结果hidden state representation串联起来作为input；

③这个document的表示通过下面公式计算：



④预测的时候，遍历每个句子，使用二分类的方法判断这个句子需不需要加入摘要里面去，对应于一个logistic layer；





⑤loss function如下：



4、Abstractive的实现：

①SummarRuNNer的实现；

②往后面增加一个RNN Decoder，多了s(-1)做输入；



③使用了softmax layer来产生word；



④loss function如下（最大化summary中每个词出现的概率）：



⑤Abstractive仅用于训练，即在Extractive的基础上，利用专家摘要的信息，来优化Extractive的模型，后面test的时候也是Extractive的方式；

实验

5、Dataset

①CNN/DailyMail语料： 196557 training documents, 12147 validation documents and 10396 test documents，平均而言，每个document有28个句子，每个summary中有3-4个句子；

②DUC2002语料：567个document；

③对于SummaRuNNer的loss function中真实数据的label y(i)的生成方式：使用贪心的思想，每次从所有句子中选出一个句子，使得该句子加入摘要中，能够使ROUGE值增加得最多，一直选择，直到ROUGE值不变或者减少的时候停止。这是选择的句子就作为Ground True；

6、评测方法

①ROUGE-1；

②ROUGE-2；

③ROUGE-L；

7、Baseline

①Lead-3 model：仅使用每个document的前3个句子作summary；

②LReg：a feature-rich logistic classifier used as a baseline by (Cheng and Lapata 2016)；

③Integer Linear Programming；

④TGRAPH；

⑤URANK；

8、对比结果









样例：





以上均为个人见解，因本人水平有限，如发现有所错漏，敬请指出，谢谢！