自动提取文章摘要AutoSummary

　　在文本搜索引擎项目中，需要对已排序的文章进行摘要提取，然后与标题，路径一起封装成Json数据返回客户端。因此这里我自己写一个自动摘要，来大概完成这个任务。在自动摘要提取过程中，使用了一个分词库：CppJieba分词库。因此在头文件中包含了头文件 “Application.hpp”。

思路：

　　1、对文章提取关键字。通常，关键字能够代表这篇文章的所描述的内容。因此使用CppJieba分词库中“Application.hpp”中api extract()进行关键字提取。我提取的是前50个，若文章关键字不够50个则取实际个数。关键字的结果已经按照权重的顺序排序好。

　　2、把文章拆分成句子。这里是只对中文进行处理（英文道理也一样），当遇到句号‘ 。’，问号‘ ？ ’，感叹号‘ ！ ’，算一句话。把每一句话按顺序保存到vector<string>类型的数组sentences中。

　　3、遍历关键字数组，对每一个关键字在每一个句子中查找包含该关键字的第一个句子，并把该句子加入到vector<string>类型的数组summary中。

　　4、若遍历到达关键字上限或者句子数量到达上限，跳出循环。

　　5、将数组summary中的句子按顺序拼接从摘要。

代码如下：

#ifndef _AUTOSUMMERY_HPP
#define _AUTOSUMMERY_HPP
#include"../src/Statistics/src/Application.hpp"
#include <string>
#include<set>
#include <utility>
#include<vector>
#include<iostream>
#include<functional>
using namespace std;
using namespace CppJieba;
class AutoSummary
{
public:
AutoSummary(Application &app,int maxSentenceNum=10)//初始化一个自动摘要对象
:maxSentenceNum_(maxSentenceNum),
app_(app)
{}

//自动提取摘要
string summarizer(string & originTxt,int KEYNUM=50)
{
vector<pair<string,double> > keywords;
app_.extract(originTxt,keywords,KEYNUM);    //取文章的前50个关键词，按权重排序
vector<string> sentences;            //装载句子的数组
getSentences(originTxt,sentences);        //把文章拆分成句子
int sentencesNum = sentences.size();        //句子的数量
vector<string> summaryRet;                    //装包含关键字的句子
set<int> summarySet;                        //句子去重
set<int>::iterator it;
KEYNUM = keywords.size();//如果关键字数量小于50则取实际的数量
for(int i = 0;i<KEYNUM;i++)
{
for(int j = 0;j<sentencesNum;j++)
{
int pos = sentences[j].find(keywords[i].first,0);
if(pos!=string::npos)
{
it = summarySet.find(pos);
if(it==summarySet.end())
{
summaryRet.push_back(sentences[j]);//向数组添加句子
summarySet.insert(j);
break;    //跳出循环，找下一个关键字
}
}
}
//跳出循环的条件
if(summaryRet.size()>maxSentenceNum_||summaryRet.size()>=sentencesNum)
break;
}
string summaryStr;
int i = 0;
int num  = summaryRet.size();
while(i<num)
{
summaryStr = summaryStr + sentences[i]+"……";
i++;
}

return summaryStr;
}

private:
//将文章拆分成句子，私有成员函数，在summarizer()中调用
void getSentences(const string &originTxt,vector<string> &sentenceVec)
{
int beg=0,end=0,pos=0,pos1=0;
int txtSize = originTxt.size();
while(beg<txtSize&&pos!=string::npos)
{
if((pos=originTxt.find("。",beg))!=string::npos)
{
if((pos1=originTxt.find("？",beg))!=string::npos)
{
pos=((pos<pos1)?pos:pos1);
if((pos1=originTxt.find("！",beg))!=string::npos)
{
pos=((pos<pos1)?pos:pos1);
}

}
else if((pos1=originTxt.find("！",beg))!=string::npos)
{
pos=((pos<pos1)?pos:pos1);
}
}
else if((pos=originTxt.find("？",beg))!=string::npos)
{
if((pos1=originTxt.find("！",beg))!=string::npos)
{
pos=((pos<pos1)?pos:pos1);
}

}
else if((pos1=originTxt.find("！",beg))!=string::npos)
{
pos = pos1;
}
else
{
break;
}
if(pos!=-1)
{
int len = pos-beg;
string sentence(originTxt.substr(beg,len));
sentenceVec.push_back(sentence);
beg = pos+3;
}
}
}

private:
Application & app_;//分词库的引用
int maxSentenceNum_;//摘要中的句子数目，由外部传进。
};
#endif

参考：http://www.ruanyifeng.com/blog/2013/03/automatic_summarization.html