使用TextRank实现的关键字提取

本文主要用于实现使用TextRank算法的关键字提取

TextRank是PageRank算法的变种，用于文本关键字 关键句的提取

主要参考为原作者Rada Mihalcea论文《TextRank：Bring Order into texts》

整个算法步骤：

【1】文本分词

可以使用常见的java分词，本例使用的是IKAnalyer

【2】词性标注

这个暂时没有实现 【只是对提取效果会有一定的影响 一般会选择名次和动词作为关键字】 不影响算法思想实现

【3】构建初始转置矩阵【图的一种表示方式】

我们以文本对象中的每一个独立文本分词作为一个顶点，采用邻接矩阵来表示文本之间的关联，比如：

“A B C D”

"B C A"

"A C

	A	B	C	D
A	0	0	0	0
B	1	0	0	0
C	1	1	0	0
D	0	0	1	0

(不知道怎么搞的 这表格删除不了多余 请无视)

words=【A,B,C,D】整个文档的单词数（去重复）

（每个单元格的含义：M[i,j]代表从j->i有指向 意即单词words[j] 后面有单词words[i]）

假设上面为3段待提取的文字，分词以空格形式切分，那么我们可以得到下面的一个矩阵M

对上面的矩阵稍作处理 使 每一列的值结果如下：[有点像单元化处理m[i][j]=m[i][j]/(sum[0-N][j])

	A	B	C	D
A	0	0	0	0
B	1/2	0	0	0
C	1/2	1	0	0
D	0	0	1	0

具体实现：部分源码

/**
* 传入经过分词处理后的wordsWrapper对象
*matrix[i][j]代表从j->i有指向 现在为未带权处理
* @param wordsWrapper
* @return 返回生成的double矩阵
*/
public static double[][] listToGraph(WordsWrapper wordsWrapper) {
int wordCount = wordsWrapper.wordcount;
List<String> nodulWords = Arrays.asList(wordsWrapper.nodulWords);
double[][] a = new double[wordCount][wordCount];
ArrayList<String> content = wordsWrapper.words;

for (String x : content) {
String xs[] = x.split(" ");
int curindex = -1, preindex = -1, nextindex = -1;
for (int i = 0; i < xs.length; i++) {
String tx = xs[i];
int index = nodulWords.indexOf(tx);
if (i != 0) {
preindex = nodulWords.indexOf(xs[i - 1]);
}

if (preindex != -1) {
a[index][preindex] = 1d;
}
}
}
//just for test
// System.out.println("before ...");

//~~~test end here

//初始矩阵处理
for (int j = 0; j < wordCount; j++) {

//这里可以修正 为带权值的
int nozero = 0;
for (int i = 0; i < wordCount; i++) {
if (a[i][j] != 0) {
nozero++;
}
}
if (nozero != 0) {
for (int i = 0; i < wordCount; i++) {
a[i][j] = a[i][j] / nozero;
}
}
}
return a;
}

【4】迭代运算

采用最大迭代次数和误差控制判断是否要求迭代

关于每个单词的PR（PageRank）值计算，在论文总是得分计算公式：



其中各个参数含义：

S（Vi）--顶点i的得分 可以理解为单词i的PR值

d-----阻尼系数 默认为；0.85

In(Vi)---所有指向顶点i的顶点 【比如：单词A 面跟着单词B 那么A属于In（B）】

|Out（Vj）|---节点j的出度【与图算法中的出度意义一样 上面的是入度】

具体实现：【最大迭代次数(20)和 最大容错率由自己指定（0.000001）】

/**
* 判断是否需要下一次pagerank迭代 会进行精度计算和总的迭代次数考虑
*
* @param before 之前迭代结果 PR值
* @param cur当前迭代结果 PR值
* @param curIteration 已经迭代次数
* @return 是否需要下一次迭代
*/
public static boolean neededDoNext(double[] before, double[] cur, int curIteration) {
//先检查迭代次数是否已经超过最大迭代次数
if (curIteration > MAX_ITERATE_NUM) {
return false;
} else {
//精度要求
int n = before.length;
for (int i = 0; i < n; i++) {

if (Math.abs(cur[i] - before[i]) > DEFAULT_ERROR_RATE) {
return true;
}
}

System.out.println("All is ok???");
outputArray(before);
outputArray(cur);

//所有都满足精度要求
return false;
}

}

迭代计算处理核心：

double []prevPR//记录前一次的算出来的pr值 初始值设置为全0

double []curPR//记录当前算出的PR值 初始值设定为全1/wordCount;

while (neededDoNext(prevPR, curPR, iterationCount)) {
//计算下一次迭代
prevPR=curPR;
curPR = doPageRank(transMatrix,prevPR,outDegrees);

System.out.println("当前迭代次数:"+iterationCount+"RESULT:");
outputArray(curPR);
iterationCount++;
}

效果演示：

总共迭代次数为：21

word->d score->0.4023749808259771

word->b score->0.3210029191796684

word->c score->0.5938468678121206

word->a score->0.4023749808259771

可以看出本文的关键字应该是C 注意pagerank可能不会收敛 所以设置最大迭代次数

【5】后处理

提供将临近的关键字 结合起来形成新的关键字【未完成】

【6】写在最后

由于看的是英文的论文 可能有的理解有失偏颇 有的地方理解的不到位还望指教，

还有如果使用带权图可以获得更好的计算效果【论文中有叙述】实现起来也就是修改PR[i] 或者score的计算，原理是一样的

关于如何确定文本单词词性的问题 暂时还没有头绪