《Natural Language Processing》斯坦福视频学习笔记——2.text processing

本篇涉及到的文本处理，主要包含以下内容：

Lemmatization
Stemming
Porter Stemming Algorithm
判断一个单词是否是句尾单词
判断句尾单词的扩展条件

具体的笔记内容如下：

Lemmatization:使单词、句子还原
Stemming：使有相同词根的词还原
Porter Stemming Algorithm：词根还原算法，可以实现对英文单词进行还原英文单词的词性、词形变化，去掉前缀、后缀等等功能





[aeiou].*ing$：只有单词中存在aeiou才能删除结尾的ing，如king就不能删，而standing可以删。

缺陷：如living之类的词，删掉后变成liv，并没有真正意义上的还原
判断一个单词是否是句尾单词：

（1）之后有大量空白

（2）后面的标点是?!:

（3）当之后是一个片段时，之后无如etc等的缩略词。

决策树形式：





判断句尾单词的扩展条件：

（1）带.的单词的开头字母大小写、是否数字等

（2）.之后的单词开头字母大小写、是否数字等

（3）带.的单词长度

（4）带.的单词在句尾的概率

（5）.之后的单词在句首的概率

总结：

词根还原，简单的做法就是直接删除类别，再进一步就是分析单词本身结构，如是否带元音、删除之后是否要在最后加e等

单词、句子分析，不仅要分析其本身结构，还要考虑上下文特征