文本挖掘与分析课程笔记_Week1

前言

第一周笔记

从某种意义上来讲，人类可以比做一个观察器，但这个观察器输出的是文本，我们可以通过几个方面对文本进行分析：

NLP（自然语言处理）对计算机来说是困难的：

文本挖掘的各层次及相应可用的分析方法，应用如下：

基础词类关系：聚合（paradigmatic）和组合（syntagmatic）

计算词的相似度：VSM，相似度函数（将抽象的相似性问题转化为对高维向量距离的求解）

EOWC（共同词期望），这里的点积用于计算文档中，两个随意选择的词完全一样的概率（可用于测量文档相似度）：

EOWC的一些缺点及对应解决方法：

TF（词频，某个词在该文件中出现的次数）及BM25（出现越频繁的权重越低，但不会超过x=y）转换的具体形式：

IDF（反文档频率）

用BM25来挖掘组合关系：

课后测验