文本挖掘与分析课程笔记_Week3
2018-01-04 11:04
274 查看
第三周笔记
概率主题模型：混合一元语言模型
用两个词分布来表示，以此去除背景词（常见但意义不大的词）θd表示主题词分布
θB表示背景词分布
文本中某个词的概率计算
混合两个一元语言模型（解析）
利用最大似然求解混合两个一元语言模型时，θd和θB会出现“合作”和“竞争”在θB（背景词）分布中，概率大的词，相对地在θd（主题词）中概率会变小
某个词出现的次数越多，那么它在θd中的概率越高
假设【所有参数已知】求某个词，其来自主题词的概率公式（z为隐变量，当z为1是表示该词来自背景词）
最大期望算法 Expectation-Maximization（EM）
给p（w|θd）随机初始化一个值，通过E-step和M-step计算，使初始值改变，逐渐逼近最佳值（局部最优值）E-step是用附加信息来支持数据，像z（E-step用来计算lower bound的）
M-step是用附加信息来分开数据，分隔数据账目并收集正确的数据账目，重新估计参数（M-step用来提升，最大化下界）
EM算法的解释（像爬山，最终会收敛于一个局部最优）
- - - - 1.糟糕的初始值可能会得不到全局最优
概率隐语义分析 Probabilistic Latent Semantic Analysis（PLSA）
混合一元语言模型有多个（k个）主题分布的情况（注意参数λ和π）
参数解析
参数计算（最大似然函数）
最大似然难求解，可用EM算法，同理有E-step和M-step
潜在利克雷分布 Latent Dirichlet Allocation（LDA）
最大后验概率估计
PLSA的一些缺点
- - - - 1.不是一个生成模型，即无法计算新文档的概率
- - - - 1.参数过多，使得计算过程复杂
与PLAS相比，LDA所做出的改进
似然函数的调整
课程小结
课后测验
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 文本挖掘与分析课程笔记_Week1
- 文本挖掘与分析第五周学习笔记3--意见挖掘和情感分析
- coursera 公开课 文本挖掘和分析（text mining and analytics） week 1 笔记
- 图像处理、分析、识别、应用的课程笔记，PPT/PDF课件，计算机视觉中的机器学习、目标识别、分割、文本识别、fMRI 分析、运动和追踪等在线视频教程
- 中文文本挖掘课程笔记之jieba分词（1）
- python数据分析与挖掘学习笔记（3）_小说文本数据挖掘part1
- 【python数据挖掘课程】二十一.朴素贝叶斯分类器详解及中文文本舆情分析
- python数据分析与挖掘学习笔记（3）_小说文本数据挖掘part2
- 情感分析与观点挖掘总结笔记（一）
- 使用文本挖掘技术分析Twitter用户对电影的评价
- 【Python数据挖掘课程笔记】八.关联规则挖掘及Apriori实现购物推荐
- 【PHP TO ASP.NET 2.0开发系列课程(1)：PHP与ASP.NET2.0之比较分析】笔记
- R语言做文本挖掘 Part5情感分析
- python数据挖掘学习笔记】十三.WordCloud词云配置过程及词频分析
- [生物医学文本挖掘]文献阅读汇报笔记(1)
- 【课程笔记】地统计分析
- 【数据挖掘笔记十】聚类分析：基本概念和方法
- python数据分析与挖掘学习笔记（5）-公司客户价值判断分析与聚类算法
- 数据分析之《菜鸟侦探挑战数据分析》-4-文本挖掘
- 以虎嗅网4W+文章的文本挖掘为例，展现数据分析的一整套流程