最大熵模型—读数学之美
2011-09-14 19:46
267 查看
保留全部的不确定性,使得熵最大,风险最小。
最大熵原理:对一个随机事件的概率分布进行预测时,要满足全部的已知条件,对未知的情况不要做主观假设,概率分布越均匀,预测风险越小。要保留所有的不确定性。
举例:拼音转汉字
1.根据语言模型:wang-xiao-bo,可以翻译为“王小波”和“王晓波”。
2.根据主题,王小波是作家,王晓波是台湾研究两岸关系的学者。
建立一个最大熵模型,同时满足这2种条件。Csiszar证明,对任何一组不自相矛盾的信息,最大熵模型不仅存在,而且唯一,即指数函数。以下公式,根据上下文(前2个词)和主题预测下一个词的最大熵模型。w3是要预测的词,w1和w2是w3之前的词,subject是主题。
公式中的参数,需要根据数据进行模型训练。
最大熵模型的几个典型应用:词性标注、句法分析、机器翻译、股票预测。
相关文章推荐
- 数学之美 系列十六 (下)- 不要把所有的鸡蛋放在一个篮子里 最大熵模型
- 数学之美 系列十七(上) 不要把所有的鸡蛋放在一个篮子里 -- 谈谈最大熵模型
- 数学之美 系列十六(上) 不要把所有的鸡蛋放在一个篮子里 -- 谈谈最大熵模型
- 数学之美 系列十六(上) 不要把所有的鸡蛋放在一个篮子里 -- 谈谈最大熵模型
- 数学之美 系列十六 (下)- 不要把所有的鸡蛋放在一个篮子里 最大熵模型
- 最大熵模型中的数学推导
- 数学之美 系列十六 (下)- 不要把所有的鸡蛋放在一个篮子里 最大熵模型
- 最大熵模型中的数学推导
- 最大熵模型中的数学推导
- 数学之美 系列十六 (下)- 不要把所有的鸡蛋放在一个篮子里 最大熵模型
- 数学之美系列十六:不要把所有的鸡蛋放在一个篮子里 — 谈谈最大熵模型
- 数学之美10--模型的重要性以及最大熵模型
- 数学之美 系列十六 (下)- 不要把所有的鸡蛋放在一个篮子里 最大熵模型
- 数学之美 系列十六(上) 不要把所有的鸡蛋放在一个篮子里 -- 谈谈最大熵模型
- 数学之美系列十六 -- 谈谈最大熵模型
- 数学之美系列十六 -- 谈谈最大熵模型
- 数学之美 系列十六(上) 不要把所有的鸡蛋放在一个篮子里 -- 谈谈最大熵模型
- 数学之美 系列十六(下)- 不要把所有的鸡蛋放在一个篮子里 最大熵模型
- 最大熵模型中的数学推导
- 最大熵模型中的数学推导