标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较
2012-07-26 10:08
731 查看
路径1-1-1-1的概率:0.4*0.45*0.5=0.09
路径2-2-2-2的概率:0.018
路径1-2-1-2:0.06
路径1-1-2-2:0.066
由此可得最优路径为1-1-1-1
而实际上,在上图中,状态1偏向于转移到状态2,而状态2总倾向于停留在状态2,这就是所谓的标注偏置问题,由于分支数不同,概率的分布不均衡,导致状态的转移存在不公平的情况。
PS:标注偏置问题存在于最大熵马尔可夫模型(MEMM)中,虽然MEMM解决了HMM输出独立性假设的问题,但是只解决了观察值独立的问题,状态之间的假设则是标注偏置问题产生的根源,CRF则解决了标注偏置问题,是HMM模型的进一步优化。
HMM模型中存在两个假设:一是输出观察值之间严格独立,二是状态的转移过程中当前状态只与前一状态有关(一阶马尔可夫模型)。
MEMM模型克服了观察值之间严格独立产生的问题,但是由于状态之间的假设理论,使得该模型存在标注偏置问题。
CRF模型解决了标注偏置问题,去除了HMM中两个不合理的假设,当然,模型相应得也变复杂了。
相关文章推荐
- HMM、MEMM、CRF模型比较和标注偏置问题(Label Bias Problem)
- 标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较
- 标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较<转>
- 标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较
- [转]从标注偏执问题(the label bias problem)看MEMM,HMM,CRFs
- HMM,MEMM,CRF模型的比较
- HMM、MEMM、CRF模型比较
- HMM,MEMM,CRF模型的比较(转)
- HMM,MEMM,CRF模型的比较
- HMM,MEMM,CRF模型的比较(转)
- HMM MEMM & label bias
- HMM模型 MEMM模型 CRF模型
- 【转】统计模型之间的比较,HMM,最大熵模型,CRF条件随机场
- CRF序列标注模型几个问题的理解
- HMM模型/最大熵模型/CRF模型比较
- HMM,MEMM,CRF模型
- Logistic 最大熵 朴素贝叶斯 HMM MEMM CRF 几个模型的总结
- 建立一个与词性标注问题相关联的HMM模型
- 下列哪个不属于CRF模型对于HMM和MEMM模型的优势( )
- python实现的基于hmm模型的词性标注系统