笔记-1999-消解中文三字长交集型分词歧义的算法

消解中文三字长交集型分词歧义的算法

出处：清华大学学报（自然科学版）1999年第5期

单位：清华大学

作者：孙茂松
三字，交搭歧义，词性，词概率，组合概率，分类词表概率主要内容：

根据对一个1亿字汉语语料库的观察, 三字长交集型分词歧义就静态个数而言占全部交集型分词歧义的33.29%, 动态覆盖率更占全部交集型分词歧义的49.76%。

1 词概率+ 词性Bigram法,

对S3z=ABC, 其切分取作

AB/ C, 如果f ( AB, C) - f ( A, BC) > t0;

A/ BC, 如果f ( AB, C) - f ( A, BC) < - t0;

未定, 如果ûf ( AB, C) - f ( A, BC) û≤t0.

2设定六个字表

对S3z= ABC, 根据分词语料库对{S03z}的人工切分结果, 可搜集到6个关于首字A、中字B、尾字C的字表:

字表L1 为切分为单字词频率很高的首字A 的集合,

字表L2 为切分为单字词频率很低的首字A 的集合,

字表L3 为与首字A 结合成词频率很高的中字B的集合,

字表L4 为与尾字C结合成词频率很高的中字B的集合,

字表L5 为切分为单字词频率很高的尾字C的集合,

字表L6 为切分为单字词频率很低的尾字C的集合

设L是上述任一汉字表, Z是任意汉字, 令

RL ( Z) = 0, 　Z∈/ L;或 1, 　Z∈L.

k1 = RL1( A) + RL4( B) + RL6( C) ,

k2 = RL2( A) + RL3( B) + RL5( C) .

则常用字分合法可描述为对S3z= ABC, 其切分取作

A/ BC, 如果k1 > k2;

AB/ C, 如果k1 < k2;

未定, 其它