HMM最大匹配分词算法（Python）

正向最大匹配算法是我国最早提出的解决中文分词问题的算法，因其简单易操作，至今仍作为机器分词的粗分算法，在今天看来，这种算法的准确率远不够高，无法达到令人满意的要求。这只是一次练习。

待切分文本是：

我和你共同创造美好的新生活

词典：

共同，创造，美好，的，新，生活

预期分词效果：

我 和 你 共同 创造 美好 的 新 生活

# Python 3.4.3

lexicon = ('共同','创造','美好','的','新','生活') # 为了方便，词典直接写在程序里。
wordSeg = []    # 新建列表存放切分好的词
maxWordLen = 3  # 最大词长设为3
with open('test.txt','r', encoding='utf-8') as src:
sentence = src.read()
sentenceLen = len(sentence)
wordLen = min(maxWordLen, sentenceLen)
startPoint = 0
while startPoint < sentenceLen:  # 从第一个字符循环到最后一个字符
matched = False    # 假设找不到匹配的词
for i in range(maxWordLen, 0, -1):  # 从最大词长3递减到1
string = sentence[startPoint:startPoint+i]  # 取startPoint开始到startPoint+i-1的切片
if string in lexicon:
wordSeg.append(string)
matched = True
break
if not matched:    # 假如在词典中找不到匹配
i = 1
wordSeg.append(sentence[startPoint])   # 全部切分为单字词
startPoint += i

with open('WordSeg.txt', 'w', encoding='utf-8') as des:
for word in wordSeg:
des.write(word+' ')

分词成果：

我 和 你 共同 创造 美好 的 新 生活

召回率：100%

正确率：100%

文章受到了” Blueliner,fighting!!!“的启发，表示感谢。

Blueliner,fighting!!!的《中文分词算法之最大正向匹配算法（Python版）》

[文章链接]