任务三 非人物分析判断

任务三 非人物分析判断

标签（空格分隔）： 一找

任务描述

个人的补充：做这个任务主要是为了优化NER（命名实体识别）的词库，如果不进行优化，会将很多非人物的姓名丢进去训练NER模型，导致最终训练出来的模型会将许多非人物识别为人物。

实现方案

写了一堆的规则，比如出生年月、国籍、民族等等来判断

调用规则对一些常见人名比如张三李四的处理结果不太好，因此用了HanLP（一个开源自然语言处理包）中的NER模块对这些常见人名进行处理，提高了准确率

具体方案可以看tower任务的二楼流程图

代码

位于

com.yeezhao.dolphin.crawler.people

中的

PeopleIdentityAnalyze

一些关键点说明：

PEOPLE_DESCRIPTORS：人物描述符，作为判断是否为人物的依据

peopleAttrWords： 人物属性，如果从HBase读来的json数据含有这些属性其中之一，就认为是一个人物

Weight：不同规则的权重

handleEntry(PeopleInfo info)：基于规则得到的分数 判断一条记录是不是人物

hasPeopleInfo(PeopleInfo info, Map attrMap, String key, String idForCheck)：统计一条记录包含多少PEOPLE_DESCRIPTORS种的信息，作为判断是否为人物的依据之一

遇到问题

名字里带故居、墓的被识别为人物

解决：用正则表达式加以判断

更新SQL表速度慢

暂时得不到解决

一些权重设置有问题，详情请见

t_people_misclassified

表，里面有个

score

字段，表示加权后的得分，另外有个

match

字段，表示正则表达式命中的关键字，你会发现有些命中了出生年月的人得分很低，原因是我给出生年月的规则设置的权重比较低， 解决办法是给这些规则设置更细致的优先级。