您的位置:首页 > 编程语言 > C语言/C++

friso-1.6.1 发布 - C语言高性能中文分词器-检测模式切分

2014-07-23 10:47 309 查看
Friso是使用c语言开发的一款开源中文分词器,使用流行的mmseg算法实现。完全基于模块化设计和实现,可以很方便的植入其他程序中,例如:MySQL,PHP,源码无需修改就能在各种平台下编译使用,同时支持对UTF-8/GBK编码的切分.

friso-1.6.1:

1. friso.ini中friso.lex_dir增加相对friso.ini的路径支持,这个可以让嵌入部署更方便。

2. 修复两处内存泄漏bug。 (无名英雄找到的,在此感谢)

3. 改善中英混合词的识别, 可以识别更多情况,
例如:高3。

4. 词库优化, 加入了一些新词条。

5. 修复friso_dic_add &
array_list_insert的两处代码bug。

6. 增加检测模式切分, 只返回词库中有的词条,这个对于有些需求确实挺有用的。

7. 集成了php扩展绑定,完美支持PHP分词。以前这个是单独拿出来的,并且项目为robbe,为了方便管理,现在统一绑定到了friso项目里面。

friso从下个版本开始,会逐渐去提供sphinx的token
filter,socket接口等。

google
code不在提供下载,下载地址:

1. git@osc 附件:http://git.oschina.net/lionsoul/friso/attach_files

2. friso SF: https://sourceforge.net/projects/friso/files/

感谢广大网友的支持和反馈,祝大家工作愉快。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: