Friso-1.6.0 发布 - C语言高性能中文分词器,GBK支持
2013-12-31 11:21
288 查看
Friso是使用c语言开发的u一款开源中文分词器,使用流行的mmseg算法实现。完全基于模块化设计和实现,可以很方便的植入其他程序中,例如:MySQL,PHP,源码无需修改就能在各种平台下编译使用,并且提供了一个php的扩展: robbe. 同时支持对UTF-8/GBK编码的切分.
Friso-1.6.0:
1. friso_stirng.c#utf8_decimal_string初始化bytes = 0, 去除WinNT的Run-Time Check Failed.
2. 复杂英文和数字组合的二次切分.
Friso认为数字和字母组合在一起肯定有其特殊的含义,所以要保留。同时这个功能可以避免检索命中率的下降。例如: QQ2013会被切分成: qq2013, qq, 2013, chenxin619315@gmail.com会被切分成:chenxin/ 619315/ gmail/ com/ chenxin619315@gmail.com
3. GBK编码支持.(Friso-1.6.0后,词库分为UTF-8和GBK版本).
出于实际应用的考虑,编码支持被设计为全局的,也就是创建Friso的时候就必须制定编码。如果你的项目有出现要同时支持GBK和UTF-8的情况,可以创建一个GBK的Friso和一个UTF-8的Friso。
4. 增加了friso.ini中自定义保留标点, 去除了默认对"^,/,-,'"等标点的保留。
有利于自定义去识别一些复杂词条,例如:c++, k&r。
5. 使用掩码操作控制变量来代替了原来的多个控制变量.
6. 切分结果friso_hits_t中增加了对词条类别和词条长度的返回,纠正了offset的误差。
7. 做了一些优化,例如:同义词的追加(普通/sphinx定义)复杂的判断逻辑,改为了使用掩码状态控制,不仅减少了代码量还提高了执行效率。
8. 更多的返回信息,增加了对切分词条的类别,长度,真实长度,词性(待实现)等信息的返回。
同时很遗憾的 @海盗船长.pk 这个版本中没能真正的实现词性标注。
9. 增加了安装中头文件的自动拷贝(usr/include/friso),可以通过include <friso/xx.h>来引用头文件。
Friso官方网站:http://code.google.com/p/friso/
Friso源码托管:http://git.oschina.net/lionsoul/friso
感谢网友的关注和反馈,祝您工作愉快。。。
Friso-1.6.0:
1. friso_stirng.c#utf8_decimal_string初始化bytes = 0, 去除WinNT的Run-Time Check Failed.
2. 复杂英文和数字组合的二次切分.
Friso认为数字和字母组合在一起肯定有其特殊的含义,所以要保留。同时这个功能可以避免检索命中率的下降。例如: QQ2013会被切分成: qq2013, qq, 2013, chenxin619315@gmail.com会被切分成:chenxin/ 619315/ gmail/ com/ chenxin619315@gmail.com
3. GBK编码支持.(Friso-1.6.0后,词库分为UTF-8和GBK版本).
出于实际应用的考虑,编码支持被设计为全局的,也就是创建Friso的时候就必须制定编码。如果你的项目有出现要同时支持GBK和UTF-8的情况,可以创建一个GBK的Friso和一个UTF-8的Friso。
4. 增加了friso.ini中自定义保留标点, 去除了默认对"^,/,-,'"等标点的保留。
有利于自定义去识别一些复杂词条,例如:c++, k&r。
5. 使用掩码操作控制变量来代替了原来的多个控制变量.
6. 切分结果friso_hits_t中增加了对词条类别和词条长度的返回,纠正了offset的误差。
7. 做了一些优化,例如:同义词的追加(普通/sphinx定义)复杂的判断逻辑,改为了使用掩码状态控制,不仅减少了代码量还提高了执行效率。
8. 更多的返回信息,增加了对切分词条的类别,长度,真实长度,词性(待实现)等信息的返回。
同时很遗憾的 @海盗船长.pk 这个版本中没能真正的实现词性标注。
9. 增加了安装中头文件的自动拷贝(usr/include/friso),可以通过include <friso/xx.h>来引用头文件。
Friso官方网站:http://code.google.com/p/friso/
Friso源码托管:http://git.oschina.net/lionsoul/friso
感谢网友的关注和反馈,祝您工作愉快。。。
相关文章推荐
- friso-1.6.1 发布 - C语言高性能中文分词器-检测模式切分
- Robbe-1.6.0 发布 - PHP开源中文分词扩展, GBK支持
- CYQ.Blog(QBlog) 单用户版本V3.0 发布下载[免费,简洁,高性能,双语言,8套皮肤,4种数据库支持]
- CYQ.Blog(QBlog) 单用户版本V3.0 发布下载[免费,简洁,高性能,双语言,8套皮肤,4种数据库支持]
- WSTMall V1.6.0发布,支持QQ、微信登录,支持购物车信息插入数据库
- CYQ.Blog(QBlog) 单用户版本V3.0 发布下载[免费,简洁,高性能,双语言,8套皮肤,4种数据库支持]
- AAuto0.60发布,支持直接执行C语言代码(TCC扩展库)
- CYQ.Blog(QBlog) 单用户版本V3.0 发布下载[免费,简洁,高性能,双语言,8套皮肤,4种数据库支持]
- robbe-1.2发布-支持最新版本的friso+WinNT下php各版本的dll
- CYQ.Blog(QBlog) 单用户版本V3.0 发布下载[免费,简洁,高性能,双语言,8套皮肤,4种数据库支持]
- C语言socket判断网络是否联通(支持域名/附源码)
- PhoneGap 3.0发布:新API、更好的工具以及多平台支持
- MyEclipse 2013正式发布 支持HTML5、JQuery
- C++高性能服务框架revolver:同时支持100万个的定时事件的定时器
- Java 开源博客 Solo 1.6.0 发布 - 新后台
- Dr.Web 4.44 正式发布,支持Vista
- Wine 3.0 发布,支持 Android 图形驱动、Direct3D 11 | Linux 中国
- 支持实时特效功能, Camera360 for iPhone V2.0新版发布
- Nginx发布1.9.0版本,新增支持TCP代理和负载均衡的stream模块
- NBearV3.0.0 Preview发布 - 全新ORM实现![11/1 更新:全面支持实体属性级联更新]