1.1.4.0 改动说明(这个版本单个关键字的查询速度大幅提高了)
2011-07-24 17:11
381 查看
1.1.4.0 版本对底层的查询算法做了很大改进,特别是对单个关键字的查询速度,原来版本当匹配100万时用时 130ms,这个版本用时只有30ms。
原来版本的测试报告见 /article/4689833.html 这个速度大概是 lucene.net 的三倍左右。
查询的性能应该还有进一步提高空间,等完全优化好,我出一个最新的测试报告。
这个版本加载的速度有了显著提高,加载1000万行记录的索引,原来版本用时 23秒,这个版本用时只有1.9秒。
由于底层算法改进,多关键字的查询速度也相应有了提高。
这个版本对异步通信的连接池算法进行了优化,异步通信方式更加稳定和快速。
这个版本我测出了 hubbledotnet 的单个关键字查询理论最快速度(多关键字的查询速度比单关键字快,这个是hubble 的算法特点),这个速度建立在内存索引和部分代码用C++完成的基础上(目前还没有实现,只是理论值),理论上在 2GHZ CPU 单核运行,匹配100万记录时,hubble的理论最快速度是 8ms. 这个速度已经非常快了,查询结果平均匹配100万行的话,总记录数一般应该在1亿以上了,这么大的数据量,单核8ms完成的话,4核的普通服务器一秒钟可以做500次查询,单机可以支持1亿以上行记录索引每天超过4000万次查询,如果再加上缓存,每天可以达到1亿次以上查询。
原来版本的测试报告见 /article/4689833.html 这个速度大概是 lucene.net 的三倍左右。
查询的性能应该还有进一步提高空间,等完全优化好,我出一个最新的测试报告。
这个版本加载的速度有了显著提高,加载1000万行记录的索引,原来版本用时 23秒,这个版本用时只有1.9秒。
由于底层算法改进,多关键字的查询速度也相应有了提高。
这个版本对异步通信的连接池算法进行了优化,异步通信方式更加稳定和快速。
这个版本我测出了 hubbledotnet 的单个关键字查询理论最快速度(多关键字的查询速度比单关键字快,这个是hubble 的算法特点),这个速度建立在内存索引和部分代码用C++完成的基础上(目前还没有实现,只是理论值),理论上在 2GHZ CPU 单核运行,匹配100万记录时,hubble的理论最快速度是 8ms. 这个速度已经非常快了,查询结果平均匹配100万行的话,总记录数一般应该在1亿以上了,这么大的数据量,单核8ms完成的话,4核的普通服务器一秒钟可以做500次查询,单机可以支持1亿以上行记录索引每天超过4000万次查询,如果再加上缓存,每天可以达到1亿次以上查询。
相关文章推荐
- android 数据库查询中使用索引-大幅提高数据库操作速度
- 表分区MySQL版本:5.5.11比5.1查询速度明显提高(4倍左右)
- 当选择关键字不是MSEG的索引关键字时,用EKBE代替MSEG可以提高查询速度N倍!
- 表分区MySQL版本:5.5.11比5.1查询速度明显提高(4倍左右)
- Maven快速镜像(大幅提高下载速度)
- Oracle数据库查询优化方案(处理上百万级记录如何提高处理查询速度)
- Java执行速度大幅提高
- 如何使用索引提高查询速度
- 利用SQL索引提高查询速度
- 提高查询速度方法总结
- 根据查询的关键字,实现获取百度指定页数的搜索结果的信息(网页地址,标题,摘要,并有排序的说明)
- 处理百万级以上的数据提高查询速度的方法
- 处理百万级以上的数据提高查询速度的方法
- 利用SQL索引提高查询速度
- 提高数据库查询速度的几个思路
- Redis进阶实践之十八 使用管道模式提高Redis查询的速度
- 提高ORACLE数据库的查询统计速度(转贴)
- 提高sql数据库查询速度
- magento Compilation 预编译 开启后可以大幅提高 Magento 系统的运行速度
- Nginx开启Gzip压缩大幅提高页面加载速度及相关测试