使用分页查询来适应挖掘海量数据的需求
2006-03-18 16:02
253 查看
数据挖掘各类算法中,常常需要遍历整个数据库(表)。现实中的数据库可能十分大,往往不可能通过一个简单的Select *的方式遍历提取数据表内的所有元组。直接用Select * 的方式存在两大问题,一是Select *过后,可能要等很久数据库才能将所有信息提交完毕,第二是得到的结果可能是很大,远远超过内存的限制。
现在各种主流的数据库都支持了分页查询的方式。
以Oracle为例,通过rownum关键字可以获取指定的行区间。
比如: Select * from XX.TABLE1 where rownum <= 100。不过Oracle的rownum有点特别的就是,rownum必须从1开始,如果直接这样写就不行了: Select * from XX.TABLE1 where rownum between 50 and 100。
而实际上,我们可以这样来写:SELECT * from (select n.*,rownum num from XX.TABLE1 n WHERE rownum <=100) where num >= 50;
以MySQL为例,提供了limit关键字,更加方便获取中间某区间的行数据。
比如: Select * from TABLE1 limit 50,100。 MySQL的limit关键字用起来比Oracle要方便一些。不过各个数据库的分页查询的速度我倒没有研究过,网上听一些高手们说,Oracle提供的分页查询效率要高一些。
Hibernate这样的数据持久层提供的分页查询,可以屏蔽掉各个不同的数据库之间具体SQL实现差异。
Hiberante这样的数据持久层工具一大好处就是可以屏蔽掉不同数据库的之间的某些细节差异。分页查询在不同的数据库上实现的SQL不一样,所以要统一,最好使用Hibernate这样的工具。
Query q = session.createQuery("from Cat as c");
q.setFirstResult(50);
q.setMaxResults(100);
List l = q.list();
网上到处都可以搜寻到关于Hibernate内部实现分页查询的解读的文章。可以看到,Hibernate内部也是通过rownum,limit这些关键字来实现分页的。
现在各种主流的数据库都支持了分页查询的方式。
以Oracle为例,通过rownum关键字可以获取指定的行区间。
比如: Select * from XX.TABLE1 where rownum <= 100。不过Oracle的rownum有点特别的就是,rownum必须从1开始,如果直接这样写就不行了: Select * from XX.TABLE1 where rownum between 50 and 100。
而实际上,我们可以这样来写:SELECT * from (select n.*,rownum num from XX.TABLE1 n WHERE rownum <=100) where num >= 50;
以MySQL为例,提供了limit关键字,更加方便获取中间某区间的行数据。
比如: Select * from TABLE1 limit 50,100。 MySQL的limit关键字用起来比Oracle要方便一些。不过各个数据库的分页查询的速度我倒没有研究过,网上听一些高手们说,Oracle提供的分页查询效率要高一些。
Hibernate这样的数据持久层提供的分页查询,可以屏蔽掉各个不同的数据库之间具体SQL实现差异。
Hiberante这样的数据持久层工具一大好处就是可以屏蔽掉不同数据库的之间的某些细节差异。分页查询在不同的数据库上实现的SQL不一样,所以要统一,最好使用Hibernate这样的工具。
Query q = session.createQuery("from Cat as c");
q.setFirstResult(50);
q.setMaxResults(100);
List l = q.list();
网上到处都可以搜寻到关于Hibernate内部实现分页查询的解读的文章。可以看到,Hibernate内部也是通过rownum,limit这些关键字来实现分页的。
相关文章推荐
- 使用分页查询来适应挖掘海量数据的需求
- 使用分页查询来适应挖掘海量数据的需求
- 使用分页查询来适应挖掘海量数据的需求 选择自 tangl_99 的 Blog
- 使用分页查询来适应挖掘海量数据之概论
- 【mybatis】使用Plugin查询分页
- 【转】海量数据库的查询优化及分页算法方案
- 海量数据库的查询优化及分页算法方案
- 使用Ef框架进行分页..EF模糊查询..EF多表内连接查询
- EJB3 JPA JPQL 语句 查询 使用 函数 分页 子查询(2)
- MySQL使用limit来实现分页查询
- 海量数据库的查询优化及分页算法方案
- 海量数据库的查询优化及分页算法方案(3)--改善SQL语句[转]
- 用hibernate实现动态查询+分页的模板,另附struts2的标签在分页中的使用
- 数据挖掘(5):使用mahout做海量数据关联规则挖掘
- 海量数据库的查询优化及分页算法方案
- 两种使用nuzt接收动态参数编写SQL语句进行分页查询
- 2.非关系型数据库(Nosql)之mongodb:mongodb显示所有数据库,使用数据库,集合创建(显示和隐式创建),集合查询,初步数据的增删改查,分页
- JDBC实现分页查询,同时使用动态数据源
- 海量数据分页优化建议与通用分页控件的使用
- Yii Framework使用DAO方式查询分页代码