使用分页查询来适应挖掘海量数据的需求 选择自 tangl_99 的 Blog
2006-03-18 18:43
295 查看
使用分页查询来适应挖掘海量数据的需求
选择自 tangl_99 的 Blog
数据挖掘各类算法中,常常需要遍历整个数据库(表)。现实中的数据库可能十分大,往往不可能通过一个简单的Select *的方式遍历提取数据表内的所有元组。直接用Select * 的方式存在两大问题,一是Select *过后,可能要等很久数据库才能将所有信息提交完毕,第二是得到的结果可能是很大,远远超过内存的限制。
现在各种主流的数据库都支持了分页查询的方式。
以Oracle为例,通过rownum关键字可以获取指定的行区间。
比如: Select * from XX.TABLE1 where rownum <= 100。不过Oracle的rownum有点特别的就是,rownum必须从1开始,如果直接这样写就不行了: Select * from XX.TABLE1 where rownum between 50 and 100。
而实际上,我们可以这样来写:SELECT * from (select n.*,rownum num from XX.TABLE1 n WHERE rownum <=100) where num >= 50;
以MySQL为例,提供了limit关键字,更加方便获取中间某区间的行数据。
比如: Select * from TABLE1 limit 50,100。 MySQL的limit关键字用起来比Oracle要方便一些。不过各个数据库的分页查询的速度我倒没有研究过,网上听一些高手们说,Oracle提供的分页查询效率要高一些。
Hibernate这样的数据持久层提供的分页查询,可以屏蔽掉各个不同的数据库之间具体SQL实现差异。
Hiberante这样的数据持久层工具一大好处就是可以屏蔽掉不同数据库的之间的某些细节差异。分页查询在不同的数据库上实现的SQL不一样,所以要统一,最好使用Hibernate这样的工具。
Query q = session.createQuery("from Cat as c");
q.setFirstResult(50);
q.setMaxResults(100);
List l = q.list();
网上到处都可以搜寻到关于Hibernate内部实现分页查询的解读的文章。可以看到,Hibernate内部也是通过rownum,limit这些关键字来实现分页的。
选择自 tangl_99 的 Blog
数据挖掘各类算法中,常常需要遍历整个数据库(表)。现实中的数据库可能十分大,往往不可能通过一个简单的Select *的方式遍历提取数据表内的所有元组。直接用Select * 的方式存在两大问题,一是Select *过后,可能要等很久数据库才能将所有信息提交完毕,第二是得到的结果可能是很大,远远超过内存的限制。
现在各种主流的数据库都支持了分页查询的方式。
以Oracle为例,通过rownum关键字可以获取指定的行区间。
比如: Select * from XX.TABLE1 where rownum <= 100。不过Oracle的rownum有点特别的就是,rownum必须从1开始,如果直接这样写就不行了: Select * from XX.TABLE1 where rownum between 50 and 100。
而实际上,我们可以这样来写:SELECT * from (select n.*,rownum num from XX.TABLE1 n WHERE rownum <=100) where num >= 50;
以MySQL为例,提供了limit关键字,更加方便获取中间某区间的行数据。
比如: Select * from TABLE1 limit 50,100。 MySQL的limit关键字用起来比Oracle要方便一些。不过各个数据库的分页查询的速度我倒没有研究过,网上听一些高手们说,Oracle提供的分页查询效率要高一些。
Hibernate这样的数据持久层提供的分页查询,可以屏蔽掉各个不同的数据库之间具体SQL实现差异。
Hiberante这样的数据持久层工具一大好处就是可以屏蔽掉不同数据库的之间的某些细节差异。分页查询在不同的数据库上实现的SQL不一样,所以要统一,最好使用Hibernate这样的工具。
Query q = session.createQuery("from Cat as c");
q.setFirstResult(50);
q.setMaxResults(100);
List l = q.list();
网上到处都可以搜寻到关于Hibernate内部实现分页查询的解读的文章。可以看到,Hibernate内部也是通过rownum,limit这些关键字来实现分页的。
相关文章推荐
- 使用分页查询来适应挖掘海量数据的需求
- 使用分页查询来适应挖掘海量数据的需求
- 使用分页查询来适应挖掘海量数据的需求
- 使用分页查询来适应挖掘海量数据之概论
- 海量数据库的查询优化及分页算法方案(三)
- 海量数据库的查询优化及分页算法方案
- 使用子查询提高MySQL分页效率
- Eclipse 使用秘籍 选择自 jhxck 的 Blog
- TreeView使用集锦 选择自 yangyifan0 的 Blog
- 在Spring Boot中使用Spring-data-jpa实现分页查询
- 2.非关系型数据库(Nosql)之mongodb:mongodb显示所有数据库,使用数据库,集合创建(显示和隐式创建),集合查询,初步数据的增删改查,分页
- 海量数据库的查询优化及分页算法方案
- 使用准则进行条件查询--1.4.从窗体中选择查询的条件
- mysql大数据量使用limit分页,随着页码的增大,查询效率底下的解决办法
- 使用CDbCriteria对yii查询分页
- 项目中sql语句使用max函数,但查询结果与需求不符!
- 跟我学SQL:使用SQL子选择来合并查询
- 使用Bootstrap4 + Vue2实现分页查询的示例代码
- 使用插件bootstrap-table实现表格记录的查询、分页、排序等处理
- 海量数据库的查询优化及分页算法方案