高性能的大型系统经验 -- 数据查询与分页
2015-09-19 19:42
274 查看
本文讨论针对大型数据表(记录数2千万以上)进行数据查找与分页的可行的高效方案。
首先,恰当的索引是必须的。
没有索引的支持,在大数据表中进行查询是不可思议的。关键点在于如何创建索引?
1.建立正确的聚集索引(clustered index)。由于聚集索引的叶子节点就是记录本身,所以选择哪个索引为聚集索引非常关键。通过聚集索引扫描记录更快。
2.根据你的系统的需求总结常用的单个查询条件或综合性的查询条件,对于常用的单个查询条件建立单列索引,对常用的综合性查询条件建立联合索引。
3.关于数据库查询引擎如何利用索引,要注意以下几点:
(1)对于单列索引,只要条件列中出现索引列,无论在什么位置,都能利用索引查询。
(2)查询条件中出现联合索引第一列,或者全部,则能利用联合索引。
(3)条件列中只要条件相连在一起,无论前后,都会利用上联合索引。
(4)查询条件中没有出现联合索引的第一列,而出现联合索引的第二列,或者第三列,则都不会利用联合索引查询。
接下来,我们看如何进行分页。
1.利用索引(或联合索引)将满足条件的记录的主键列INTO到一个临时表(只有一列,与目标表的主键对应)。
2.Count (*) 临时表获取满足条件的记录的总数。
3.从临时表中获取第N页的主键值集合。
4.根据主键值集合从目标表中取出对应的记录以构成所要的Page。
5.释放临时表。
按照这种方式进行分页查询,如果满足条件的记录数在几万以内,分页查询都可在1秒内返回。
最后提醒一句,不要轻易的在大数据表上执行不带条件的Select Count(*) From Table,该操作将非常耗时,而且由于扫描时会在目标表上加S锁,这段期间对目标表的Insert/update/delete操作将被阻塞,从而可能引发Insert/update/delete操作执行超时。
注:本文源于我的SqlServer经验,可能在Oracle中有更好的办法,呵呵:)
首先,恰当的索引是必须的。
没有索引的支持,在大数据表中进行查询是不可思议的。关键点在于如何创建索引?
1.建立正确的聚集索引(clustered index)。由于聚集索引的叶子节点就是记录本身,所以选择哪个索引为聚集索引非常关键。通过聚集索引扫描记录更快。
2.根据你的系统的需求总结常用的单个查询条件或综合性的查询条件,对于常用的单个查询条件建立单列索引,对常用的综合性查询条件建立联合索引。
3.关于数据库查询引擎如何利用索引,要注意以下几点:
(1)对于单列索引,只要条件列中出现索引列,无论在什么位置,都能利用索引查询。
(2)查询条件中出现联合索引第一列,或者全部,则能利用联合索引。
(3)条件列中只要条件相连在一起,无论前后,都会利用上联合索引。
(4)查询条件中没有出现联合索引的第一列,而出现联合索引的第二列,或者第三列,则都不会利用联合索引查询。
接下来,我们看如何进行分页。
1.利用索引(或联合索引)将满足条件的记录的主键列INTO到一个临时表(只有一列,与目标表的主键对应)。
2.Count (*) 临时表获取满足条件的记录的总数。
3.从临时表中获取第N页的主键值集合。
4.根据主键值集合从目标表中取出对应的记录以构成所要的Page。
5.释放临时表。
按照这种方式进行分页查询,如果满足条件的记录数在几万以内,分页查询都可在1秒内返回。
最后提醒一句,不要轻易的在大数据表上执行不带条件的Select Count(*) From Table,该操作将非常耗时,而且由于扫描时会在目标表上加S锁,这段期间对目标表的Insert/update/delete操作将被阻塞,从而可能引发Insert/update/delete操作执行超时。
注:本文源于我的SqlServer经验,可能在Oracle中有更好的办法,呵呵:)
相关文章推荐
- 关于Linux/kernel.h中的offsetof和container_of宏
- 2015.9.19 第十三堂 NSSArray
- JAVA基础学习--一个线程加一运算,一个线程做减一运算,多个线程同时交替运行--synchronized
- Oracle常见操作汇总(转)
- 95后美少女CEO徐可:社交产品的终结点就是约炮?
- 差分表
- java往mysql写数据中文变成了?号
- C++利用模板实现一个队列
- Hadoop问题,求解
- opencv视频跟踪2
- 一个线程加一运算,一个线程做减一运算,多个线程同时交替运行--synchronized
- OpenCV 使用FaceRecognizer类来进行人脸识别
- 这里选择VS 2010作为dll的开发工具
- HMM——维比特算法
- 我的架构经验
- IT引导学生成长的文章链接(十二)
- 城市平乱 115 (最短路问题 反向)
- hdu acm1157
- 转 java中弱引用
- 【计蒜客】基础算法入门之二分查找