最近一个崩溃的问题——针对数据量很大,和并发访问量高的时候
2008-12-17 09:59
441 查看
因为被要求做一个SB的在线考试系统,现在程序做好了,但是如果超过50人以上的学生同时登录上去进行考试的时候,就会出现偶尔的页面显示不了,但是再刷新一下就出来了,并没有数据丢失,就是有时候个别的显示不出来,是因为数据量太大了?并发访问量过高吗?目前不得而知,搞得很是郁闷,不知道怎么搞得,从网上暂搜一篇文章,供自己分析、参考。
如有什么好方法 尽可留言指导,再次谢过!(开发语言:c# 数据库sql-server2005)
来源:http://www.phpx.com/viewarticle.php?id=148327
主要是针对数据量很大,和并发访问量高的时候
经验一:
在开发过程中,我们经常会写
SELECT * FROM table WHERE 1 ORDER BY xxx DESC LIMIT 0,10
这样的语句用来分页
在有完美索引的情况 对xxx建立索引
前面几页会很快,但如果数据量达到100万级以后,我们查询最后一页
SELECT * FROM table WHERE 1 ORDER BY xxx DESC LIMIT 999990,10
这句执行就会很慢,同时有多人访问服务器就会掉 (这里不考虑缓存,因为内容更新太快,有时候缓存了达不到数据的更新的要求)
但如果我们把
SELECT * FROM table WHERE 1 ORDER BY xxx DESC LIMIT 999990,10
换成
SELECT * FROM table WHERE 1 ORDER BY xxx ASC LIMIT 0,10
这两个的MYSQL执行时间可是大大的不一样 当然要注意把这样取出来的结果用PHP重新排序一下
取得的一样是最后一页的数据,当然最中间的两页有部分数据一样
这时候最慢的只是最中间的部分,相对而言,访问最中间的人还是很少的
经验二:
例如论坛帖子列表的显示:
一般是SELECT * FROM table ORDER BY is_top DESC ,post_time DESC LIMIT 0,10这样的分页
两个order by 的执行是非常慢的,哪怕你有再好的索引,
我们的处理办法是 把is_top的数据CACHE住,毕竟is_top的数据量有限,更新这个缓存也容易
然后SQL一样是SELECT * FROM table ORDER BY post_time DESC LIMIT {$num},{$num2}
注意这个$num2 是减掉is_top的数量后的一个值,$num是is_top的数量
当然还要考虑is_top的数据量是不是有好几页,当前页的值是不是都在cache里面
经验三:
SELECT * FROM table ORDER BY RAND() LIMIT 100 这个ORDER BY RAND() 是非常慢的 能不用尽量不要用
处理办法是
1.用PHP生成数组后,然后用SELECT * FROM table WHERE id IN() WHERE IN 也比这个order by rand()快的多
2.如果数量信息不太重多,就用SELECT * FROM table WHERE 1 LIMIT 500 多取点数据,然后用php 处理数组
以后三个问题都是我在工作中引起过最大事故的
如有什么好方法 尽可留言指导,再次谢过!(开发语言:c# 数据库sql-server2005)
来源:http://www.phpx.com/viewarticle.php?id=148327
主要是针对数据量很大,和并发访问量高的时候
经验一:
在开发过程中,我们经常会写
SELECT * FROM table WHERE 1 ORDER BY xxx DESC LIMIT 0,10
这样的语句用来分页
在有完美索引的情况 对xxx建立索引
前面几页会很快,但如果数据量达到100万级以后,我们查询最后一页
SELECT * FROM table WHERE 1 ORDER BY xxx DESC LIMIT 999990,10
这句执行就会很慢,同时有多人访问服务器就会掉 (这里不考虑缓存,因为内容更新太快,有时候缓存了达不到数据的更新的要求)
但如果我们把
SELECT * FROM table WHERE 1 ORDER BY xxx DESC LIMIT 999990,10
换成
SELECT * FROM table WHERE 1 ORDER BY xxx ASC LIMIT 0,10
这两个的MYSQL执行时间可是大大的不一样 当然要注意把这样取出来的结果用PHP重新排序一下
取得的一样是最后一页的数据,当然最中间的两页有部分数据一样
这时候最慢的只是最中间的部分,相对而言,访问最中间的人还是很少的
经验二:
例如论坛帖子列表的显示:
一般是SELECT * FROM table ORDER BY is_top DESC ,post_time DESC LIMIT 0,10这样的分页
两个order by 的执行是非常慢的,哪怕你有再好的索引,
我们的处理办法是 把is_top的数据CACHE住,毕竟is_top的数据量有限,更新这个缓存也容易
然后SQL一样是SELECT * FROM table ORDER BY post_time DESC LIMIT {$num},{$num2}
注意这个$num2 是减掉is_top的数量后的一个值,$num是is_top的数量
当然还要考虑is_top的数据量是不是有好几页,当前页的值是不是都在cache里面
经验三:
SELECT * FROM table ORDER BY RAND() LIMIT 100 这个ORDER BY RAND() 是非常慢的 能不用尽量不要用
处理办法是
1.用PHP生成数组后,然后用SELECT * FROM table WHERE id IN() WHERE IN 也比这个order by rand()快的多
2.如果数量信息不太重多,就用SELECT * FROM table WHERE 1 LIMIT 500 多取点数据,然后用php 处理数组
以后三个问题都是我在工作中引起过最大事故的
相关文章推荐
- iOS项目开发中,对后台返回数据为<null>时候的处理,避免取值产生程序崩溃问题
- 最近写了一个从数据库中读取文件并写在txt文件中(当数据过多的时候写在多个txt文件中)
- 记录Sqlserver2012附加Sqlserver2008的数据库出错的解决方案一、摘要 最近在实验里面用台式编写好了一个软件,想移植到家里的笔记本上。在附加数据的时候却出现了错误,具体也没有提示
- Castle ActiveRecord 在GridView数据绑定时候的一个问题
- 一个困扰了我三天的SQL优化问题。(多条数据取最近的数据)
- 处理数据的时候遇到的一个小问题
- mysql 针对高并发下,同时修改单条数据发生冲突导致数据错误的问题(例如:高并发下单,导致库存为负数)
- 最近遇到一个类似淘宝购买商品加减数量然后还得实时更新数据到服务器的问题
- 当需要为一个既存的类中增加一个数据成员的时候,你会想到那些问题?
- oracle 数据泵 通过表空间导入导出的时候遇到的一个问题
- 最近用Oracle的时候出的一个问题
- 高并发操作同一个数据造成错误逻辑数据问题
- 建站或者网站搬家换空间的时候,企业站长最关心的一个问题是该如何选择网站空间,而这一问题对于一些擅长的站长来说非常小意思,但对于部分企业站长来说是一个比较头疼的问题。根据不完整数据显示,很多企业站长因为
- 当web应用中面临大数据量同时并发量比较大的情况下性能是一个尤为重要的问题,面对性能优化我们应从何做起,在哪些方面做优化呢?
- 讨论一个并发线程导致的数据保存失败的问题
- iOS项目开发中,对后台返回数据为<null>时候的处理,避免取值产生程序崩溃问题
- 最近一个刚刚毕业的朋友说,他面试时候,遇到最频繁的css问题就是垂直居中,这里给出几种垂直居中方式!
- php当数据量不是很大的时候,使用【递归循环出树形结构】的一个用户下面的所有人
- Toast show的时候崩溃的问题
- 关于数据取舍问题的一个实例