总结:如何使用redis缓存加索引处理数据库百万级并发
2016-08-20 00:08
676 查看
前言:事先说明:在实际应用中这种做法设计需要各位读者自己设计,本文只提供一种思想。准备工作:安装后本地数redis服务器,使用mysql数据库,事先插入1000万条数据,可以参考我之前的文章插入数据,这里不再细说。我大概的做法是这样的,编码使用多线程访问我的数据库,在访问数据库前先访问redis缓存没有的话在去查询数据库,需要注意的是redis最大连接数最好设置为300,不然会出现很多报错。
贴一下代码吧
?
?
我的数据库表数据是这样的。可以看到我的t_name是1-10000000,密码固定123456.利用循环创建线程很好做传入循环的次数作为查询的t_name就行了
采用redis缓存替换加索引的方案
1.在200并发访问下:
第一次访问结果:由于第一次访问缓存不存在该数据,速度很慢
最慢90多秒
运行第二次访问后(redis数据库已存在数据)的结果:
最慢700多毫秒
2.当我尝试1000线程并发访问时redis直接挂掉,
原因在于reids缓存并没有要查找的数据,就从数据库查找,1000个线程同时并发访问数据库等待时间太长了,
造成redis连接等待超时(就算把redis的超时等待时间设置为100分钟也没用,会报redis连接被拒绝的错误)
3.当我利用循环事先把100万条数据插入redis缓存服务器后,在1万个线程并发访问测试下只需要5~6秒就拿到了查询结果,效率出奇的快,而且没有报任何错
4.在3的条件下我把并发线程提升到100万个时,测试在百万并发条件下查询性能,发现完全没有压力,每个线程也是几毫秒就能查到结果,这个时候限制我速度的就是电脑CPU了。我的测试电脑是4核的,处理100万个线程起来比较慢,下面是截图,运行到50多万个线程的时候我就停止了运行
好了,以上都是数据库查询的字段没有加索引直接利用redis缓存查找的
而且有个弊端,百万级的并发访问需要事先把数据放到缓存中,在实际中并不科学(因为并不知道那些是热点数据),下面来看看如何使用索引加缓存的效果
1.给t_name和t_password字段加组合索引
我们来看看在有索引且redis缓存事先没有数据的时候,创建100万个线程并发访问的结果
没问题,这样就完成了百万级别下的并发访问,但是这样我的程序创建线程很慢,因为我的电脑4核CPU的(但是要创建100万个线程),这个时候就是硬件设备的性能了,在设备硬件性能足够的条件下是没问题的
以下是我的总结:
1.我的优化方案中只有两种,一种是给查询的字段加组合索引。另一种是给在用户和数据库中增加缓存
2.添加索引方案:面对1~2千的并发是没有压力的,在往上则限制的瓶颈就是数据库最大连接数了,
在上面中我用show global status like 'Max_used_connections’查看数据库可以知道数据库最大响应连接数是5700多,超过这个数tomcat直接报错连接被拒绝或者连接已经失效
3.缓存方案:在上面的测试可以知道,要是我们事先把数据库的千万条数据同步到redis缓存中,瓶颈就是我们的设备硬件性能了,假如我们的主机有几百个核心CPU,就算是千万级的并发下也可以完全无压力,带个用户很好的。
4.索引+缓存方案:缓存事先没有要查询的数据,在一万的并发下测试数据库毫无压力,程序先通过查缓存再查数据库大大减轻了数据库的压力,即使缓存不命中在一万的并发下也能正常访问,在10万并发下数据库依然没压力,但是redis服务器设置最大连接数300去处理10万的线程,4核CPU处理不过来,很多redis连接不了。
我用show global status like 'Max_used_connections'查看数据库发现最大响应连接数是388,这么低所以数据库是不会挂掉的。
5.使用场景:
a.几百或者2000以下并发直接加上组合索引就可以了。
b.不想加索引又高并发的情况下可以先事先把数据放到缓存中,硬件设备支持下可解决百万级并发。
c.加索引且缓存事先没有数据,在硬件设备支持下可解决百万级并发问题。
d.不加索引且缓存事先没有数据,不可取,要80多秒才能得到结果,用户体验极差。
6.原理:
其实使用了redis的话为什么数据库不会崩溃是因为redis最大连接数为300,这样数据库最大同时连接数也是300多,所以不会挂掉,至于redis为什么设置为300是因为设置的太高就会报错(连接被拒绝)或者等待超时(就算设置等待超时的时间很长也会报这个错)。
最后说明:本文不代表实际应用开发场景,更多的是提供一种思想,一种解决方案,如有错误,请指正,谢谢
技术交流群:494389786
本文源码:
http://download.csdn.net/detail/qq_32780741/9606370
本代码需要的jar包下载地址:
http://download.csdn.net/detail/qq_32780741/9606380
http://www.cnblogs.com/fanwencong/p/5782860.html
贴一下代码吧
?
采用redis缓存替换加索引的方案
1.在200并发访问下:
第一次访问结果:由于第一次访问缓存不存在该数据,速度很慢
最慢90多秒
运行第二次访问后(redis数据库已存在数据)的结果:
最慢700多毫秒
2.当我尝试1000线程并发访问时redis直接挂掉,
原因在于reids缓存并没有要查找的数据,就从数据库查找,1000个线程同时并发访问数据库等待时间太长了,
造成redis连接等待超时(就算把redis的超时等待时间设置为100分钟也没用,会报redis连接被拒绝的错误)
3.当我利用循环事先把100万条数据插入redis缓存服务器后,在1万个线程并发访问测试下只需要5~6秒就拿到了查询结果,效率出奇的快,而且没有报任何错
4.在3的条件下我把并发线程提升到100万个时,测试在百万并发条件下查询性能,发现完全没有压力,每个线程也是几毫秒就能查到结果,这个时候限制我速度的就是电脑CPU了。我的测试电脑是4核的,处理100万个线程起来比较慢,下面是截图,运行到50多万个线程的时候我就停止了运行
好了,以上都是数据库查询的字段没有加索引直接利用redis缓存查找的
而且有个弊端,百万级的并发访问需要事先把数据放到缓存中,在实际中并不科学(因为并不知道那些是热点数据),下面来看看如何使用索引加缓存的效果
1.给t_name和t_password字段加组合索引
我们来看看在有索引且redis缓存事先没有数据的时候,创建100万个线程并发访问的结果
没问题,这样就完成了百万级别下的并发访问,但是这样我的程序创建线程很慢,因为我的电脑4核CPU的(但是要创建100万个线程),这个时候就是硬件设备的性能了,在设备硬件性能足够的条件下是没问题的
以下是我的总结:
1.我的优化方案中只有两种,一种是给查询的字段加组合索引。另一种是给在用户和数据库中增加缓存
2.添加索引方案:面对1~2千的并发是没有压力的,在往上则限制的瓶颈就是数据库最大连接数了,
在上面中我用show global status like 'Max_used_connections’查看数据库可以知道数据库最大响应连接数是5700多,超过这个数tomcat直接报错连接被拒绝或者连接已经失效
3.缓存方案:在上面的测试可以知道,要是我们事先把数据库的千万条数据同步到redis缓存中,瓶颈就是我们的设备硬件性能了,假如我们的主机有几百个核心CPU,就算是千万级的并发下也可以完全无压力,带个用户很好的。
4.索引+缓存方案:缓存事先没有要查询的数据,在一万的并发下测试数据库毫无压力,程序先通过查缓存再查数据库大大减轻了数据库的压力,即使缓存不命中在一万的并发下也能正常访问,在10万并发下数据库依然没压力,但是redis服务器设置最大连接数300去处理10万的线程,4核CPU处理不过来,很多redis连接不了。
我用show global status like 'Max_used_connections'查看数据库发现最大响应连接数是388,这么低所以数据库是不会挂掉的。
5.使用场景:
a.几百或者2000以下并发直接加上组合索引就可以了。
b.不想加索引又高并发的情况下可以先事先把数据放到缓存中,硬件设备支持下可解决百万级并发。
c.加索引且缓存事先没有数据,在硬件设备支持下可解决百万级并发问题。
d.不加索引且缓存事先没有数据,不可取,要80多秒才能得到结果,用户体验极差。
6.原理:
其实使用了redis的话为什么数据库不会崩溃是因为redis最大连接数为300,这样数据库最大同时连接数也是300多,所以不会挂掉,至于redis为什么设置为300是因为设置的太高就会报错(连接被拒绝)或者等待超时(就算设置等待超时的时间很长也会报这个错)。
最后说明:本文不代表实际应用开发场景,更多的是提供一种思想,一种解决方案,如有错误,请指正,谢谢
技术交流群:494389786
本文源码:
http://download.csdn.net/detail/qq_32780741/9606370
本代码需要的jar包下载地址:
http://download.csdn.net/detail/qq_32780741/9606380
http://www.cnblogs.com/fanwencong/p/5782860.html
相关文章推荐
- 总结:如何使用redis缓存加索引处理数据库百万级并发
- 总结:如何使用redis缓存加索引处理数据库百万级并发
- 总结:如何使用redis缓存加索引处理数据库百万级并发
- 总结:如何使用redis缓存加索引处理数据库百万级并发
- 总结:如何使用redis缓存加索引处理数据库百万级并发
- 如何使用redis缓存加索引处理数据库百万级并发
- 使用redis缓存加索引处理数据库百万级并发
- 使用redis缓存加索引处理数据库百万级并发
- 使用redis缓存加索引处理数据库百万级并发
- 使用redis缓存加索引处理数据库百万级并发
- 数据库查询优化方案(处理上百万级记录如何提高处理查询速度)总结不好之处请指点----
- java(优化25) Redis缓存加索引处理数据库百万级并发的方案
- iOS并发编程笔记,包含GCD,Operation Queues,Run Loops,如何在后台绘制UI,后台I/O处理,最佳安全实践避免互斥锁死锁优先级反转等,以及如何使用GCD监视进程文件文件夹,并发测试的方案等
- [数据库]数据库查询优化方案(处理上百万级记录如何提高处理查询速度)
- 如何处理大量数据并发操作(数据库锁机制详解)
- 使用Oracle SQL Developer连接数据库时,提示“执行请求的操作时遇到错误:IO 错误: The Network Adapter could not establish”,不知如何处理
- 数据库查询优化方案(处理上百万级记录如何提高处理查询速度)(转载)
- 使用Apache Solr对数据库建立索引(包括处理CLOB、CLOB)
- 使用Apache Solr对数据库建立索引(包括处理CLOB、CLOB)
- SQL 教程数据库包括:Oracle, Sybase, SQL Server, DB2, Access 等等,您将学到如何使用 SQL 访问和处理数据系统中的数据