开源平台的高并发集群思考
2007-03-27 11:54
316 查看
目前碰到的高并发应用,需要高性能需求的主要是两个方面
1。网络
2。数据库
这两个方面的解决方式其实还是一致的
1。充分接近单机的性能瓶颈,自我优化
2。单机搞不定的时候(
数据传输瓶颈:
单位时间内磁盘读写/网络数据包的收发
cpu计算瓶颈),把负荷分担给多台机器,就是所谓的负载均衡
网络方面单机的处理
1。底层包收发处理的模式变化(从select 模式到epoll / kevent)
2。应用模式的变化
2.1 应用层包的构造方式
2.2 应用协议的实现
2.3 包的缓冲模式
2.4 单线程到多线程
网络负载均衡的几个办法
1。代理模式:代理服务器只管收发包,收到包以后转给后面的应用服务器群(服务器群后可能还会有一堆堆的数据库服务器等等),并且把返回的结果再返回给请求端
2。虚拟代理ip:代理服务器收发包还负载太高,那就增加多台代理服务器,都来管包的转发。这些代理服务器可以用统一的虚拟ip,也可以单独的ip
3。p2p:一些广播的数据可以p2p的模式来减轻服务器的网络压力
数据库(指mysql)单机的处理
1。数据库本身结构的设计优化(分表,分记录,目的在于保证每个表的记录数在可定的范围内)
2。sql语句的优化
3。master + slave模式
数据库集群的处理
1。master + slave模式 (可有效地处理并发查询)
2。mysql cluster 模式 (可有效地处理并发数据变化)
相关资料:
http://dev.mysql.com/doc/refman/5.0/en/ndbcluster.html
1。网络
2。数据库
这两个方面的解决方式其实还是一致的
1。充分接近单机的性能瓶颈,自我优化
2。单机搞不定的时候(
数据传输瓶颈:
单位时间内磁盘读写/网络数据包的收发
cpu计算瓶颈),把负荷分担给多台机器,就是所谓的负载均衡
网络方面单机的处理
1。底层包收发处理的模式变化(从select 模式到epoll / kevent)
2。应用模式的变化
2.1 应用层包的构造方式
2.2 应用协议的实现
2.3 包的缓冲模式
2.4 单线程到多线程
网络负载均衡的几个办法
1。代理模式:代理服务器只管收发包,收到包以后转给后面的应用服务器群(服务器群后可能还会有一堆堆的数据库服务器等等),并且把返回的结果再返回给请求端
2。虚拟代理ip:代理服务器收发包还负载太高,那就增加多台代理服务器,都来管包的转发。这些代理服务器可以用统一的虚拟ip,也可以单独的ip
3。p2p:一些广播的数据可以p2p的模式来减轻服务器的网络压力
数据库(指mysql)单机的处理
1。数据库本身结构的设计优化(分表,分记录,目的在于保证每个表的记录数在可定的范围内)
2。sql语句的优化
3。master + slave模式
数据库集群的处理
1。master + slave模式 (可有效地处理并发查询)
2。mysql cluster 模式 (可有效地处理并发数据变化)
相关资料:
http://dev.mysql.com/doc/refman/5.0/en/ndbcluster.html
相关文章推荐
- Car-eye 开源平台的下一步思考
- Car-eye 开源平台的下一步思考
- 云计算平台是网络服务器集群的操作系统——SDChina大会思考之二
- 荣新it周末班—高并发集群平台:Linux运维+Oracle DBA实战训练
- android平台的开源框架的思考
- 开源可编程的集群分布式云平台 ,百万商业圈云平台免费发布,几十万台电脑变成一台不是梦
- 开源可编程的集群分布式云平台 ,百万商业圈云平台免费发布,几十万台电脑变成一台不是梦
- 开源之盛宴——欢呼之后的思考
- OpenJWeb(v1.9)企业级信息化应用平台开源版发布公告(基于Java语言开发)
- CentOS下的rabbitMQ集群安装,高并发消息队列中间件(何志雄)
- 对数据交换平台,教育行业大数据平台的思考
- 网游下载及更新平台介绍及下载(现已开源)
- 分布式MySQL集群方案的探索与思考
- 开源视频平台:Kaltura
- 信息系统开发平台OpenExpressApp - 发布【开源信息系统开发平台之 OpenExpressApp框架.pdf】
- 开源视频平台:ViMP
- 开源信息系统开发平台之 OpenExpressApp框架.pdf
- 遵循Java EE标准规范的开源GIS服务平台之二:平台部署
- Hadoop是一种开源的适合大数据的分布式存储和处理的平台