分析大访问量网站系统搭建要素
2010-08-09 22:22
218 查看
最近在做一个系统,访问量特别大,每天有上亿次的访问量,下面是我采取的一些做法,想和大家一起讨论一下,希望园中的兄弟们多提宝贵意见和建议。
一、硬件
搞服务器集群,采用负载均衡。
二、数据库
1、数据库使用临时表,比如按周分为7张表,每天的数据都按所在的周存放到相应的表中,最后使用sql server代理中的作业定时处理。
2、数据表建立索引,加快查询速度。但是加索引如果数据太大,插入就会慢,这个比较矛盾。
三、程序
1、使用缓存。把常用的数据缓存到application或cache中,加快查询速度。我本人比较喜欢用application,在用application时要注意,在更新数据的时候要把application锁住,更新完再解锁,这样可以避免在并发访问时数据不一致的现象。
2、数据库连接池。虽然.net是默认打开的,但可以通过连接字符串来显式打开,这样就可以方便的设置最大和最小连接数。
3、为避免过多的数据库连接,可以把多个sql语句连接起来,发送一次到数据库来处理。比如把insert into tableA (name) values ('name1')/r/n insert into tableA (name) values ('name2') 做为一条语句去执行,而不分别执行。
4、采用存储过程。
以上是我现在想到和采用的方法,如果我再想到一些其他的方法,我再补充上去,希望大家多提意见和建议!
一、硬件
搞服务器集群,采用负载均衡。
二、数据库
1、数据库使用临时表,比如按周分为7张表,每天的数据都按所在的周存放到相应的表中,最后使用sql server代理中的作业定时处理。
2、数据表建立索引,加快查询速度。但是加索引如果数据太大,插入就会慢,这个比较矛盾。
三、程序
1、使用缓存。把常用的数据缓存到application或cache中,加快查询速度。我本人比较喜欢用application,在用application时要注意,在更新数据的时候要把application锁住,更新完再解锁,这样可以避免在并发访问时数据不一致的现象。
2、数据库连接池。虽然.net是默认打开的,但可以通过连接字符串来显式打开,这样就可以方便的设置最大和最小连接数。
3、为避免过多的数据库连接,可以把多个sql语句连接起来,发送一次到数据库来处理。比如把insert into tableA (name) values ('name1')/r/n insert into tableA (name) values ('name2') 做为一条语句去执行,而不分别执行。
4、采用存储过程。
以上是我现在想到和采用的方法,如果我再想到一些其他的方法,我再补充上去,希望大家多提意见和建议!
相关文章推荐
- RHEL 5服务篇—使用Apache搭建web服务(四)部署AWStats网站分析系统 推荐
- RHEL 5服务篇—使用Apache搭建web服务(四)部署AWStats网站分析系统
- 对高访问量与庞大数据处理的网站系统结构分析
- Piwik 网站分析系统
- elk + kafka 简单搭建日志分析系统
- 日志分析(Elastic Stack 5.0)系统搭建参考
- 运行效率高稳定性好的大型网站系统架构分析
- 用Kibana和logstash快速搭建实时日志查询、收集与分析系统
- 用Kibana和logstash快速搭建实时日志查询、收集与分析系统
- 大型网站系统架构分析
- 用Kibana和logstash快速搭建实时日志查询、收集与分析系统
- 大型网站系统架构分析整理
- 大型网站系统架构分析
- 用Kibana和logstash快速搭建实时日志查询、收集与分析系统
- elasticsearch + logstash + kibana 搭建 ELK 日志分析系统
- WEB信息管理系统、数据展现分析系统 快速搭建平台
- 通过一个简单的文章系统学习MVC3+Linq搭建网站--项目文件结构介绍(3)
- 用Kibana和logstash快速搭建实时日志查询、收集与分析系统
- 网站SEO分析要素一
- 搭建风控系统道路上踩过的坑04-风险分析