大型网站技术架构整理(Ch. 10-16)
2016-10-19 22:32
330 查看
– 维基百科 CDN缓存的几条准则:
· 内容页面不包含动态信息,以免页面内容缓存很快失效或者包含过时信息。
· 每个内容页面有唯一的REST风格URL,以便CDN快速查找并避免重复缓存。
· 在HTML响应头写入缓存控制信息,通过应用控制内容是否缓存及缓存有效期等
1、后端优化主要手段是使用缓存。
2、Doris(https://github.com/itisaid/Doris)是一个海量分布式KV存储系统,其设计目标是支持中等规模高可用、可伸缩的KV存储集群。Doris具有与NoSQL系统HBase相似的性能和线性伸缩能力,并具有更好的可用性及更友好的图形用户管理界面。
3、在正常状态下,存储服务器急群众的服务器互不感知,不进行任何通信。
4、秒杀系统的策略:(1)秒杀系统独立部署;(2)秒杀商品页面静态化;(3)租借秒杀活动网络带宽;(4)动态生成随机下单页面URL。
5、 即使系统出了故障,也不应该给用户显示出错页面。
- 故障:某应用发布后,数据库Load居高不下,远超正常水平,持续报警。
教训:首页不应该访问数据库,首页需要的数据可以从缓存服务器或者搜索引擎服务器获取。首页最好是静态的。
- 故障:某应用服务器不定时地响应超时而报警,但是很快又超时解除,恢复正常,如此反复。
教训:使用锁操作要谨慎。
- 故障:没有新应用发布,但是数据库服务器突然Load飙升,并很快失去响应。将数据库访问切换到备机,Load也很快飙升,并失去响应。最终引发网站全部瘫痪。
教训:当缓存已经不仅仅是改善性能,而是成为网站架构不可或缺的一部分时,对缓存的管理就需要提高到和其他服务器一样的级别。
- 故障:某应用主要功能是管理用户图片,接到用户投诉表示上传图片非常慢,原来只需要一两秒,现在需要几十秒,有时等半天结果浏览器显示服务器超时。
教训:存储的使用需要根据不同文件类型和用途进行管理,图片都是小文件,应该使用专用的存储服务器,不能喝大文件共用存储。批处理用的大文件可以使用其他类型的分布式文件系统。
6、领导的真谛:寻找一个值得共同奋斗的目标,营造一个让大家都能最大限度发挥自我价值的工作氛围。
7、 是事情成就了人,而不是人成就了事。指望优秀的人来帮自己的事,不如做成一件事让自己和参与的人都变得优秀。
8、发掘人的优秀远比发掘优秀的人更有意义。
9、对于细节的争论应该立即验证而不是继续讨论。
10、 “鱼是最后一个看见水的。”
- 提出问题的策略:
- 解决问题的策略:
- 最差的架构师是通过制造压力驱使团队成员努力完成一些无价值的工作,让每个人都忙碌不堪以使大家都没有注意到他自己其实并不能胜任工作。文艺架构师会在架构设计中进行一些更前瞻的思考和别出心裁的设计。
· 内容页面不包含动态信息,以免页面内容缓存很快失效或者包含过时信息。
· 每个内容页面有唯一的REST风格URL,以便CDN快速查找并避免重复缓存。
· 在HTML响应头写入缓存控制信息,通过应用控制内容是否缓存及缓存有效期等
1、后端优化主要手段是使用缓存。
2、Doris(https://github.com/itisaid/Doris)是一个海量分布式KV存储系统,其设计目标是支持中等规模高可用、可伸缩的KV存储集群。Doris具有与NoSQL系统HBase相似的性能和线性伸缩能力,并具有更好的可用性及更友好的图形用户管理界面。
3、在正常状态下,存储服务器急群众的服务器互不感知,不进行任何通信。
4、秒杀系统的策略:(1)秒杀系统独立部署;(2)秒杀商品页面静态化;(3)租借秒杀活动网络带宽;(4)动态生成随机下单页面URL。
5、 即使系统出了故障,也不应该给用户显示出错页面。
- 故障:某应用发布后,数据库Load居高不下,远超正常水平,持续报警。
教训:首页不应该访问数据库,首页需要的数据可以从缓存服务器或者搜索引擎服务器获取。首页最好是静态的。
- 故障:某应用服务器不定时地响应超时而报警,但是很快又超时解除,恢复正常,如此反复。
教训:使用锁操作要谨慎。
- 故障:没有新应用发布,但是数据库服务器突然Load飙升,并很快失去响应。将数据库访问切换到备机,Load也很快飙升,并失去响应。最终引发网站全部瘫痪。
教训:当缓存已经不仅仅是改善性能,而是成为网站架构不可或缺的一部分时,对缓存的管理就需要提高到和其他服务器一样的级别。
- 故障:某应用主要功能是管理用户图片,接到用户投诉表示上传图片非常慢,原来只需要一两秒,现在需要几十秒,有时等半天结果浏览器显示服务器超时。
教训:存储的使用需要根据不同文件类型和用途进行管理,图片都是小文件,应该使用专用的存储服务器,不能喝大文件共用存储。批处理用的大文件可以使用其他类型的分布式文件系统。
6、领导的真谛:寻找一个值得共同奋斗的目标,营造一个让大家都能最大限度发挥自我价值的工作氛围。
7、 是事情成就了人,而不是人成就了事。指望优秀的人来帮自己的事,不如做成一件事让自己和参与的人都变得优秀。
8、发掘人的优秀远比发掘优秀的人更有意义。
9、对于细节的争论应该立即验证而不是继续讨论。
10、 “鱼是最后一个看见水的。”
- 提出问题的策略:
把“我的问题”表述成“我们的问题” 给上司提封闭式问题,给下属提开放式问题 指出问题而不是批评人 用赞同的方式提出问题
- 解决问题的策略:
在解决我的问题之前,先解决你的问题 适当逃避问题
- 最差的架构师是通过制造压力驱使团队成员努力完成一些无价值的工作,让每个人都忙碌不堪以使大家都没有注意到他自己其实并不能胜任工作。文艺架构师会在架构设计中进行一些更前瞻的思考和别出心裁的设计。
相关文章推荐
- 大型网站技术架构整理(Ch. 1-4)
- 大型网站技术架构整理(Ch. 7-8)
- 大型网站技术架构整理(Ch. 5-6)
- 大型网站技术架构整理(Ch. 5-8)
- 整理收藏一些大型网站架构技术方面的文章
- 大型网站(高访问、海量数据)技术架构
- 上周技术关注:大型高并发高负载网站的系统架构
- 大型网站架构设计及技术总结(2)
- 基于Java技术的大型网站架构方案
- 大型网站系统架构技术原理透析
- 『rgb2005』SD2.0大会上关于“大型网站架构技术”的讨论()
- 大型网站架构设计及技术分析(一)
- 转载:大型网站架构分析系列技术文档合集
- 大型网站架构技术方案集锦
- 大型网站架构相关PPT、资料整理(更新于2010-7-11)
- 基于Java技术的大型网站架构方案
- 大型网站(高访问、海量数据)技术架构
- 五一技术关注:说说大型高并发高负载网站的系统架构
- 基于Java技术的大型网站架构方案
- 大型网站架构分析系列技术文档合集二