路由器密码恢复
2010-07-14 20:45
295 查看
第二章 大型网站架构模式
模式描述了在我们周围不断重复发生的问题及该问题解决方案的核心。这样，你就能一次又一次地使用该方案而不必做重复工作。模式的关键在于模式的可重复性。
为了解决大型网站面临的高并发访问、海量数据处理、高可靠运行等一系列问题与挑战，大型互联网公司在实践中提出了许多解决方案，以实现网站高性能、高可用、易伸缩、可扩展、安全等各种技术架构目标。这些解决方案又被更多网站重复使用，从而逐渐形成大型网站架构模式。
一、分层
将系统在横向维度上切分成几个部分，每个部分负责一部分相对比较单一的职责，然后通过上层对下层的依赖和调用组成一个完整的系统。
大型网站将网站软件系统分为应用层，服务层，数据层，各层职责如下。实践中，大的分层结构内部还可以继续细分。
应用层：负责具体业务和视图展示，如网站首页及搜索输入和结果展示；
服务层：为应用层提供服务支持，如用户管理服务，购物车服务等；
数据层：提供数据存储访问服务，如数据库，缓存，文件，搜索引擎等；
分层可以更好地将一个庞大的软件系统切分成不同的部分，便于分工合作开发和维护；各层之间具有一定的独立性，只要维持调用接口不变，各层可以根据具体问题独立演化发展而不需要其他层必须做出相应调整。
分层必须合理规划层次边界和接口，在开发过程中，严格遵循分层架构的约束，禁止跨层次的调用（应用层直接调用数据层）及逆向调用（数据层调用服务层，或者服务层调用应用层）。
分层的架构是逻辑上的，在物理部署上，三层结构可以部署在同一个物理机器上，但是随着网站业务的发展，必须需要对已经分层的模块分离部署，即三层结构分别部署在不同的服务器上，使网站拥有更多的计算资源以应对越来越多的用户访问。
虽然分层架构模式最初的目的是规划软件清晰的逻辑结构便于开发维护，但在网站的发展过程中，分层结构对网站支持高并发向分布式方向发展至关重要。因此在网站规模还很小的时候就应该采用分层的架构，这样将来网站做大时才能有更好地应对。
二、分割
在纵向方面对软件进行切分。
网站越大，功能越复杂，服务和数据处理的种类也越多，将这些不同的功能和服务分割开来，包装成高内聚低耦合的模块单元，一方面有助于软件的开发和维护；另一方面，便于不同模块的分布式部署，提高网站的并发处理能力和功能扩展能力。
三、分布式
分层和分割的一个主要目的是为了切分后的模块便于分布式部署，即将不同模块部署在不同的服务器上，通过远程调用协同工作。
但分布式也有一些问题：
1. 分布式意味着服务调用必须通过网络，这可能会对性能造成比较严重的影响；
2. 服务器越多，服务器宕机的概率也就越大，一台服务器宕机造成的服务不可用可能会导致很多应用不可访问，使网站可用性降低；
3. 数据在分布式的环境中保持数据一致性也非常困难，分布式事务也难以保证，这对网站业务正确性和业务流程有可能造成很大影响；
4. 分布式还导致网站依赖错综复杂，开发管理维护困难。
因此分布式设计要根据具体情况量力而行，切莫为了分布式而分布式。
常用的分布式方案有：
1. 分布式应用和服务：将分层和分割后的应用和服务模块分布式部署，除了可以改善网站性能和并发性、加快开发和发布速度、减少数据库连接资源消耗外；还可以使不同应用复用共同的服务，便于业务功能扩展。
2. 分布式静态资源：网站的静态资源如JS，CSS，Logo图片等资源独立分布式部署，并采用独立的域名，即人们常说的动静分离。静态资源分布式部署可以减轻应用服务器的负载压力；通过使用独立域名加快浏览器并发加载的速度；由负责用户体验的团队进行开发维护有利于网站分工合作，使不同技术工种术业有专攻。
3. 分布式数据和存储：大型网站需要处理以P为单位的海量数据，单台计算机无法提供如此大的存储空间，这些数据需要分布式存储。除了对传统的关系数据库进行分布式部署外，为网站应用而生的各种NoSQL产品几乎都是分布式的。
4. 分布式计算：严格说来，应用、服务、实时数据处理都是计算，网站除了要处理这些在线业务，还有很大一部分用户没有直观感受的后台业务要处理，包括搜索引擎的索引构建、数据仓库的数据分析统计等。这些业务的计算规模非常庞大，目前网站普遍使用Hadoop及其MapReduce分布式计算框架进行此类批处理计算，其特点是移动计算而不是移动数据，将计算程序分发到数据所在的位置以加速计算和分布式计算。
此外，还有可以支持网站线上服务器配置实时更新的分布式配置；分布式环境下实现并发和协同的分布式锁；支持云存储的分布式文件系统等。
四、集群
多台服务器部署相同应用构成一个集群，通过负载均衡设备共同对外提供服务。
集群的优势：
1. 可以提供更好的并发特性，当有更多用户访问的时候，只需要向集群中加入新的机器即可。
2. 当某台服务器发生故障时，负载均衡设备或者系统的失效转移机制会将请求转发到集群中其他服务器上，使服务器故障不影响用户使用。
在网站应用中，即使是访问量很小的分布式应用和服务，也至少要部署两台服务器构成一个小的集群，目的就是提高系统的可用性。
五、缓存
将数据存放在距离计算最近的位置以加快处理速度。缓存是改善软件性能的第一手段，大型网站架构设计在很多方面都使用了缓存设计：
1. CDN：即内容分发网络，部署在距离终端用户最近的网络服务商，用户的网络请求总是先到达他的网络服务商那里，在这里缓存网站的一些静态资源（较少变化的数据），可以就近以最快速度返回给用户。
2. 反向代理：反向代理属于网站前端架构的一部分，部署在网站的前端，当用户请求到达网站的数据中心时，最先访问到的就是反向代理服务器，这里缓存网站的静态资源，无需将请求继续转发给应用服务器就能返回给用户。
3. 本地缓存：在应用服务器本地缓存着热点数据，应用程序可以在本机内存中直接访问数据，而无需访问数据库。
4. 分布式缓存：大型网站的数据量非常庞大，即使只缓存一小部分，需要的内存空间也不是单机能承受的，所以除了本地缓存，还需要分布式缓存，将数据缓存在一个专门的分布式缓存集群中，应用程序通过网络通信访问缓存数据。
使用缓存有两个前提条件，一是数据访问热点不均衡，某些数据会被更频繁的访问，这些数据应该放在缓存中；二是数据在某个时间段内有效，不会很快过期，否则缓存的数据就会因已经失效而产生脏读，影响结果的正确性。
网站应用中，缓存除了可以加快数据访问速度，还可以减轻后端应用和数据存储的负载压力，这一点对网站数据库架构至关重要，网站数据库几乎都是按照有缓存的前提进行负载能力设计的。
六、异步
大型网站架构中，系统解耦合的手段除了前面提到的分层、分割、分布等，还有一个重要手段是异步，业务之间的消息传递不是同步调用，而是将一个业务操作分成多个阶段，每个阶段之间通过共享数据的方式异步执行进行协作。
在单一服务器内部可通过多线程共享内存队列的方式实现异步，处在业务操作前面的线程将输出写入到队列，后面的线程从队列中读取数据进行处理；在分布式系统中，多个服务器集群通过分布式消息队列实现异步，分布式消息队列可以看作内存队列的分布式部署。
使用异步消息队列有如下优势：
1. 异步架构是典型的生产者消费者模式，两者不存在直接调用，只要保持数据结构不变，彼此功能实现可以随意变化而不互相影响，这对网站扩展新功能非常便利。
2. 提高系统可用性。消费者服务器发生故障，数据会在消息队列服务器中存储堆积，生产者服务器可以继续处理业务请求，系统整体表现无故障。消费者服务器恢复正常后，继续处理消息队列中的数据。
3. 加快网站响应速度。处在业务处理前端的生产者服务器在处理完业务请求后，将数据写入消息队列，不需要等待消费者服务器处理就可以返回，响应延迟减少。
4. 消除并发访问高峰。用户访问网站是随机的，存在访问高峰和低谷，即使网站按照一般访问高峰进行规划和部署，也依然会出现突发事件，这可能会造成整个网站负载过重，响应延迟，严重时甚至会出现服务宕机的情况。使用消息队列将突然增加的访问请求数据放入消息队列中，等待消费者服务器依次处理，就不会对整个网站负载造成太大压力。
但需要注意的是，使用异步方式处理业务可能会对用户体验、业务流程造成影响，需要网站产品设计方面的支持。
七、冗余
网站需要7×24小时连续运行，但服务器随时可能出现故障，要想保证在服务器宕机的情况下网站依然可以继续服务，不丢失数据，就需要一定程度的服务器冗余运行，数据冗余备份，这样当某台服务器宕机时，可以将其上的服务和数据访问转移到其他机器上。
访问和负载很小的服务也必须部署至少两台服务器构成一个集群，其目的就是通过冗余实现服务高可用。数据库除了定期备份，存档保存，实现冷备份外，为了保证在线业务高可用，还需要对数据库进行主从分离，实时同步实现热备份。
为了抵御地震、海啸等不可抗力导致的网站完全瘫痪，某些大型网站会对整个数据中心进行备份，全球范围内部署灾备数据中心。网站程序和数据实时同步到多个灾备数据中心。
八、自动化
大型网站的自动化架构设计主要集中在发布运维方面，分为两部分：
在开发-测试-发布过程中，自动化如下：
1. 自动化代码管理：代码版本控制，代码分支创建合并等过程自动化，开发工程师只要提交自己参与开发的产品代号，系统就会自动创建开发分支，后期会自动进行代码合并；
2. 自动化测试：代码开发完成，提交测试后，系统自动将代码部署到测试环境，启动自动化测试用例进行测试，向相关人员发送测试报告，向系统反馈测试结果；
3. 自动化安全检测：安全检测工具通过对代码进行静态安全扫描及部署到安全测试环境进行安全攻击测试，评估其安全性；
4. 自动化部署：将工程代码自动部署到线上生产环境；
在生产环境的自动化管理，自动化如下：
1. 自动化监控：对服务器进行心跳检测，并监控各项性能指标和应用程序的关键数据指标；
2. 自动化报警：如果发生异常，超出预设的阀值，向相关人员发送报警信息，警告故障可能会发生；
3. 自动化失效转移：在检测到故障后，系统会自动将失效的服务器从集群中隔离出去，不再处理系统中的应用请求；
4. 自动化失效恢复：待故障消除后，系统会自动重启服务，同步数据保证数据的一致性；
5. 自动化降级：在网站遇到访问高峰，通过拒绝部分请求及关闭部分不重要的服务，将系统负载降至一个安全的水平；
6. 自动化分配资源：将空闲资源分配给重要的服务，扩大其部署规模；
九、 安全
大型网站在安全架构方面积累的模式：
1. 通过密码和手机校验码进行身份认证；
2. 登录、交易等操作需要对网络通信进行加密；
3. 网站服务器上存储的敏感数据如用户信息等进行加密处理；
4. 为了防止机器人程序滥用网络资源攻击网站，网站使用验证码进行识别；
5. 对于常见的用于攻击网站的XSS攻击、SQL注入、进行编码转换等相应处理；
6. 对于垃圾信息、敏感信息进行过滤；
7. 对交易转账等重要操作根据交易模式和交易信息进行风险控制。
十、 思维导图
来自: http://www.cnblogs.com/me115/p/3648446.html
来自：/article/4857997.html
本文出自 “自强不息，厚德载物” 博客，请务必保留此出处http://wangzhichao.blog.51cto.com/2643325/1743067
模式描述了在我们周围不断重复发生的问题及该问题解决方案的核心。这样，你就能一次又一次地使用该方案而不必做重复工作。模式的关键在于模式的可重复性。
为了解决大型网站面临的高并发访问、海量数据处理、高可靠运行等一系列问题与挑战，大型互联网公司在实践中提出了许多解决方案，以实现网站高性能、高可用、易伸缩、可扩展、安全等各种技术架构目标。这些解决方案又被更多网站重复使用，从而逐渐形成大型网站架构模式。
一、分层
将系统在横向维度上切分成几个部分，每个部分负责一部分相对比较单一的职责，然后通过上层对下层的依赖和调用组成一个完整的系统。
大型网站将网站软件系统分为应用层，服务层，数据层，各层职责如下。实践中，大的分层结构内部还可以继续细分。
应用层：负责具体业务和视图展示，如网站首页及搜索输入和结果展示；
服务层：为应用层提供服务支持，如用户管理服务，购物车服务等；
数据层：提供数据存储访问服务，如数据库，缓存，文件，搜索引擎等；
分层可以更好地将一个庞大的软件系统切分成不同的部分，便于分工合作开发和维护；各层之间具有一定的独立性，只要维持调用接口不变，各层可以根据具体问题独立演化发展而不需要其他层必须做出相应调整。
分层必须合理规划层次边界和接口，在开发过程中，严格遵循分层架构的约束，禁止跨层次的调用（应用层直接调用数据层）及逆向调用（数据层调用服务层，或者服务层调用应用层）。
分层的架构是逻辑上的，在物理部署上，三层结构可以部署在同一个物理机器上，但是随着网站业务的发展，必须需要对已经分层的模块分离部署，即三层结构分别部署在不同的服务器上，使网站拥有更多的计算资源以应对越来越多的用户访问。
虽然分层架构模式最初的目的是规划软件清晰的逻辑结构便于开发维护，但在网站的发展过程中，分层结构对网站支持高并发向分布式方向发展至关重要。因此在网站规模还很小的时候就应该采用分层的架构，这样将来网站做大时才能有更好地应对。
二、分割
在纵向方面对软件进行切分。
网站越大，功能越复杂，服务和数据处理的种类也越多，将这些不同的功能和服务分割开来，包装成高内聚低耦合的模块单元，一方面有助于软件的开发和维护；另一方面，便于不同模块的分布式部署，提高网站的并发处理能力和功能扩展能力。
三、分布式
分层和分割的一个主要目的是为了切分后的模块便于分布式部署，即将不同模块部署在不同的服务器上，通过远程调用协同工作。
但分布式也有一些问题：
1. 分布式意味着服务调用必须通过网络，这可能会对性能造成比较严重的影响；
2. 服务器越多，服务器宕机的概率也就越大，一台服务器宕机造成的服务不可用可能会导致很多应用不可访问，使网站可用性降低；
3. 数据在分布式的环境中保持数据一致性也非常困难，分布式事务也难以保证，这对网站业务正确性和业务流程有可能造成很大影响；
4. 分布式还导致网站依赖错综复杂，开发管理维护困难。
因此分布式设计要根据具体情况量力而行，切莫为了分布式而分布式。
常用的分布式方案有：
1. 分布式应用和服务：将分层和分割后的应用和服务模块分布式部署，除了可以改善网站性能和并发性、加快开发和发布速度、减少数据库连接资源消耗外；还可以使不同应用复用共同的服务，便于业务功能扩展。
2. 分布式静态资源：网站的静态资源如JS，CSS，Logo图片等资源独立分布式部署，并采用独立的域名，即人们常说的动静分离。静态资源分布式部署可以减轻应用服务器的负载压力；通过使用独立域名加快浏览器并发加载的速度；由负责用户体验的团队进行开发维护有利于网站分工合作，使不同技术工种术业有专攻。
3. 分布式数据和存储：大型网站需要处理以P为单位的海量数据，单台计算机无法提供如此大的存储空间，这些数据需要分布式存储。除了对传统的关系数据库进行分布式部署外，为网站应用而生的各种NoSQL产品几乎都是分布式的。
4. 分布式计算：严格说来，应用、服务、实时数据处理都是计算，网站除了要处理这些在线业务，还有很大一部分用户没有直观感受的后台业务要处理，包括搜索引擎的索引构建、数据仓库的数据分析统计等。这些业务的计算规模非常庞大，目前网站普遍使用Hadoop及其MapReduce分布式计算框架进行此类批处理计算，其特点是移动计算而不是移动数据，将计算程序分发到数据所在的位置以加速计算和分布式计算。
此外，还有可以支持网站线上服务器配置实时更新的分布式配置；分布式环境下实现并发和协同的分布式锁；支持云存储的分布式文件系统等。
四、集群
多台服务器部署相同应用构成一个集群，通过负载均衡设备共同对外提供服务。
集群的优势：
1. 可以提供更好的并发特性，当有更多用户访问的时候，只需要向集群中加入新的机器即可。
2. 当某台服务器发生故障时，负载均衡设备或者系统的失效转移机制会将请求转发到集群中其他服务器上，使服务器故障不影响用户使用。
在网站应用中，即使是访问量很小的分布式应用和服务，也至少要部署两台服务器构成一个小的集群，目的就是提高系统的可用性。
五、缓存
将数据存放在距离计算最近的位置以加快处理速度。缓存是改善软件性能的第一手段，大型网站架构设计在很多方面都使用了缓存设计：
1. CDN：即内容分发网络，部署在距离终端用户最近的网络服务商，用户的网络请求总是先到达他的网络服务商那里，在这里缓存网站的一些静态资源（较少变化的数据），可以就近以最快速度返回给用户。
2. 反向代理：反向代理属于网站前端架构的一部分，部署在网站的前端，当用户请求到达网站的数据中心时，最先访问到的就是反向代理服务器，这里缓存网站的静态资源，无需将请求继续转发给应用服务器就能返回给用户。
3. 本地缓存：在应用服务器本地缓存着热点数据，应用程序可以在本机内存中直接访问数据，而无需访问数据库。
4. 分布式缓存：大型网站的数据量非常庞大，即使只缓存一小部分，需要的内存空间也不是单机能承受的，所以除了本地缓存，还需要分布式缓存，将数据缓存在一个专门的分布式缓存集群中，应用程序通过网络通信访问缓存数据。
使用缓存有两个前提条件，一是数据访问热点不均衡，某些数据会被更频繁的访问，这些数据应该放在缓存中；二是数据在某个时间段内有效，不会很快过期，否则缓存的数据就会因已经失效而产生脏读，影响结果的正确性。
网站应用中，缓存除了可以加快数据访问速度，还可以减轻后端应用和数据存储的负载压力，这一点对网站数据库架构至关重要，网站数据库几乎都是按照有缓存的前提进行负载能力设计的。
六、异步
大型网站架构中，系统解耦合的手段除了前面提到的分层、分割、分布等，还有一个重要手段是异步，业务之间的消息传递不是同步调用，而是将一个业务操作分成多个阶段，每个阶段之间通过共享数据的方式异步执行进行协作。
在单一服务器内部可通过多线程共享内存队列的方式实现异步，处在业务操作前面的线程将输出写入到队列，后面的线程从队列中读取数据进行处理；在分布式系统中，多个服务器集群通过分布式消息队列实现异步，分布式消息队列可以看作内存队列的分布式部署。
使用异步消息队列有如下优势：
1. 异步架构是典型的生产者消费者模式，两者不存在直接调用，只要保持数据结构不变，彼此功能实现可以随意变化而不互相影响，这对网站扩展新功能非常便利。
2. 提高系统可用性。消费者服务器发生故障，数据会在消息队列服务器中存储堆积，生产者服务器可以继续处理业务请求，系统整体表现无故障。消费者服务器恢复正常后，继续处理消息队列中的数据。
3. 加快网站响应速度。处在业务处理前端的生产者服务器在处理完业务请求后，将数据写入消息队列，不需要等待消费者服务器处理就可以返回，响应延迟减少。
4. 消除并发访问高峰。用户访问网站是随机的，存在访问高峰和低谷，即使网站按照一般访问高峰进行规划和部署，也依然会出现突发事件，这可能会造成整个网站负载过重，响应延迟，严重时甚至会出现服务宕机的情况。使用消息队列将突然增加的访问请求数据放入消息队列中，等待消费者服务器依次处理，就不会对整个网站负载造成太大压力。
但需要注意的是，使用异步方式处理业务可能会对用户体验、业务流程造成影响，需要网站产品设计方面的支持。
七、冗余
网站需要7×24小时连续运行，但服务器随时可能出现故障，要想保证在服务器宕机的情况下网站依然可以继续服务，不丢失数据，就需要一定程度的服务器冗余运行，数据冗余备份，这样当某台服务器宕机时，可以将其上的服务和数据访问转移到其他机器上。
访问和负载很小的服务也必须部署至少两台服务器构成一个集群，其目的就是通过冗余实现服务高可用。数据库除了定期备份，存档保存，实现冷备份外，为了保证在线业务高可用，还需要对数据库进行主从分离，实时同步实现热备份。
为了抵御地震、海啸等不可抗力导致的网站完全瘫痪，某些大型网站会对整个数据中心进行备份，全球范围内部署灾备数据中心。网站程序和数据实时同步到多个灾备数据中心。
八、自动化
大型网站的自动化架构设计主要集中在发布运维方面，分为两部分：
在开发-测试-发布过程中，自动化如下：
1. 自动化代码管理：代码版本控制，代码分支创建合并等过程自动化，开发工程师只要提交自己参与开发的产品代号，系统就会自动创建开发分支，后期会自动进行代码合并；
2. 自动化测试：代码开发完成，提交测试后，系统自动将代码部署到测试环境，启动自动化测试用例进行测试，向相关人员发送测试报告，向系统反馈测试结果；
3. 自动化安全检测：安全检测工具通过对代码进行静态安全扫描及部署到安全测试环境进行安全攻击测试，评估其安全性；
4. 自动化部署：将工程代码自动部署到线上生产环境；
在生产环境的自动化管理，自动化如下：
1. 自动化监控：对服务器进行心跳检测，并监控各项性能指标和应用程序的关键数据指标；
2. 自动化报警：如果发生异常，超出预设的阀值，向相关人员发送报警信息，警告故障可能会发生；
3. 自动化失效转移：在检测到故障后，系统会自动将失效的服务器从集群中隔离出去，不再处理系统中的应用请求；
4. 自动化失效恢复：待故障消除后，系统会自动重启服务，同步数据保证数据的一致性；
5. 自动化降级：在网站遇到访问高峰，通过拒绝部分请求及关闭部分不重要的服务，将系统负载降至一个安全的水平；
6. 自动化分配资源：将空闲资源分配给重要的服务，扩大其部署规模；
九、 安全
大型网站在安全架构方面积累的模式：
1. 通过密码和手机校验码进行身份认证；
2. 登录、交易等操作需要对网络通信进行加密；
3. 网站服务器上存储的敏感数据如用户信息等进行加密处理；
4. 为了防止机器人程序滥用网络资源攻击网站，网站使用验证码进行识别；
5. 对于常见的用于攻击网站的XSS攻击、SQL注入、进行编码转换等相应处理；
6. 对于垃圾信息、敏感信息进行过滤；
7. 对交易转账等重要操作根据交易模式和交易信息进行风险控制。
十、 思维导图
来自: http://www.cnblogs.com/me115/p/3648446.html
来自：/article/4857997.html
本文出自 “自强不息，厚德载物” 博客，请务必保留此出处http://wangzhichao.blog.51cto.com/2643325/1743067
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 