Tomcat集群技术部署

1.1 术语定义
服务软体是b/s或c/s结构的s部分，是为b或c提供服务的服务性软件系统。
服务硬体指提供计算服务的硬件、比如pc机、pc服务器。

服务实体通指服务软体和服务硬体。
客户端指接受服务实体服务的软件或硬件。
1.2 两大关键特性
集群是一组协同工作的服务实体，用以提供比单一服务实体更具扩展性与可用性的服务平台。在客户端看来，一个集群就象是一个服务实体，但事实上集群由一组服务实体组成。与单一服务实体相比较，集群提供了以下两个关键特性：
· 可扩展性[/b]－－集群的性能不限于单一的服务实体，新的服务实体可以动态地加入到集群，从而增强集群的性能。
· 高可用性[/b]－－集群通过服务实体冗余使客户端免于轻易遇到out of service的警告。在集群中，同样的服务可以由多个服务实体提供。如果一个服务实体失败了，另一个服务实体会接管失败的服务实体。集群提供的从一个出错的服务实体恢复到另一个服务实体的功能增强了应用的可用性。
1.3 两大能力
为了具有可扩展性和高可用性特点，集群的必须具备以下两大能力：
· 负载均衡－[/b]－负载均衡能把任务比较均衡地分布到集群环境下的计算和网络资源。
· 错误恢复－[/b]－由于某种原因，执行某个任务的资源出现故障，另一服务实体中执行同一任务的资源接着完成任务。这种由于一个实体中的资源不能工作，另一个实体中的资源透明的继续完成任务的过程叫错误恢复。
负载均衡和错误恢复都要求各服务实体中有执行同一任务的资源存在，而且对于同一任务的各个资源来说，执行任务所需的信息视图（信息上下文）必须是一样的。
1.4 两大技术
实现集群务必要有以下两大技术：
· 集群地址－－集群由多个服务实体组成，集群客户端通过访问集群的集群地址获取集群内部各服务实体的功能。具有单一集群地址（也叫单一影像）是集群的一个基本特征。维护集群地址的设置被称为负载均衡器。负载均衡器内部负责管理各个服务实体的加入和退出，外部负责集群地址向内部服务实体地址的转换。有的负载均衡器实现真正的负载均衡算法，有的只支持任务的转换。只实现任务转换的负载均衡器适用于支持ACTIVE-STANDBY的集群环境，在那里，集群中只有一个服务实体工作，当正在工作的服务实体发生故障时，负载均衡器把后来的任务转向另外一个服务实体。
· 内部通信－－为了能协同工作、实现负载均衡和错误恢复，集群各实体间必须时常通信，比如负载均衡器对服务实体心跳测试信息、服务实体间任务执行上下文信息的通信。
具有同一个集群地址使得客户端能访问集群提供的计算服务，一个集群地址下隐藏了各个服务实体的内部地址，使得客户要求的计算服务能在各个服务实体之间分布。内部通信是集群能正常运转的基础，它使得集群具有均衡负载和错误恢复的能力。
集群配置



从上图可知，由服务实体1、服务实体2和负载均衡器组成了一个集群。服务实体1和服务实体2参与对客户端的服务支持工作，均衡负载器为客户端维护集群的单一影像。集群实体间通过内部的通信网交流信息，这种交流机制一般采用组播协议。负载均衡器通过内部通信网探测各服务实体的心跳信息，服务实体间通过内部通信网完成任务资源的传播。可以看出，配置集群主要由配置服务实体和配置负载均衡器两部分组成。本文使用tomcat 4.12、apache 2.0.43配置集群环境，相关软件的部署图如下：

服务实体1/2，负载均衡器可以部署在不同的机器上，也可以在同一机器上，本文环境为同一机器。
2.1 准备软件
· tomcat是开源servlet /jsp服务器，下载地点 http://jakarta.apache.org/ ；
· apache 2.0.43 是开源的www服务器，下载地点 http://www.apache.org/dist/httpd/binaries/ ；
· JavaGroups是一个实现集群服务实体间通信的通信协议，下载地址： http://www.javagroups.com/ ；
· Tomcat 会话复制库，基于JavaGroups通信协议，完成集群服务实体间任务执行上下文的复制，下载地址: http://www.filip.net/tomcat/tomcat-javagroups.jar
· jk2模块,jk 是mod_jserv的替代者，它是Tomcat-Apache插件，处理Tomcat和Apache之间的通信，在集群配置中充当负载均衡器的作用。JK2是符合apache 2.x系列的新品，下载地址： http://jakarta.apache.org/builds/jakarta-tomcat-connectors/jk2/release/v2.0.2/bin/。

2.2 配置负载均衡器
在apache下配置负载均衡器分为三步，注意每次修改httpd.conf和workers2.properties时不要忘了重新启动apache。
· 第一步，安装和调试apache
负载均衡器jk2模块是apache www 服务的插件，所以配置负载均衡器就得先安装apache。本文下载的是windows版本 2.0.43，执行setup.exe并回答一些简单问题就可完成apache的任务。值得注意的是，安装并启动apache后如果apache对http://localhost/ 地址没反应，你得修改apache安装路径下htdocs目录下的index.html.xx文件，比如把index.html.en改成index.html。
· 第二步，安装jk2
把下载到的 mod_jk2-2.0.43.dll改成mod_jk2.dll放到apache的modules目录下，修改apache的httpd.conf，即在LoadModule foo_module modules/mod_foo.so 行下插入mod_jk2模块的装载信息：

# Example: # LoadModule foo_module modules/mod_foo.so # LoadModule jk2_module modules/mod_jk2.dll[/b]

· 第三步，配置jk2
jk2的配置全在一个配置文件中，文件名为workers2.properties，和apache 的httpd.conf放在同一个目录下。以下是这个文件的内容：

#++++++++++++++++++++++++++++++++++++ # only at beginnin. In production uncomment it out [logger.apache2] level=DEBUG #shm必须配[/b] [shm] file=D:/Program Files/Apache Group/Apache2/logs/shm.file size=1048576 # 第一个tomcat 的地址[/b] # Example socket channel, override port and host. [channel.socket:tomcat1] port=11009 host=127.0.0.1 # 定义第一个工作[/b]者指向第一个tomcat[/b] # define the worker [ajp13:tomcat1] channel=channel.socket:tomcat1 #第二个tomcat 得地址[/b] # Example socket channel, override port and host. [channel.socket:tomcat2] port=12009 host=10.1.36.123 # 定义第二个工作者指向第二个tomcat[/b] # define the worker [ajp13:tomcat2] channel=channel.socket:tomcat2 #定义负载均衡器，使其包含两个工作者[/b] [lb:lb1] worker=ajp13:tomcat2 worker=ajp13:tomcat1 #指定负载均衡器完成单一地址映射，使得apache 服务所在的uri全部指向 两个tomcat 上的 root[/b] # Uri mapping

[uri:/*] group=lb:lb1 #++++++++++++++++++++++++++++++++++++++++++

对于jk2模块的负载均衡配置可参见相关站点，值得提及的是jk2的负载均衡还支持权重分配等优秀功能。
2.3 配置tomcat
IXDBA.NET技术社区
同属于一个集群下的两个服务实体，要求功能的同一性，所以我们可先安装和配置第一个tomcat，接着拷贝形成第二个tomcat，最后配置第二个tomcat。
2.3.1 安装第一个tomcat
安装tomcat 非常简单，本文就不再描述。我们假设第一个tomcat的安装路径为d:/tomcat1。
拷贝[/b]tomcat-javagroups.jar[/b]和[/b]javagroups.jar[/b]到[/b]d:/tomcat1/ server/lib [/b]路径下[/b]。
2.3.2 配置第一个tomcat
2.3.2.1 配置jk2
tomcat 中的jk2 connector缺省端口为8009，为了在一台机器上运行两个tomcat，修改D:/Tomcat1/conf/jk2.properties，设置jk2 connector的端口为11009，整个文件内容如下：

#++++++++++++++ channelSocket.port=11009 #++++++++++++++

2.3.2.2 修改server.conf
首先为了让一台机器上运行两个tomcat，修改server.conf的tomcat 停止指令监听端口：

<Server port="8005" shutdown="SHUTDOWN" debug="0"> 改为[/b] <Server port="11005" shutdown="SHUTDOWN" debug="0">

然后打开JK2 AJP connector ，关闭其它connector，下面是JK2 AJP 1.3的样子，这里已把它的端口改为11009：

<!-- Define a Coyote/JK2 AJP 1.3 Connector on port 8009 --> <Connector className="org.apache.coyote.tomcat4.CoyoteConnector" port="11009" [/b]minProcessors="5" maxProcessors="75" enableLookups="true" redirectPort="8443" acceptCount="10" debug="0" connectionTimeout="20000" useURIValidationHack="false" protocolHandlerClassName="org.apache.jk.server.JkCoyoteHandler"/>

接着配置需要集群支持的webapp（比如examples） 的context，添加如下

<Manager className="org.apache.catalina.session.InMemoryReplicationManager" protocolStack="UDP(mcast_addr=228.1.2.3;mcast_port=45566;ip_ttl=32):PING(timeout=3000;

num_initial_members=6):FD(timeout=5000):VERIFY_SUSPECT(timeout=1500): pbcast.STABLE(desired_avg_gossip=10000):pbcast.NAKACK(gc_lag=10; retransmit_timeout=3000):UNICAST(timeout=5000;min_wait_time=2000): MERGE2:FRAG:pbcast.GMS(join_timeout=5000;join_retry_timeout=2000; shun=false;print_local_addr=false)"> </Manager>

注意[/b]protocolStack[/b]的值必须在一行内写完。[/b]
2.3.3 配置第二个tomcat
我们先把已经配好的第一个tomcat复制一份，形成第二个tomcat，假设路径为d:/tomcat2。
2.3.3.1 配置jk2
修改D:/Tomcat2/conf/jk2.properties，设置jk2 connector的端口12009，整个文件内容如下：

#++++++++++++++ channelSocket.port=12009 #++++++++++++++

2.3.3.2 修改server.conf
有了第一个tomcat的配置我们只需修改server.conf的tomcat 停止指令监听端口：

<Server port="11005" shutdown="SHUTDOWN" debug="0"> 改为[/b] <Server port="12005" shutdown="SHUTDOWN" debug="0">

然后设置[/b]JK2 AJP connector [/b]端口为[/b]12009[/b]。[/b]
2.4 运行测试
启动apache，tomcat1和tomcat2。
2.4.1 测试负载均衡
我们先准备两个文件，第一个文件为test.jsp，拷贝到第一个tomcat 的根web应用的目录即d:/tomcat1/webapps/ROOT 下：

<html> <body bgcolor="red[/b]"> <center> <%= request.getSession().getId() %>

<h1>Tomcat 1[/b]</h1> </body> </html>

第二个文件也为test.jsp，拷贝到第二个tomcat 的根web应用的目录即d:/tomcat2/webapps/ROOT 下：
IXDBA.NET社区论坛

<html> <body bgcolor="blue[/b]"> <center> <%= request.getSession().getId() %> <h1>Tomcat 2[/b]</h1> </body> </html>

从不同的浏览器中多次输入地址[/b]http://localhost/test.jsp [/b]会看到不同的颜色，这表明[/b]apache[/b]中的[/b]jk2[/b]模块起到了负载均衡的作用。[/b] [/b]
2.4.2 测试错误恢复
访问url： http://localhost/examples/servlet/SessionExample 可以得到一个关于session的例子，我们用它来测试集群的错误恢复能力。
测试步骤如下：
1. 关闭tomcat1和tomcat2；
2. 启动tomcat1
3.
4. 在浏览器中输入属性名tomcat1和属性值tomcat1再提交，返回的页面显示session中有刚刚输入的tomcat1属性；
5. 启动tomcat2;
6. 过一会后（等待tomcat2和tomcat1通信并复制信息）关闭tomcat1；
7. 在浏览器中输入属性名tomcat2和属性值tomcat2再提交，返回的页面显示session中有刚刚输入的tomcat2属性，还有先前输入的tomcat1属性；
8. 启动tomcat1；
9. 过一会后（等待tomcat2和tomcat1通信并复制信息）关闭tomcat2；
10. 在浏览器中输入属性名tomcat11和属性值tomcat11再提交，返回的页面显示session中有刚刚输入的tomcat11属性，还有先前输入的tomcat1和tomcat2属性;