apache和tomcat整合配置
2014-02-27 10:51
375 查看
http://my.oschina.net/u/273709/blog/77827
1.apache version:2.2.15 ,tomcat version :6
2.httpd.conf 解开注释httpd-vhosts.conf
3.httpd-vhosts.conf 增加如下内容:
80:为本地http server端口
<VirtualHost *:80> #stickysession 会话级别负载均衡,不配置的时候是请求级别负载均衡 bybusyness 按照繁忙程度均衡
ServerAdmin test@test.com #异常时发送邮件的地址
ServerName www.**.com #代理访问名
ServerAlias www.**.com #访问的别名
ProxyRequests Off # 反向代理打开
ProxyPreserveHost On # 传送原始请求的Host信息给被代理的机器
#代理和反向代理,要访问/zlex路径时,将跳转到balancer://zlex,实现负载均衡 (session复制的时候要这样:/zlex)
ProxyPass /zlex balancer://zlex/ lbmethod=bybusyness
ProxyPassReverse /zlex balancer://zlex
#session唯一,粘性会话模式
#ProxyPass /zlex balancer://cluster/ lbmethod=byrequests stickysession=JSESSIONID|jsessionid nofailover=Off timeout=5 maxattempts=3
# ProxyPassReverse /zlex balancer://zlex
<Proxy balancer://zlex>
BalancerMember ajp://192.168.140.129:8009/zlex loadfactor=1 route=jvm1
BalancerMember ajp://192.168.140.129:8010/zlex loadfactor=1 route=jvm2
</Proxy>
LogFormat "%{Host}i %h %l %u %t \"%r\" %s %b" vcommon
ErrorLog logs/error.log
CustomLog logs/access.log common
</VirtualHost>
4 修改context.xml:
<Context distributable="true">
5 修改server.xml: (不同机器时不用修改1,2,3的端口)
<!--0 modify port -->
<Server port="8101" shutdown="SHUTDOWN">
<!-- 1 modify port -->
<Connector URIEncoding="UTF-8" executor="tomcatThreadPool" port="8081" protocol="HTTP/1.1" enableLookups="false" acceptCount="700" maxSpareThreads="100"
connectionTimeout="30000"
redirectPort="8443" />
<!--2 modify port -->
<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" URIEncoding="UTF-8"/>
<!--3 modify jvmRoute -->
<Engine name="Catalina" defaultHost="localhost" jvmRoute="jvm1">
<!--4 tomcat6 以上不用配置 -->
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" />
6.解注释httpd-info.conf:
<Location /server-status>
SetHandler server-status
Order deny,allow
#Deny from all
Allow from all
</Location>
<Location /server-info>
SetHandler server-info
Order deny,allow
#Deny from all
Allow from all
</Location>
<Location /balancer-manager>
#用来负责监控
SetHandler balancer-manager
Order deny,allow
#Deny from all
Allow from all
</Location>
以上步骤所基本的配置
步骤:
安装Apache基本模块
后台监控
负载均衡简单测试
配置Tomcat相关模块(AJP)
保持Session唯一,粘性会话
Tomcat集群,Session复制
1.安装Apache相关模块
负载均衡需要的主要是代理模块!
经过几次Apache配置尝试,在Ubuntu下配置Apache实在是太容易了。加载什么模块、取消什么模块两个命令搞定。
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
#启用模块
sudo a2enmod <model>
#禁用模块
sudo a2dismod <model>
这里,我们需要让Apache提供代理服务,其中又包含基于http、ftp、ajp等等协议的代理功能,同时还需要负载均衡模块。我们可以通过命令逐个加载:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
#代理核心模块
sudo a2enmod proxy
#代理AJP模块
sudo a2enmod proxy_ajp
#代理负载均衡模块
sudo a2enmod proxy_balancer
#代理HTTP模块
sudo a2enmod proxy_http
#代理FTP模块
sudo a2enmod proxy_ftp
完成上述操作后,系统会提示重启Apache!
先不着急重启,现学现卖,了解下Apache的目录结构。在Ubuntu下配置Apache主要是在 /etc/apache2目录下:
![](http://dl.iteye.com/upload/attachment/296322/6361a535-f984-3518-a6ce-aa250dbb7251.jpg)
分述:
apache2.conf核心配置文件,一般不需要修改!
conf.d目录,里面包含了一些字符集设置,文档等设置!
dav_svn.authz和dav_svn.passwd是前面做SVN时,相关权限、密码文件。
envvars定义了运行时的用户身份——www-data。
httpd.conf是Apache留给我们自己折腾的配置文件,默认为空。apache2.conf会加载这个文件。
ports.conf端口默认配置。apache2.conf会加载这个文件。
magic为mod_mime_magic模块服务。
mods-enabled和mods-available mods-enabled会被apache2.conf加载,里面包含*.load和*.conf文件。*.load文件中是加载相应的模块(位于/usr/lib/apache2/modules/中),而*.conf中是对应的基本配置。但这些文件其实都是链接到mods-available中相应的文件上。当我们通过a2enmod操作时,实际上正是操作了这些软链接。
sites-available和sites-enabled 与 mods-enabled和mods-available的关系类似,只是其中包含的是站点内容。
罗嗦了一堆,下面配置负载均衡部分。
执行修改:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/apache2/mods-available/proxy.conf
![](http://dl.iteye.com/upload/attachment/296343/61551c89-4bb6-3f01-9eac-60fcf5952365.jpg)
上图红框中的内容是原始内容,白框中的内容是我新加的部分。
注意红框中的配置:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Proxy *>
AddDefaultCharset off
Order deny,allow
#Deny from all
Allow from localhost ip6-localhost
</Proxy>
在默认配置中,Deny from all处于可用状态。当我们配置其他代理节点时,将导致杜绝访问!使用
Allow from localhost ip6-localhost 限制仅允许本机访问!
再说,白框中的内容:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Proxy balancer://zlex>
BalancerMember http://localhost:8080/
BalancerMember http://192.168.49.1:8080/
</Proxy>
这里,我配置了一个负载均衡节点 balancer://zlex,其中包含了两个服务 http://localhost:8080/和
http://192.168.49.1:8080/,一个是虚拟机上的Tomcat、一个是真机上的Tomcat。这里使用的Http的转发方式,当然,使用AJP未尝不可,稍后详述!
这里的节点次序会有一个先后关系,Apache会将请求按照FIFO的方式调度顺次分配到各个节点上!如果其中有一个节点挂掉,将跳过该节点顺次寻找可用节点。
再说代理和反向代理:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
ProxyPass /zlex balancer://zlex
ProxyPassReverse /zlex balancer://zlex
这里配置,如果要访问 /zlex路径时,将跳转到 balancer://zlex上,也就是享受负载均衡!
2.后台监控
我们如何知道某个节点负载多少,响应时间多久,服务是否正常呢?Apache提供了负载均衡监控平台: http://localhost/balancer-manager。但是,这个服务默认是不存在。
除了用于负载均衡配置、监控的 balancer-manager还有 http://localhost/server-status和 http://localhost/server-info
我们需要添加info模块:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
#系统信息模块
sudo a2enmod info
同时,为了能够使用 balancer-manager,我们需要配置:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Location /balancer-manager>
SetHandler balancer-manager
Order Deny,Allow
#Deny from all
Allow from localhost ip6-localhost
</Location>
把这段代码放到哪?由于它同属系统信息配置,我把它放到了 info.conf中,说白了就是照猫画虎:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/apache2/mods-available/info.conf
![](http://dl.iteye.com/upload/attachment/296388/51df4a5a-3631-3d6d-b177-0a1e1050e6fa.jpg)
注意,这段代码放到了 <IfModule mod_info.c>和 </IfModule>之间!
现在,我们重启Apache:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo /etc/init.d/apache2 restart
来看看管理界面 http://localhost/balancer-manager:
![](http://dl.iteye.com/upload/attachment/296419/86aee243-b2d0-3863-9148-a7128678c368.jpg)
我们再来看看服务器基本信息 http://localhost/server-info:
![](http://dl.iteye.com/upload/attachment/296460/93f8c3ca-9674-3080-88b6-9f52bb62b1e4.jpg)
上述两个服务需要加载info模块,而服务器状态(server-status)不需要 http://localhost/server-status:
![](http://dl.iteye.com/upload/attachment/296457/6e684559-2d12-34c1-8a01-dacaa98ef59b.jpg)
3.负载均衡简单测试
疯狂访问 http://localhost/zlex,直到手酸眼烦!
我这里故意使用不同了Tomcat界面,来验证自己的配置是否生效。更疯狂的是,我甚至把节点指向了百度、搜狐,来测试负载均衡的效果。如果你细致观察,Apache是将请求顺次分配到各个节点上的。
如果其中一个节点发生问题(例如,强行关闭一个Tomcat,或配置一个错误节点)Apache将会经过几次尝试后,绕过这个问题节点,寻找可以成功访问的节点。如果这个节点恢复正常使用,Apache将在该Tomcat恢复正常工作后大约1分钟内将该节点标识为可用!
现在,再看看现在的后台( http://localhost/balancer-manager)啥样子:
![](http://dl.iteye.com/upload/attachment/296422/97928a4f-2d75-33aa-90fc-3a69287526ff.jpg)
如果我们控制一个节点的状态是否可用,该怎么做:
![](http://dl.iteye.com/upload/attachment/296424/3b4fd628-fda4-3dc4-a283-f31ae2eb9dea.jpg)
涉及到负载量,session同步等等,我们最后讨论!
4.配置Tomcat相关模块(AJP)
基于Http协议分发并不复杂,但AJP效果更好!一次诡异事件中,内网访问正常,外网访问多次失败,最后通过AJP方式完美解决了!
在Tomcat中配置AJP也很简单,修改 server.xml开启AJP模块:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/tomcat6/server.xml
开启AJP配置:
Xml代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Connector port="8009" protocol="AJP/1.3"
URIEncoding="UTF-8"
redirectPort="8443" />
注意使用的端口port="8009",字符集URIEncoding="UTF-8",这是输入框、请求字符集乱码的入口!
接下里就可以通过AJP方式进行节点分发了。修改 /etc/apache2/mods-available/proxy.conf :
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/apache2/mods-available/proxy.conf
将 http改为 ajp,将 8080改为
8009:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Proxy balancer://zlex>
BalancerMember ajp://localhost:8009/
BalancerMember ajp://192.168.49.1:8009/
</Proxy>
重启Apache:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo /etc/init.d/apache2 restart
再看看管理界面 http://localhost/balancer-manager
![](http://dl.iteye.com/upload/attachment/296433/df374ea5-afe0-3f20-841d-711dd3ca0d4f.jpg)
至此,我们完成了基本负载均衡的基本配置!
![](http://snowolf.iteye.com/images/smiles/icon_biggrin.gif)
/etc/apache2/mods-available/proxy.conf还有一些属性:
noFailOver是否打开失败转移, On| Off,默认为Off,添加在
ProxyPass后面,如:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
ProxyPass /zlex balancer://zlex stickySession=JSESSIONID noFailOver=On
如果这样配置,当提供给你服务的服务器发生异常,那么你将一直看着它返回给你503,直到系统恢复正常!
loadfactor表示后台服务器负载到由Apache发送请求的权值,默认值为1添加在 BalancerMember后面:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Proxy balancer://zlex>
BalancerMember ajp://localhost:8009/
BalancerMember ajp://192.168.49.1:8009/
</Proxy>
可以实现三种策略:
轮询均衡策略的配置
按权重分配均衡策略的配置
权重请求响应负载均衡策略的配置
5.Session唯一,粘性会话
Apache已经可以轻松将内容处理的工作分配给各个Tomcat了!
当然,这还不够,Session还是个问题!
WHY?
我们来做一系列修改,来检测Session到底出现了什么问题!
先来改造Tomcat,修改 server.xml:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/tomcat6/server.xml
修改 <Engine />节点,增加 jvmRoute属性:
Xml代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Engine
name="Catalina"
defaultHost="localhost"
jvmRoute="tomcat1">
另一个Tomcat设置改为
Xml代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Engine
name="Catalina"
defaultHost="localhost"
jvmRoute="tomcat2">
通过 jvmRoute,指定了Tomcat唯一标识!
然后修改 /etc/apache2/mods-available/proxy.conf
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/apache2/mods-available/proxy.conf
如下:
Java代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Proxy balancer://zlex>
BalancerMember ajp://localhost:8009/zlex route=tomcat1
BalancerMember ajp://192.168.49.1:8009/zlex route=tomcat2
</Proxy>
ProxyPass /zlex balancer://zlex
ProxyPassReverse /zlex balancer://zlex
这里需要通过修改 route属性,将Apache与Tomcat关联起来!
注意,Tomcat中定义的jvmRoute需要与Apache定义的route相对应!
我们来看一下 http://localhost/balancer-manager发生了什么变化:
![](http://dl.iteye.com/upload/attachment/297345/586aea62-c192-330c-98f5-cffe57c2f826.jpg)
我们注意到route字段有了新的标识,当然,我们也可以通过这个配置界面修改这些信息,但当前修改不会真的修改/etc/apache2/mods-available/proxy.conf文件,Apache重启后将丢失。
为了更细致的对比进过复杂均衡的结果,这里增加了zlex应用!主要是监控Session的变化!
只看核心代码:
Jsp代码
![](http://snowolf.iteye.com/images/icon_star.png)
<b>当前SessionID:</b>
<br />
<%
String sessionID = session.getId();
out.println(sessionID);
System.err.println("sessionID = " + sessionID);
// 如果有新的 Session 属性设置
String dataName = request.getParameter("dataName");
if (dataName != null && !dataName.isEmpty()) {
String dataValue = request.getParameter("dataValue");
session.setAttribute(dataName, dataValue);
}
%>
<br />
<br />
<b>Session属性列表:</b>
<br />
<%
Enumeration<String> e = (Enumeration<String>) session
.getAttributeNames();
while (e.hasMoreElements()) {
String name = e.nextElement();
String value = (String) session.getAttribute(name);
out.println(name + " = " + value + "<br>");
System.err.println(name + " = " + value);
}
%>
<form method="POST">
<ul style="list-style-type: none;">
<li><label for="dataName">键:</label><input size="20" id="dataName"
name="dataName"></li>
<li><label for="dataValue">值:</label><input size="20"
id="dataValue" name="dataValue"></li>
<li><input type="submit" value="提交" /></li>
</ul>
</form>
将其做成一个名为zlex的web应用,分别部署到两个Tomcat上!
然后重启Apache:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo /etc/init.d/apache2 restart
不断刷新 http://localhost/zlex,看看真正的结果:
第1次:
![](http://dl.iteye.com/upload/attachment/297355/2734ab1f-eb4a-3a56-926e-19cfd24b2560.jpg)
第2次:
![](http://dl.iteye.com/upload/attachment/297357/2766f7e1-f0bf-3c31-b8c2-e182dfad78ec.jpg)
第3次:
![](http://dl.iteye.com/upload/attachment/297361/b01de010-aecf-3eb4-8654-5ed15dfe75a0.jpg)
第4次:
![](http://dl.iteye.com/upload/attachment/297363/5d0f8478-911e-3518-92e0-915486f82be0.jpg)
仔细观察,每次请求都按照负载均衡配置的节点次序依次请求到不同的Tomcat上。尤其是当我们通过 jvmRoute和
route做了绑定之后,信息更加准确。但是, 仔细观察,每次请求的SessionID都是不一样!对于纯Web应用,尤其是依靠SessionID区分唯一用户的应用,这将是一场噩梦——解决了服务器压力均衡问题,却带来了SessionID不唯一问题!这就需要SessionID绑定,或者说叫做“会话复制”。
如果这时候你在页面上提交表单,将键值对保持在session中,在页面刷新后,将无法获得该信息,因为Seesion丢失了!
接着修改 /etc/apache2/mods-available/proxy.conf,让SeesionID保持唯一:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/apache2/mods-available/proxy.conf
增加 stickySession属性:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
ProxyPass /zlex balancer://zlex stickySession=JSESSIONID
stickySession粘性会话,根据这一属性,浏览器将通过cookie绑定SeesionID。如果这个时候再次访问 http://localhost/zlex,你会发现,页面不会来回跳转了! sticky是什么?
引用
sticky模式
利用负载均衡器的sticky模式的方式把所有同一session的请求都发送到相同的Tomcat节点。这样不同用户的请求就被平均分配到集群 中各个tomcat节点上,实现负载均衡的能力。这样做的缺点是没有灾难恢复的能力。一旦一个节点发生故障,这个节点上所有的session信息全部丢 失;
同一用户同一session只和一个webServer交互,一旦这个webserver发生故障,本次session将丢失,用户不能继续使用 !
提交一个Session设定看看 http://localhost/zlex:
![](http://dl.iteye.com/upload/attachment/297416/7e224798-010b-305c-bbd8-1219492b6714.jpg)
观察后台日志:
![](http://dl.iteye.com/upload/attachment/297418/79e0c91f-2e1e-3f8d-8d9b-579af5cc5e8b.jpg)
再看看返回页面,这相当于一次页面刷新,如果正常粘性会话,我们将获得当前SessionID对应的一切信息:
![](http://dl.iteye.com/upload/attachment/297420/8a6c8e4f-b94a-3957-a968-b8f1780d66f7.jpg)
这说明粘性会话生效了!
我们得到了形如
引用
50DAF14C6CDF8ACFBDC1095A5EE8E2CF.tomcat1
的SessionID。这样,我们就能知道当前访问的是哪台服务器了!
![](http://snowolf.iteye.com/images/smiles/icon_biggrin.gif)
如果,换一个浏览器打开该页面http://localhost/zlex,将会获得一个新的SessionID,并且,根据Apache中配置的负载均衡节点列表依次访问下一个节点!
如果这时候负载均衡节点列表中某一节点发生异常,那么Apache将按照惯例,跳转该节点,并在该节点恢复正常后约1分钟内重新将其纳入可用节点!
修改刚才的jsp页面,看看Http头中都有些什么:
Jsp代码
![](http://snowolf.iteye.com/images/icon_star.png)
<b>Cookie信息:</b>
<br />
${header["cookie"]}
<br />
<b>Host信息:</b>
<br />
${header["host"]}
<br />
![](http://dl.iteye.com/upload/attachment/297435/771a2001-99c5-3de5-b675-715b8f99dd03.jpg)
sticky模式的根本在于浏览器支持cookie,如果浏览器不支持cookie,则需要修改server.xml文件中的<Context />节点,将cookie置为false,关闭cookie功能,让jsessionid显式传递!
6.Tomcat集群,Session复制
经过两天反复研究,两只互不相认的Tomcat终于在网络上“资源共享”了——Session复制成功!
![](http://snowolf.iteye.com/images/smiles/icon_biggrin.gif)
关于 Tomcat集群以及Session复制,网上已经有很多很多,但是否真的能用?!为了确认这一问题,周末还跑到书店翻了翻《Apache Tomcat 高级编程》,参考
Clustering/Session Replication HOW-TO(有点小错误),经过两天苦战,克服种种小问题,终于拿下!
整理概念:
引用
群集,是包含多个服务器实例的指定集合,这些服务器实例共享相同的应用程序、资源以及配置信息。您可以将不同计算机上的服务器实例分组到一个逻辑群集中并将其作为一个单元来管理。您可以使用 DAS 轻松控制多机群集的生命周期。
群集可以实现水平可伸缩性、负载平衡和故障转移保护。根据定义,群集中的所有实例都具有相同的资源和应用程序配置。当群集中的服务器实例或计算机 出现故障时,负载平衡器检测到该故障,会将通信从出现故障的实例重定向至群集中的其他实例,并恢复用户会话状态。由于群集中所有实例上的应用程序和资源都 相同,因此一个实例可以故障转移至群集中的任何其他实例。
引用
Session复制,主要是指集群环境下,多台应用服务器之间同步Session,确保Session保持一致,且Session中的内容保持一致,对外透明——看起来就像是一台应用服务器!
如果其中一台服务器发生故障,根据负载均衡的原理,Apache会遍历寻找可用节点,分发请求。与此同时,当前用户Session不能发生数据丢失,其余各节点服务器应保证用户Session数据同步。
Session复制核心内容主要是:
Session内容序列化(serialize),会消耗系统性能。
Session内容通过广播同步给成员,会造成网络流量瓶颈,即便是内网瓶颈。
因此,Session复制的这两个潜在问题,致使复杂均衡节点最多不会超过4个。因为,当节点数大于4时,整个集群的吞吐量将不再上升!
为了搭建Tomcat集群,我将两个Tomcat分别部署到两台虚拟机上,确保网段一致。(这一步很关键,我最初将 Tomcat1(192.168.49.132)部署在虚拟机上,将
Tomcat2(192.168.49.128)部署在本机上,结果,网络总有问题,耽误了很多时间。
![](http://snowolf.iteye.com/images/smiles/icon_sad.gif)
)
由于变换了IP,我需要修改Apache的 /etc/apache2/mods-available/proxy.conf文件:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/apache2/mods-available/proxy.conf
修改负载均衡节点如下:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Proxy balancer://zlex>
BalancerMember ajp://192.168.49.128:8009/zlex route=tomcat1
BalancerMember ajp://192.168.49.132:8009/zlex route=tomcat2
</Proxy>
对于windows系统,不需要考虑网络问题,广播地址(这里用到 224.0.0.0和 240.0.0.0)默认开放,对于linux则需要通过命令开放地址。
Ubuntu上开放广播地址(eth0网卡):
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo route add -net 224.0.0.0 netmask 240.0.0.0 dev eth0
然后通过 -v参数查看当前开放的广播地址:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
route -v
![](http://dl.iteye.com/upload/attachment/297816/c4229467-200d-3f87-93f7-63ba89329321.jpg)
注意,重启后,该路由设置将丢失!
![](http://snowolf.iteye.com/images/smiles/icon_biggrin.gif)
在Ubuntu下,可以考虑修改 /etc/networks文件!
如果有必要,Windows上开放广播地址(192.168.49.128本机地址):
Cmd代码
![](http://snowolf.iteye.com/images/icon_star.png)
route add 224.0.0.0 mask 240.0.0.0 192.168.49.128
然后通过 print参数查看当前开放的广播地址:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
route print
![](http://dl.iteye.com/upload/attachment/297819/a56d313c-5a29-3398-9a16-39ee39b8ad33.jpg)
然后,修改tomcat的server.xml文件:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/tomcat6/server.xml
在 <Engine /> 节点中加入如下内容:
Xml代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
channelSendOptions="8">
<Manager className="org.apache.catalina.ha.session.DeltaManager"
expireSessionsOnShutdown="false"
notifyListenersOnReplication="true"/>
<Channel className="org.apache.catalina.tribes.group.GroupChannel">
<Membership className="org.apache.catalina.tribes.membership.McastService"
address="224.0.0.0"
port="45564"
frequency="500"
dropTime="3000"/>
<Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
address="192.168.49.1"
port="4000"
autoBind="100"
selectorTimeout="5000"
maxThreads="6"/>
<Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
<Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
</Sender>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
</Channel>
<Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/>
<Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>
<ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>
<ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
</Cluster>
这里需要注意 <Membership />和 Receiver: <Membership />节点的
address属性是广播地址; Receiver节点的 address属性是本地绑定地址。当然,默认为
auto。由于我在启动Tomcat时,Tomcat频频将地址指向 127.0.0.1,无奈只好使用固定IP。
此外,为了降低Session复制的成本,Tomcat通过 <Valve />节点,以过滤器的方式控制哪些请求可以忽略Session复制:
Xml代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/>
同时,在<Host>节点中加入如下内容:
Xml代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
tempDir="/tmp/war-temp/"
deployDir="/tmp/war-deploy/"
watchDir="/tmp/war-listen/"
watchEnabled="false"/>
在Tomcat的官方文档(Tomcat 6)中,对于<Deployer />节点的部署位置是错误的,通过观察Tomcat启动日志,确认该节点应当不属于<Host />节点中!
注意:Tomcat 6与Tomcat5在上述节点中使用的类包(包中名称由cluster变化为ha)有所不同,且结构有所调整。
先别急着重启,我们需要修改应用中的 web.xml文件,将 <distributable />节点部署到
<web-app />节点中,开启分布式服务:
![](http://dl.iteye.com/upload/attachment/297903/573ed148-71f9-3d12-ba24-6559317f1d61.jpg)
注意:如果没有设置该节点,SessionID将不能保持同步,不同的服务器将各自建立独立的SessionID!
监控Tomcat日志:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
tail -f /var/lib/tomcat6/logs/catalina.out
然后重启Tomcat1:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo /etc/init.d/tomcat6 restart
观察日志:
![](http://dl.iteye.com/upload/attachment/297833/174fb78d-7a63-35e6-bc44-473e60d276ae.jpg)
注意两处红框:
第一处,Cluster启动,并绑定192.168.49.132:4000上,进行TCP通讯,并等待其它成员(Member)。
第二处,在管理器中注册/zlex,绑定JvmRouteBinderValve。
至此,说明集群设置已经生效,但不能说明集群配置成功!
接着我们启动Tomcat2,观察其日志:
![](http://dl.iteye.com/upload/attachment/297838/01a15369-a2de-3f5f-a8a7-26ee5dd4ef5f.jpg)
Cluster启动,并绑定192.168.49.128:4000上并发现成员[b]192.168.49.132![/b]
再看Tomcat1的日志:
![](http://dl.iteye.com/upload/attachment/297841/29fccb4f-1150-3a40-a40f-f2f772fc42d2.jpg)
Tomcat1发现其成员Tomcat2!这说明TCP通讯已建立,Tomcat成员可以进行Session同步!
![](http://snowolf.iteye.com/images/smiles/icon_biggrin.gif)
同时,Tomcat成员直接会每隔一个时间段相互侦测/验证其他成员是否正常:
![](http://dl.iteye.com/upload/attachment/297852/3414a8f4-6a23-3e2e-a19d-850a1c765b8a.jpg)
现在,开始访问 http://localhost/zlex,并不断刷新当前页面:
![](http://dl.iteye.com/upload/attachment/297857/518cc51d-5bee-3d51-9a81-b355ac86cb6e.jpg)
除了两处标识主机来源的tomcatX不同外,session是完全一致的!
提交一次修改,并不断刷新当前页:
![](http://dl.iteye.com/upload/attachment/297862/c250f043-f35e-3b71-b76a-ab3e6879a76b.jpg)
如果仔细观察,当前SessionID在不断交替变化,这说明负载均衡在起作用!
我们再来看看2个Tomcat后台日志都做了什么!
Tomcat1:
![](http://dl.iteye.com/upload/attachment/297864/a7597442-9612-3cdd-8525-aa808c7c5512.jpg)
Tomcat2:
![](http://dl.iteye.com/upload/attachment/297866/f51f6aa9-ff5a-34a9-b486-d2fe0fa9b2f6.jpg)
两只猫都打印了相同的内容( a=1)不同的细节在于,sessionID带有服务器标识!
如果我们强行关闭Tomcat2:
首先,Tomcat1会很快侦测到Tomcat2离线,因为这是TCP通讯,成员之间很容易检测到其他成员是否离线!Tomcat1后台日志如下:
![](http://dl.iteye.com/upload/attachment/297878/9282ab8c-e68b-348b-bb65-c122e4339e6f.jpg)
其次,Apache会侦测到Tomcat2发生异常,将其余请求转交给其他节点,即交由Tomcat1处理!
继续刷新 http://localhost/zlex当前页面,耐心等待几秒。你会发现,即便再次刷新页面,sessionID仍旧绑定在标识tomcat1服务器上。
然后,我们恢复Tomcat2服务,Tomcat1会马上侦测到Tomcat2已经恢复正常:
![](http://dl.iteye.com/upload/attachment/297882/07ad0cd5-eca5-3e4f-9e2c-d636f86aba0e.jpg)
最后,我们再次刷新当前页,Apache已经将请求分发给Tomcat2了,从后台日志可以看到session信息会很快被同步了!
如果带有tomcatX标识的sessionID有很多不便之处,可以关闭粘性会话。简单的讲,就是取消Tomcat中[b]server.xml中
<Engine/ >节点的 jvmRoute属性![/b]然后,重启tomcat、apache!
![](http://dl.iteye.com/upload/attachment/297891/5081f710-e7bd-3ceb-bb2b-2c26ef4367a3.jpg)
页面提交一个 b=3!
![](http://dl.iteye.com/upload/attachment/297889/a61fd4c0-88d1-32ef-826e-07e090bf53ec.jpg)
左边为Tomcat1,右边为Tomcat2!SessionID一致!
除了上述几种方案外,还有
Terracotta模式。一种第三方集群组件,2009年收购了缓存组件EhCache,可以结合Tomcat、JBoss等多种服务器,提供多种负载均衡、集群等功能实现,且当负载均衡节点超过8个时,仍然能够保持集群吞吐量的线性增长。
Eclipse插件地址:
http://download.terracotta.org/eclipse/update
下载地址:
http://www.terracotta.org/dl/oss-download-catalog
至此,Apache + Tomcat成功完成,征服Apache系列暂告一段落!
1.apache version:2.2.15 ,tomcat version :6
2.httpd.conf 解开注释httpd-vhosts.conf
3.httpd-vhosts.conf 增加如下内容:
80:为本地http server端口
<VirtualHost *:80> #stickysession 会话级别负载均衡,不配置的时候是请求级别负载均衡 bybusyness 按照繁忙程度均衡
ServerAdmin test@test.com #异常时发送邮件的地址
ServerName www.**.com #代理访问名
ServerAlias www.**.com #访问的别名
ProxyRequests Off # 反向代理打开
ProxyPreserveHost On # 传送原始请求的Host信息给被代理的机器
#代理和反向代理,要访问/zlex路径时,将跳转到balancer://zlex,实现负载均衡 (session复制的时候要这样:/zlex)
ProxyPass /zlex balancer://zlex/ lbmethod=bybusyness
ProxyPassReverse /zlex balancer://zlex
#session唯一,粘性会话模式
#ProxyPass /zlex balancer://cluster/ lbmethod=byrequests stickysession=JSESSIONID|jsessionid nofailover=Off timeout=5 maxattempts=3
# ProxyPassReverse /zlex balancer://zlex
<Proxy balancer://zlex>
BalancerMember ajp://192.168.140.129:8009/zlex loadfactor=1 route=jvm1
BalancerMember ajp://192.168.140.129:8010/zlex loadfactor=1 route=jvm2
</Proxy>
LogFormat "%{Host}i %h %l %u %t \"%r\" %s %b" vcommon
ErrorLog logs/error.log
CustomLog logs/access.log common
</VirtualHost>
4 修改context.xml:
<Context distributable="true">
5 修改server.xml: (不同机器时不用修改1,2,3的端口)
<!--0 modify port -->
<Server port="8101" shutdown="SHUTDOWN">
<!-- 1 modify port -->
<Connector URIEncoding="UTF-8" executor="tomcatThreadPool" port="8081" protocol="HTTP/1.1" enableLookups="false" acceptCount="700" maxSpareThreads="100"
connectionTimeout="30000"
redirectPort="8443" />
<!--2 modify port -->
<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" URIEncoding="UTF-8"/>
<!--3 modify jvmRoute -->
<Engine name="Catalina" defaultHost="localhost" jvmRoute="jvm1">
<!--4 tomcat6 以上不用配置 -->
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" />
6.解注释httpd-info.conf:
<Location /server-status>
SetHandler server-status
Order deny,allow
#Deny from all
Allow from all
</Location>
<Location /server-info>
SetHandler server-info
Order deny,allow
#Deny from all
Allow from all
</Location>
<Location /balancer-manager>
#用来负责监控
SetHandler balancer-manager
Order deny,allow
#Deny from all
Allow from all
</Location>
以上步骤所基本的配置
步骤:
安装Apache基本模块
后台监控
负载均衡简单测试
配置Tomcat相关模块(AJP)
保持Session唯一,粘性会话
Tomcat集群,Session复制
1.安装Apache相关模块
负载均衡需要的主要是代理模块!
经过几次Apache配置尝试,在Ubuntu下配置Apache实在是太容易了。加载什么模块、取消什么模块两个命令搞定。
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
#启用模块
sudo a2enmod <model>
#禁用模块
sudo a2dismod <model>
这里,我们需要让Apache提供代理服务,其中又包含基于http、ftp、ajp等等协议的代理功能,同时还需要负载均衡模块。我们可以通过命令逐个加载:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
#代理核心模块
sudo a2enmod proxy
#代理AJP模块
sudo a2enmod proxy_ajp
#代理负载均衡模块
sudo a2enmod proxy_balancer
#代理HTTP模块
sudo a2enmod proxy_http
#代理FTP模块
sudo a2enmod proxy_ftp
完成上述操作后,系统会提示重启Apache!
先不着急重启,现学现卖,了解下Apache的目录结构。在Ubuntu下配置Apache主要是在 /etc/apache2目录下:
![](http://dl.iteye.com/upload/attachment/296322/6361a535-f984-3518-a6ce-aa250dbb7251.jpg)
分述:
apache2.conf核心配置文件,一般不需要修改!
conf.d目录,里面包含了一些字符集设置,文档等设置!
dav_svn.authz和dav_svn.passwd是前面做SVN时,相关权限、密码文件。
envvars定义了运行时的用户身份——www-data。
httpd.conf是Apache留给我们自己折腾的配置文件,默认为空。apache2.conf会加载这个文件。
ports.conf端口默认配置。apache2.conf会加载这个文件。
magic为mod_mime_magic模块服务。
mods-enabled和mods-available mods-enabled会被apache2.conf加载,里面包含*.load和*.conf文件。*.load文件中是加载相应的模块(位于/usr/lib/apache2/modules/中),而*.conf中是对应的基本配置。但这些文件其实都是链接到mods-available中相应的文件上。当我们通过a2enmod操作时,实际上正是操作了这些软链接。
sites-available和sites-enabled 与 mods-enabled和mods-available的关系类似,只是其中包含的是站点内容。
罗嗦了一堆,下面配置负载均衡部分。
执行修改:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/apache2/mods-available/proxy.conf
![](http://dl.iteye.com/upload/attachment/296343/61551c89-4bb6-3f01-9eac-60fcf5952365.jpg)
上图红框中的内容是原始内容,白框中的内容是我新加的部分。
注意红框中的配置:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Proxy *>
AddDefaultCharset off
Order deny,allow
#Deny from all
Allow from localhost ip6-localhost
</Proxy>
在默认配置中,Deny from all处于可用状态。当我们配置其他代理节点时,将导致杜绝访问!使用
Allow from localhost ip6-localhost 限制仅允许本机访问!
再说,白框中的内容:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Proxy balancer://zlex>
BalancerMember http://localhost:8080/
BalancerMember http://192.168.49.1:8080/
</Proxy>
这里,我配置了一个负载均衡节点 balancer://zlex,其中包含了两个服务 http://localhost:8080/和
http://192.168.49.1:8080/,一个是虚拟机上的Tomcat、一个是真机上的Tomcat。这里使用的Http的转发方式,当然,使用AJP未尝不可,稍后详述!
这里的节点次序会有一个先后关系,Apache会将请求按照FIFO的方式调度顺次分配到各个节点上!如果其中有一个节点挂掉,将跳过该节点顺次寻找可用节点。
再说代理和反向代理:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
ProxyPass /zlex balancer://zlex
ProxyPassReverse /zlex balancer://zlex
这里配置,如果要访问 /zlex路径时,将跳转到 balancer://zlex上,也就是享受负载均衡!
2.后台监控
我们如何知道某个节点负载多少,响应时间多久,服务是否正常呢?Apache提供了负载均衡监控平台: http://localhost/balancer-manager。但是,这个服务默认是不存在。
除了用于负载均衡配置、监控的 balancer-manager还有 http://localhost/server-status和 http://localhost/server-info
我们需要添加info模块:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
#系统信息模块
sudo a2enmod info
同时,为了能够使用 balancer-manager,我们需要配置:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Location /balancer-manager>
SetHandler balancer-manager
Order Deny,Allow
#Deny from all
Allow from localhost ip6-localhost
</Location>
把这段代码放到哪?由于它同属系统信息配置,我把它放到了 info.conf中,说白了就是照猫画虎:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/apache2/mods-available/info.conf
![](http://dl.iteye.com/upload/attachment/296388/51df4a5a-3631-3d6d-b177-0a1e1050e6fa.jpg)
注意,这段代码放到了 <IfModule mod_info.c>和 </IfModule>之间!
现在,我们重启Apache:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo /etc/init.d/apache2 restart
来看看管理界面 http://localhost/balancer-manager:
![](http://dl.iteye.com/upload/attachment/296419/86aee243-b2d0-3863-9148-a7128678c368.jpg)
我们再来看看服务器基本信息 http://localhost/server-info:
![](http://dl.iteye.com/upload/attachment/296460/93f8c3ca-9674-3080-88b6-9f52bb62b1e4.jpg)
上述两个服务需要加载info模块,而服务器状态(server-status)不需要 http://localhost/server-status:
![](http://dl.iteye.com/upload/attachment/296457/6e684559-2d12-34c1-8a01-dacaa98ef59b.jpg)
3.负载均衡简单测试
疯狂访问 http://localhost/zlex,直到手酸眼烦!
我这里故意使用不同了Tomcat界面,来验证自己的配置是否生效。更疯狂的是,我甚至把节点指向了百度、搜狐,来测试负载均衡的效果。如果你细致观察,Apache是将请求顺次分配到各个节点上的。
如果其中一个节点发生问题(例如,强行关闭一个Tomcat,或配置一个错误节点)Apache将会经过几次尝试后,绕过这个问题节点,寻找可以成功访问的节点。如果这个节点恢复正常使用,Apache将在该Tomcat恢复正常工作后大约1分钟内将该节点标识为可用!
现在,再看看现在的后台( http://localhost/balancer-manager)啥样子:
![](http://dl.iteye.com/upload/attachment/296422/97928a4f-2d75-33aa-90fc-3a69287526ff.jpg)
如果我们控制一个节点的状态是否可用,该怎么做:
![](http://dl.iteye.com/upload/attachment/296424/3b4fd628-fda4-3dc4-a283-f31ae2eb9dea.jpg)
涉及到负载量,session同步等等,我们最后讨论!
4.配置Tomcat相关模块(AJP)
基于Http协议分发并不复杂,但AJP效果更好!一次诡异事件中,内网访问正常,外网访问多次失败,最后通过AJP方式完美解决了!
在Tomcat中配置AJP也很简单,修改 server.xml开启AJP模块:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/tomcat6/server.xml
开启AJP配置:
Xml代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Connector port="8009" protocol="AJP/1.3"
URIEncoding="UTF-8"
redirectPort="8443" />
注意使用的端口port="8009",字符集URIEncoding="UTF-8",这是输入框、请求字符集乱码的入口!
接下里就可以通过AJP方式进行节点分发了。修改 /etc/apache2/mods-available/proxy.conf :
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/apache2/mods-available/proxy.conf
将 http改为 ajp,将 8080改为
8009:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Proxy balancer://zlex>
BalancerMember ajp://localhost:8009/
BalancerMember ajp://192.168.49.1:8009/
</Proxy>
重启Apache:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo /etc/init.d/apache2 restart
再看看管理界面 http://localhost/balancer-manager
![](http://dl.iteye.com/upload/attachment/296433/df374ea5-afe0-3f20-841d-711dd3ca0d4f.jpg)
至此,我们完成了基本负载均衡的基本配置!
![](http://snowolf.iteye.com/images/smiles/icon_biggrin.gif)
/etc/apache2/mods-available/proxy.conf还有一些属性:
noFailOver是否打开失败转移, On| Off,默认为Off,添加在
ProxyPass后面,如:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
ProxyPass /zlex balancer://zlex stickySession=JSESSIONID noFailOver=On
如果这样配置,当提供给你服务的服务器发生异常,那么你将一直看着它返回给你503,直到系统恢复正常!
loadfactor表示后台服务器负载到由Apache发送请求的权值,默认值为1添加在 BalancerMember后面:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Proxy balancer://zlex>
BalancerMember ajp://localhost:8009/
BalancerMember ajp://192.168.49.1:8009/
</Proxy>
可以实现三种策略:
轮询均衡策略的配置
按权重分配均衡策略的配置
权重请求响应负载均衡策略的配置
5.Session唯一,粘性会话
Apache已经可以轻松将内容处理的工作分配给各个Tomcat了!
当然,这还不够,Session还是个问题!
WHY?
我们来做一系列修改,来检测Session到底出现了什么问题!
先来改造Tomcat,修改 server.xml:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/tomcat6/server.xml
修改 <Engine />节点,增加 jvmRoute属性:
Xml代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Engine
name="Catalina"
defaultHost="localhost"
jvmRoute="tomcat1">
另一个Tomcat设置改为
Xml代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Engine
name="Catalina"
defaultHost="localhost"
jvmRoute="tomcat2">
通过 jvmRoute,指定了Tomcat唯一标识!
然后修改 /etc/apache2/mods-available/proxy.conf
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/apache2/mods-available/proxy.conf
如下:
Java代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Proxy balancer://zlex>
BalancerMember ajp://localhost:8009/zlex route=tomcat1
BalancerMember ajp://192.168.49.1:8009/zlex route=tomcat2
</Proxy>
ProxyPass /zlex balancer://zlex
ProxyPassReverse /zlex balancer://zlex
这里需要通过修改 route属性,将Apache与Tomcat关联起来!
注意,Tomcat中定义的jvmRoute需要与Apache定义的route相对应!
我们来看一下 http://localhost/balancer-manager发生了什么变化:
![](http://dl.iteye.com/upload/attachment/297345/586aea62-c192-330c-98f5-cffe57c2f826.jpg)
我们注意到route字段有了新的标识,当然,我们也可以通过这个配置界面修改这些信息,但当前修改不会真的修改/etc/apache2/mods-available/proxy.conf文件,Apache重启后将丢失。
为了更细致的对比进过复杂均衡的结果,这里增加了zlex应用!主要是监控Session的变化!
只看核心代码:
Jsp代码
![](http://snowolf.iteye.com/images/icon_star.png)
<b>当前SessionID:</b>
<br />
<%
String sessionID = session.getId();
out.println(sessionID);
System.err.println("sessionID = " + sessionID);
// 如果有新的 Session 属性设置
String dataName = request.getParameter("dataName");
if (dataName != null && !dataName.isEmpty()) {
String dataValue = request.getParameter("dataValue");
session.setAttribute(dataName, dataValue);
}
%>
<br />
<br />
<b>Session属性列表:</b>
<br />
<%
Enumeration<String> e = (Enumeration<String>) session
.getAttributeNames();
while (e.hasMoreElements()) {
String name = e.nextElement();
String value = (String) session.getAttribute(name);
out.println(name + " = " + value + "<br>");
System.err.println(name + " = " + value);
}
%>
<form method="POST">
<ul style="list-style-type: none;">
<li><label for="dataName">键:</label><input size="20" id="dataName"
name="dataName"></li>
<li><label for="dataValue">值:</label><input size="20"
id="dataValue" name="dataValue"></li>
<li><input type="submit" value="提交" /></li>
</ul>
</form>
将其做成一个名为zlex的web应用,分别部署到两个Tomcat上!
然后重启Apache:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo /etc/init.d/apache2 restart
不断刷新 http://localhost/zlex,看看真正的结果:
第1次:
![](http://dl.iteye.com/upload/attachment/297355/2734ab1f-eb4a-3a56-926e-19cfd24b2560.jpg)
第2次:
![](http://dl.iteye.com/upload/attachment/297357/2766f7e1-f0bf-3c31-b8c2-e182dfad78ec.jpg)
第3次:
![](http://dl.iteye.com/upload/attachment/297361/b01de010-aecf-3eb4-8654-5ed15dfe75a0.jpg)
第4次:
![](http://dl.iteye.com/upload/attachment/297363/5d0f8478-911e-3518-92e0-915486f82be0.jpg)
仔细观察,每次请求都按照负载均衡配置的节点次序依次请求到不同的Tomcat上。尤其是当我们通过 jvmRoute和
route做了绑定之后,信息更加准确。但是, 仔细观察,每次请求的SessionID都是不一样!对于纯Web应用,尤其是依靠SessionID区分唯一用户的应用,这将是一场噩梦——解决了服务器压力均衡问题,却带来了SessionID不唯一问题!这就需要SessionID绑定,或者说叫做“会话复制”。
如果这时候你在页面上提交表单,将键值对保持在session中,在页面刷新后,将无法获得该信息,因为Seesion丢失了!
接着修改 /etc/apache2/mods-available/proxy.conf,让SeesionID保持唯一:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/apache2/mods-available/proxy.conf
增加 stickySession属性:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
ProxyPass /zlex balancer://zlex stickySession=JSESSIONID
stickySession粘性会话,根据这一属性,浏览器将通过cookie绑定SeesionID。如果这个时候再次访问 http://localhost/zlex,你会发现,页面不会来回跳转了! sticky是什么?
引用
sticky模式
利用负载均衡器的sticky模式的方式把所有同一session的请求都发送到相同的Tomcat节点。这样不同用户的请求就被平均分配到集群 中各个tomcat节点上,实现负载均衡的能力。这样做的缺点是没有灾难恢复的能力。一旦一个节点发生故障,这个节点上所有的session信息全部丢 失;
同一用户同一session只和一个webServer交互,一旦这个webserver发生故障,本次session将丢失,用户不能继续使用 !
提交一个Session设定看看 http://localhost/zlex:
![](http://dl.iteye.com/upload/attachment/297416/7e224798-010b-305c-bbd8-1219492b6714.jpg)
观察后台日志:
![](http://dl.iteye.com/upload/attachment/297418/79e0c91f-2e1e-3f8d-8d9b-579af5cc5e8b.jpg)
再看看返回页面,这相当于一次页面刷新,如果正常粘性会话,我们将获得当前SessionID对应的一切信息:
![](http://dl.iteye.com/upload/attachment/297420/8a6c8e4f-b94a-3957-a968-b8f1780d66f7.jpg)
这说明粘性会话生效了!
我们得到了形如
引用
50DAF14C6CDF8ACFBDC1095A5EE8E2CF.tomcat1
的SessionID。这样,我们就能知道当前访问的是哪台服务器了!
![](http://snowolf.iteye.com/images/smiles/icon_biggrin.gif)
如果,换一个浏览器打开该页面http://localhost/zlex,将会获得一个新的SessionID,并且,根据Apache中配置的负载均衡节点列表依次访问下一个节点!
如果这时候负载均衡节点列表中某一节点发生异常,那么Apache将按照惯例,跳转该节点,并在该节点恢复正常后约1分钟内重新将其纳入可用节点!
修改刚才的jsp页面,看看Http头中都有些什么:
Jsp代码
![](http://snowolf.iteye.com/images/icon_star.png)
<b>Cookie信息:</b>
<br />
${header["cookie"]}
<br />
<b>Host信息:</b>
<br />
${header["host"]}
<br />
![](http://dl.iteye.com/upload/attachment/297435/771a2001-99c5-3de5-b675-715b8f99dd03.jpg)
sticky模式的根本在于浏览器支持cookie,如果浏览器不支持cookie,则需要修改server.xml文件中的<Context />节点,将cookie置为false,关闭cookie功能,让jsessionid显式传递!
6.Tomcat集群,Session复制
经过两天反复研究,两只互不相认的Tomcat终于在网络上“资源共享”了——Session复制成功!
![](http://snowolf.iteye.com/images/smiles/icon_biggrin.gif)
关于 Tomcat集群以及Session复制,网上已经有很多很多,但是否真的能用?!为了确认这一问题,周末还跑到书店翻了翻《Apache Tomcat 高级编程》,参考
Clustering/Session Replication HOW-TO(有点小错误),经过两天苦战,克服种种小问题,终于拿下!
整理概念:
引用
群集,是包含多个服务器实例的指定集合,这些服务器实例共享相同的应用程序、资源以及配置信息。您可以将不同计算机上的服务器实例分组到一个逻辑群集中并将其作为一个单元来管理。您可以使用 DAS 轻松控制多机群集的生命周期。
群集可以实现水平可伸缩性、负载平衡和故障转移保护。根据定义,群集中的所有实例都具有相同的资源和应用程序配置。当群集中的服务器实例或计算机 出现故障时,负载平衡器检测到该故障,会将通信从出现故障的实例重定向至群集中的其他实例,并恢复用户会话状态。由于群集中所有实例上的应用程序和资源都 相同,因此一个实例可以故障转移至群集中的任何其他实例。
引用
Session复制,主要是指集群环境下,多台应用服务器之间同步Session,确保Session保持一致,且Session中的内容保持一致,对外透明——看起来就像是一台应用服务器!
如果其中一台服务器发生故障,根据负载均衡的原理,Apache会遍历寻找可用节点,分发请求。与此同时,当前用户Session不能发生数据丢失,其余各节点服务器应保证用户Session数据同步。
Session复制核心内容主要是:
Session内容序列化(serialize),会消耗系统性能。
Session内容通过广播同步给成员,会造成网络流量瓶颈,即便是内网瓶颈。
因此,Session复制的这两个潜在问题,致使复杂均衡节点最多不会超过4个。因为,当节点数大于4时,整个集群的吞吐量将不再上升!
为了搭建Tomcat集群,我将两个Tomcat分别部署到两台虚拟机上,确保网段一致。(这一步很关键,我最初将 Tomcat1(192.168.49.132)部署在虚拟机上,将
Tomcat2(192.168.49.128)部署在本机上,结果,网络总有问题,耽误了很多时间。
![](http://snowolf.iteye.com/images/smiles/icon_sad.gif)
)
由于变换了IP,我需要修改Apache的 /etc/apache2/mods-available/proxy.conf文件:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/apache2/mods-available/proxy.conf
修改负载均衡节点如下:
Conf代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Proxy balancer://zlex>
BalancerMember ajp://192.168.49.128:8009/zlex route=tomcat1
BalancerMember ajp://192.168.49.132:8009/zlex route=tomcat2
</Proxy>
对于windows系统,不需要考虑网络问题,广播地址(这里用到 224.0.0.0和 240.0.0.0)默认开放,对于linux则需要通过命令开放地址。
Ubuntu上开放广播地址(eth0网卡):
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo route add -net 224.0.0.0 netmask 240.0.0.0 dev eth0
然后通过 -v参数查看当前开放的广播地址:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
route -v
![](http://dl.iteye.com/upload/attachment/297816/c4229467-200d-3f87-93f7-63ba89329321.jpg)
注意,重启后,该路由设置将丢失!
![](http://snowolf.iteye.com/images/smiles/icon_biggrin.gif)
在Ubuntu下,可以考虑修改 /etc/networks文件!
如果有必要,Windows上开放广播地址(192.168.49.128本机地址):
Cmd代码
![](http://snowolf.iteye.com/images/icon_star.png)
route add 224.0.0.0 mask 240.0.0.0 192.168.49.128
然后通过 print参数查看当前开放的广播地址:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
route print
![](http://dl.iteye.com/upload/attachment/297819/a56d313c-5a29-3398-9a16-39ee39b8ad33.jpg)
然后,修改tomcat的server.xml文件:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo vi /etc/tomcat6/server.xml
在 <Engine /> 节点中加入如下内容:
Xml代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
channelSendOptions="8">
<Manager className="org.apache.catalina.ha.session.DeltaManager"
expireSessionsOnShutdown="false"
notifyListenersOnReplication="true"/>
<Channel className="org.apache.catalina.tribes.group.GroupChannel">
<Membership className="org.apache.catalina.tribes.membership.McastService"
address="224.0.0.0"
port="45564"
frequency="500"
dropTime="3000"/>
<Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
address="192.168.49.1"
port="4000"
autoBind="100"
selectorTimeout="5000"
maxThreads="6"/>
<Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
<Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
</Sender>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
</Channel>
<Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/>
<Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>
<ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>
<ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
</Cluster>
这里需要注意 <Membership />和 Receiver: <Membership />节点的
address属性是广播地址; Receiver节点的 address属性是本地绑定地址。当然,默认为
auto。由于我在启动Tomcat时,Tomcat频频将地址指向 127.0.0.1,无奈只好使用固定IP。
此外,为了降低Session复制的成本,Tomcat通过 <Valve />节点,以过滤器的方式控制哪些请求可以忽略Session复制:
Xml代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/>
同时,在<Host>节点中加入如下内容:
Xml代码
![](http://snowolf.iteye.com/images/icon_star.png)
<Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
tempDir="/tmp/war-temp/"
deployDir="/tmp/war-deploy/"
watchDir="/tmp/war-listen/"
watchEnabled="false"/>
在Tomcat的官方文档(Tomcat 6)中,对于<Deployer />节点的部署位置是错误的,通过观察Tomcat启动日志,确认该节点应当不属于<Host />节点中!
注意:Tomcat 6与Tomcat5在上述节点中使用的类包(包中名称由cluster变化为ha)有所不同,且结构有所调整。
先别急着重启,我们需要修改应用中的 web.xml文件,将 <distributable />节点部署到
<web-app />节点中,开启分布式服务:
![](http://dl.iteye.com/upload/attachment/297903/573ed148-71f9-3d12-ba24-6559317f1d61.jpg)
注意:如果没有设置该节点,SessionID将不能保持同步,不同的服务器将各自建立独立的SessionID!
监控Tomcat日志:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
tail -f /var/lib/tomcat6/logs/catalina.out
然后重启Tomcat1:
Shell代码
![](http://snowolf.iteye.com/images/icon_star.png)
sudo /etc/init.d/tomcat6 restart
观察日志:
![](http://dl.iteye.com/upload/attachment/297833/174fb78d-7a63-35e6-bc44-473e60d276ae.jpg)
注意两处红框:
第一处,Cluster启动,并绑定192.168.49.132:4000上,进行TCP通讯,并等待其它成员(Member)。
第二处,在管理器中注册/zlex,绑定JvmRouteBinderValve。
至此,说明集群设置已经生效,但不能说明集群配置成功!
接着我们启动Tomcat2,观察其日志:
![](http://dl.iteye.com/upload/attachment/297838/01a15369-a2de-3f5f-a8a7-26ee5dd4ef5f.jpg)
Cluster启动,并绑定192.168.49.128:4000上并发现成员[b]192.168.49.132![/b]
再看Tomcat1的日志:
![](http://dl.iteye.com/upload/attachment/297841/29fccb4f-1150-3a40-a40f-f2f772fc42d2.jpg)
Tomcat1发现其成员Tomcat2!这说明TCP通讯已建立,Tomcat成员可以进行Session同步!
![](http://snowolf.iteye.com/images/smiles/icon_biggrin.gif)
同时,Tomcat成员直接会每隔一个时间段相互侦测/验证其他成员是否正常:
![](http://dl.iteye.com/upload/attachment/297852/3414a8f4-6a23-3e2e-a19d-850a1c765b8a.jpg)
现在,开始访问 http://localhost/zlex,并不断刷新当前页面:
![](http://dl.iteye.com/upload/attachment/297857/518cc51d-5bee-3d51-9a81-b355ac86cb6e.jpg)
除了两处标识主机来源的tomcatX不同外,session是完全一致的!
提交一次修改,并不断刷新当前页:
![](http://dl.iteye.com/upload/attachment/297862/c250f043-f35e-3b71-b76a-ab3e6879a76b.jpg)
如果仔细观察,当前SessionID在不断交替变化,这说明负载均衡在起作用!
我们再来看看2个Tomcat后台日志都做了什么!
Tomcat1:
![](http://dl.iteye.com/upload/attachment/297864/a7597442-9612-3cdd-8525-aa808c7c5512.jpg)
Tomcat2:
![](http://dl.iteye.com/upload/attachment/297866/f51f6aa9-ff5a-34a9-b486-d2fe0fa9b2f6.jpg)
两只猫都打印了相同的内容( a=1)不同的细节在于,sessionID带有服务器标识!
如果我们强行关闭Tomcat2:
首先,Tomcat1会很快侦测到Tomcat2离线,因为这是TCP通讯,成员之间很容易检测到其他成员是否离线!Tomcat1后台日志如下:
![](http://dl.iteye.com/upload/attachment/297878/9282ab8c-e68b-348b-bb65-c122e4339e6f.jpg)
其次,Apache会侦测到Tomcat2发生异常,将其余请求转交给其他节点,即交由Tomcat1处理!
继续刷新 http://localhost/zlex当前页面,耐心等待几秒。你会发现,即便再次刷新页面,sessionID仍旧绑定在标识tomcat1服务器上。
然后,我们恢复Tomcat2服务,Tomcat1会马上侦测到Tomcat2已经恢复正常:
![](http://dl.iteye.com/upload/attachment/297882/07ad0cd5-eca5-3e4f-9e2c-d636f86aba0e.jpg)
最后,我们再次刷新当前页,Apache已经将请求分发给Tomcat2了,从后台日志可以看到session信息会很快被同步了!
如果带有tomcatX标识的sessionID有很多不便之处,可以关闭粘性会话。简单的讲,就是取消Tomcat中[b]server.xml中
<Engine/ >节点的 jvmRoute属性![/b]然后,重启tomcat、apache!
![](http://dl.iteye.com/upload/attachment/297891/5081f710-e7bd-3ceb-bb2b-2c26ef4367a3.jpg)
页面提交一个 b=3!
![](http://dl.iteye.com/upload/attachment/297889/a61fd4c0-88d1-32ef-826e-07e090bf53ec.jpg)
左边为Tomcat1,右边为Tomcat2!SessionID一致!
除了上述几种方案外,还有
Terracotta模式。一种第三方集群组件,2009年收购了缓存组件EhCache,可以结合Tomcat、JBoss等多种服务器,提供多种负载均衡、集群等功能实现,且当负载均衡节点超过8个时,仍然能够保持集群吞吐量的线性增长。
Eclipse插件地址:
http://download.terracotta.org/eclipse/update
下载地址:
http://www.terracotta.org/dl/oss-download-catalog
至此,Apache + Tomcat成功完成,征服Apache系列暂告一段落!
相关文章推荐
- WIN下的Tomcat和Apache的整合配置
- Windows2000+Apache2.0.47+Tomcat4.1.27+mod_jk_2.0.50+j2sdk1.4.2的整合配置方法
- Windows 下 Apache HTTP Server 安装、配置以及与 Tomcat 的整合(附图)
- centos apache-tomcat 整合配置(两种办法)
- centos apache-tomcat 整合配置(两种办法)
- Apache2.2+Tomcat7.0整合配置详解
- Apache和tomcat整合及配置多个项目
- Windows 下 Apache HTTP Server 安装、配置以及与 Tomcat 的整合(附图)
- 使用Apache配置Tomcat应用整合PHP论坛-Discuz
- 整合Windows 2000 + j2sdk(还要安装NetBeans或 eclipse及其配置) + apache2 + php-4.3.10 + mysql + Tomcat 4 + jk2(整合APACHE和TOMCAT)
- Apache与Tomcat的整合配置方式
- apache2.2.x(x>=3)安装配置及与tomcat5.5整合
- Apache与Tomcat整合实现动静分离与负载均衡的配置实践
- Apache与Tomcat整合实现动静分离与负载均衡的配置实践
- 使用Apache配置Tomcat应用整合PHP论坛-Discuz
- Apache2.2+Tomcat7.0整合配置详解
- Apache2.2+Tomcat7.0整合配置详解
- CentOS Apache+Tomcat 整合配置(两种办法)
- Apache2.2+Tomcat7.0整合配置详解
- 在windows下配置Apache和Tomcat的整合