实现LNMMP

实验平台：RHEL5.8 RHEL6.4
实验环境：node1 -- node9的内网IP分别对应10.32.9.51 -- 10.32.9.59 24位掩码
node6 node7对应一个虚拟外网IP 100.100.100.1/32


实现功能：
[b]1、利用iscsi协议、集群文件系统gfs2、clvm集群逻辑卷、cman集群传输层为web服务器提供共享存储。[/b]
[b]2、node1 node2 node3 提供wordpress个人博客服务[/b]
[b]3、memcached缓存php应用程序查询mysql的查询结果[/b]
4、利用keepalved实现前端nginx反向代理的高可用性

实验步骤：
一、软件安装

编译安装nginx-1.4.7

./configure \
--prefix=/usr \
--sbin-path=/usr/sbin/nginx \
--conf-path=/etc/nginx/nginx.conf \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--pid-path=/var/run/nginx/nginx.pid  \
--lock-path=/var/lock/nginx.lock \
--user=nginx \
--group=nginx \
--with-http_ssl_module \
--with-http_flv_module \
--with-http_stub_status_module \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/tmp/nginx/client/ \
--http-proxy-temp-path=/var/tmp/nginx/proxy/ \
--http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \
--http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \
--http-scgi-temp-path=/var/tmp/nginx/scgi \
--with-pcre \
--with-file-aio
make && make install

为nginx提供启动脚本，并添加运行nginx时用户nginx

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15
# description:  Nginx is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid

# Source function library.
. /etc/rc.d/init.d/functions

# Source networking configuration.
. /etc/sysconfig/network

# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0

nginx="/usr/sbin/nginx"
prog=$(basename $nginx)

NGINX_CONF_FILE="/etc/nginx/nginx.conf"

[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx

lockfile=/var/lock/subsys/nginx

make_dirs() {
# make required directories
user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
options=`$nginx -V 2>&1 | grep 'configure arguments:'`
for opt in $options; do
if [ `echo $opt | grep '.*-temp-path'` ]; then
value=`echo $opt | cut -d "=" -f 2`
if [ ! -d "$value" ]; then
# echo "creating" $value
mkdir -p $value && chown -R $user $value
fi
fi
done
}

start() {
[ -x $nginx ] || exit 5
[ -f $NGINX_CONF_FILE ] || exit 6
make_dirs
echo -n $"Starting $prog: "
daemon $nginx -c $NGINX_CONF_FILE
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
}

stop() {
echo -n $"Stopping $prog: "
killproc $prog -QUIT
retval=$?
echo
[ $retval -eq 0 ] && rm -f $lockfile
return $retval
}

restart() {
configtest || return $?
stop
sleep 1
start
}

reload() {
configtest || return $?
echo -n $"Reloading $prog: "
killproc $nginx -HUP
RETVAL=$?
echo
}

force_reload() {
restart
}

configtest() {
$nginx -t -c $NGINX_CONF_FILE
}

rh_status() {
status $prog
}

rh_status_q() {
rh_status >/dev/null 2>&1
}

case "$1" in
start)
rh_status_q && exit 0
$1
;;
stop)

rh_status_q || exit 0
$1
;;
restart|configtest)
$1
;;
reload)
rh_status_q || exit 7
$1
;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit 0
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
exit 2
esac

yum方式安装keepalived.x86_64 0:1.2.7-3.el6
yum方式安装memcached.x86_64 0:1.4.4-3.el6
yum方式安装scsi-target-utils.x86_64
yum方式安装gfs2-utils
yum方式安装lvm2-cluster.x86_64
yum方式安装cman-2.0.115-96.el5.x86_64.rpm

通用二进制安装mysql5.5
1、创建mysql用户mysql组,安装目录/usr/local/mysql
2、创建数据目录/mydata/data 并设置数据目录的属主、属组为mysql
3、mysql目录的属组设置为root 属组设置为mysql
4、cp support-files/mysql.server /etc/init.d/mysqld 复制启动脚本
5、cp support-files/my-large.cnf /etc/my.cnf 复制配置文件
6、修改配置文件

datadir=/mydata/data
innodb_file_per_table = ON
log-bin=mysql-binlog 二进制日志存放目录，这里直接存放在数据目录中，生产环境建议分离存放
7、初始化数据库
./scripts/mysql_install_db --user=mysql --datadir=/mydata/data
8、service mysqld start 启动数据库
9、输出库文件及头文件及man page文件
库文件输出vi /etc/ld.so.conf.d/mysql 添加/usr/local/mysql/lib
头文件输出ln -s /usr/local/mysql/include/ /usr/include/mysql
man page文件输出 MANPATH /usr/local/mysql/man

编译安装php-5.4.19.tar.bz2
1、编译安装PHP

./configure --prefix=/usr/local/php --with-mysql=mysqlnd --with-openssl --with-mysqli=mysqlnd --enable-mbstring --with-freetype-dir --with-gpg-dir --with-png-dir --with-zlib --with-libxml-dir=/usr --enable-sockets --enable-fpm --with-mycrypt --with-config-file-path=/etc --with-config-file-scan-dir=/etc/php.d --with-bz2 --enable-maintainer-zts

make && make install

备注--enable-fpm使php工作在php-fpm模式下

2、配置PHP
2.1为其提供服务脚本,源码包里cp /sapi/fpm/init.d.php-fpm到相应目录
2.2cp /usr/local/php/etc/php-fpm.conf.default /usr/local/php/etc/php-fpm.conf
为php-fpm提供配置文件并修改监听地址及启动开启的进程数、最小空闲进程、最大空闲进程
2.3复制源码包下的php.ini-production到/etc/php.ini即可成为php配置文件

3、编译安装xcache
3.1xcache源代码目录下执行/usr/local/php/bin/phpize
3.2 ./configure --enable-xcache --with-php-config=/usr/local/php/bin/php-config
3.3 make && make install

二、实现功能

1、利用iscsi协议、集群文件系统gfs2、clvm集群逻辑卷、cman集群传输层协议为web服务器提供共享存储。

node9 提供ISCSI共享存储

编辑/etc/tgt/targets.conf 添加如下

<target iqn.2014-07.org.kernel:rack11.target1>   ---- iqn名字
backing-store /dev/sdb>    ---- 共享设备名
vendor_id back1
lun 3                  ---- lun id
</backing-store>
incominguser store redhat     ---访问iscsi服务器的用户账户级密码
</target>

service tgtd start 启动iscsi服务

node1
编辑/etc/iscsi/initiatorname.iscsi 设置用来标示本机的iqn
InitiatorName=iqn.2014-07.org.kernel:client51

编辑/etc/iscsi/iscsid.conf 启用chap认证相关选项并设置用户名密码
node.session.auth.authmethod = CHAP
node.session.auth.username = store
node.session.auth.password = redhat

service iscsi restart 重启iscsi服务

iscsiadm -m discovery -t st -p 10.32.9.59:3260 发现服务端通过iscsi协议共享的设备
iscsiadm -m node -T iqn.2014-07.org.kernel:rack11.target1 -l登陆该设备即可看到新增的磁盘

因为基于ipsan使用共享存储，共享存储要解决同时读写的问题，就需要使用集群文件系统gfs2来实现分布式锁管理DLM,而gfs2的分布式锁管理器依赖于gfs_control dlm_control,在RHEL5中安装cman既可以自行管理，通过集群底层message layer 既cman来同步各个节点的DLM。CLVM是基于GFS2之上的集群逻辑卷

node1 node2需要能够互相解析对方主机名，因此可以编辑hosts文件后，同步双方hosts文件

ccs_tool create mycluster 创建集群，集群名字为mycluster
ccs_tool addfence metaware fence_manual 添加一个fence设备为肉键
ccs_tool addnode -n 1 -v 1 -f metaware node1.kernel.org 添加集群节点，-n为id，-v为该节点用于的票数，-f指定fence设备 node1.kernel.org为节点主机名
ccs_tool addnode -n 2 -v 1 -f metaware node2.kernel.org

而后同步 /etc/cluster/cluster.conf 至node2相同位置，双方均启动cman服务即完成了集群底层的配置，只是这个集群没有资源，而我们要用到的仅是集群的底层传输功能，启动服务后可以使用ccs_tool lsnode命令行查看集群节点




启用集群逻辑卷功能，并启动clvm服务

lvmconf --enable-clusterservice clvmd start

而后既可以创建逻辑卷pvcreate /dev/sdbvgcreate vg10 /dev/sdblvcreate -L 50G -n webstore vg10

使用集群文件系统进行格式化并挂载后既可以使用mkfs.gfs2 -j 2 -p lock_dlm -t mycluster:node1 /dev/mapper/vg10-webstore -j 指定日志数，这里每个集群节点需要占一个日志-p 指定协议，这里要使用分布式锁协议-t 指定锁名字，格式为 集群名:节点锁名

node2
编辑/etc/iscsi/initiatorname.iscsi 设置用来标示本机的iqnInitiatorName=iqn.2014-07.org.kernel:client52
编辑/etc/iscsi/iscsid.conf 启用chap认证相关选项并设置用户名密码node.session.auth.authmethod = CHAPnode.session.auth.username = storenode.session.auth.password = redhat
service iscsi restart 重启iscsi服务

iscsiadm -m discovery -t st -p 10.32.9.59:3260 发现服务端通过iscsi协议共享的设备
iscsiadm -m node -T iqn.2014-07.org.kernel:rack11.target1 -l登陆该设备即可看到新增的磁盘

启用集群逻辑卷功能
lvmconf --enable-clusterservice clvmd start
而后既可以看到由node1创建的集群逻辑卷，可以直接挂载使用






2、node1 node2 node3 提供wordpress个人博客服务编辑nginx.conf，定义如下配置

http {
include       mime.types;
default_type  application/octet-stream;
sendfile        on;    sendfile功能的开启
keepalive_timeout  65;   持久连接超时时长
gzip  on;   开启gzip压缩功能
server {    定义一个虚拟主机
listen       80;     监听在80端口
server_name  node1.kernel.org;   主机名
charset utf8;   字符集
location / {     定义一个目录
root   /opt;   指定该location的根目录
index  index.html index.htm index.php;   默认页面文件(index.php一定要加)
}
location ~ \.php$ {    匹配.php结尾的URI转发至127.0.0.1:9000
root           /opt;
fastcgi_pass   127.0.0.1:9000;
fastcgi_index  index.php;
fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
include        fastcgi_params;
}
}
}

编辑/etc/nginx/fastcgi_params，将其内容更改为如下内容：

fastcgi_param  GATEWAY_INTERFACE  CGI/1.1;
fastcgi_param  SERVER_SOFTWARE    nginx;
fastcgi_param  QUERY_STRING       $query_string;
fastcgi_param  REQUEST_METHOD     $request_method;
fastcgi_param  CONTENT_TYPE       $content_type;
fastcgi_param  CONTENT_LENGTH     $content_length;
fastcgi_param  SCRIPT_FILENAME    $document_root$fastcgi_script_name;
fastcgi_param  SCRIPT_NAME        $fastcgi_script_name;
fastcgi_param  REQUEST_URI        $request_uri;
fastcgi_param  DOCUMENT_URI       $document_uri;
fastcgi_param  DOCUMENT_ROOT      $document_root;
fastcgi_param  SERVER_PROTOCOL    $server_protocol;
fastcgi_param  REMOTE_ADDR        $remote_addr;
fastcgi_param  REMOTE_PORT        $remote_port;
fastcgi_param  SERVER_ADDR        $server_addr;
fastcgi_param  SERVER_PORT        $server_port;
fastcgi_param  SERVER_NAME        $server_name;

（$都是nginx的变量 而SERVER_NAME都是php-fpm的变量，nginx把相关的变量直接传递给php）
node3上创建一个支持远程连接的mysql账号
mysql> grant all on *.* to wordpress@"10.32.9.%" identified by "redhat";
mysql> flush privileges;

接下来安装wordpress，按照网站提示步骤输入即可建立wordpress个人博客站点
（复制wp-config-sample.php wp-config.php作为配置文件并输入相关信息如数据库）
（后期实验需要这里同步node1 node2 nginx的配置文件）




3、memcached缓存php应用程序查询mysql的查询结果

为php安装memcached扩展

php与在访问时主动查询缓存，如果缓存没有则查询数据库，然后缓存到缓存，这种机制是通过php的模块memcache来实现的，这里编译安装php的这个子模块
# tar xf memcache-2.2.5.tgz （php官方查找）
# cd memcache-2.2.5
/usr/local/php/bin/phpize
# ./configure --with-php-config=/usr/local/php/bin/php-config --enable-memcache
# make && make install
上述安装完后会有类似以下的提示：
Installing shared extensions: /usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/
②编辑php.ini在“动态模块Directory in which the loadable extensions (modules) reside.”相关的位置添加如下一行来载入memcache扩展：
extension=/usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/memcache.so

提供测试php脚本

<?php
$mem = new Memcache;
$mem->connect("10.32.9.58", 11211)  or die("Could not connect");   --------- 该测试就是连接的memcache缓存服务器,如果连接成功则返回memcached版本以及存储及查询键等
$version = $mem->getVersion();
echo "Server's version: ".$version."<br/>\n";
$mem->set('hellokey', 'Hello World', 0, 600) or die("Failed to save data at the memcached server");
echo "Store data in the cache (data will expire in 600 seconds)<br/>\n";
$get_result = $mem->get('hellokey');
echo "$get_result is from memcached server.";
?>

可以在任意节点安装memadmin监控memcache各项参数，如




4、利用keepalved实现前端nginx反向代理的高可用性

为node6提供keepalived的配置文件

vrrp_script chk_nginx {     -----定义vrrp trace的脚本，keepalived丰富特性1就在于此，注意该脚本需要在配置文件之前，只有先定义了后面才能调用
script "/sbin/pidof nginx" ---script 后可以是脚本也可以是命令，这里检测nginx pid文件是否存在
interval 2   ---- 检测间隔为2s
weight -20   ----如果script返回的1的命令状态，那么优先级-20
fall 2  ---- 检测2次都返回1的错误命令状态才算失败
rise 1  ---- 检测1次返回0的正确命令状态则就算成功
}
vrrp_instance VI_1 {   ----定义vrrp实例
state MASTER       ----初始状态为”主“
interface eth1     ----通过eth1端口发送vrrp协议报文
virtual_router_id 51 ---这里为vrrp组ID
priority 100  ----优先级为100，
advert_int 1  ----每秒发送1次vrrp通告
authentication {
auth_type root   -- 认证账户
auth_pass redhat  --- 认证密码
}
virtual_ipaddress {
100.100.100.1/30 label eth1:1    --- 虚拟VIP的地址掩码及别名
}
track_script {      --- 追踪的脚本，这里调用上面定义的vrrp_scrpit
chk_nginx
}
notify_backup "/etc/keepalived/restart.sh"  ---- 切换为从节点状态所执行的脚本，这里是keepalived的丰富特性2定义，可以在脚本里做邮件通知，服务重启，等等等任何想做的事。这里restart.sh由于为nginx提供高可用，因此定义当主节点成为备用节点时重新启动nginx服务，与vrrp_scrpit检测nginx服务状态相互对应
}
注意keepalived默认是工作在抢占模式，如果需要不抢占则在实例中定义nopreempt

为node7提供keepalived的配置文件

vrrp_instance VI_1 {
state SLAVE   ----初始状态为从节点
interface eth1
virtual_router_id 51
priority 90  ----优先级别小于主节点
advert_int 1
authentication {
auth_type root
auth_pass redhat
}
virtual_ipaddress {
100.100.100.1/30 label eth1:1
}
notify_master "/etc/keepalived/check.sh"
}

备用节点由于只是备用，且为nginx提供高可用，因此需要在切换到主节点时，确保nginx服务处于运行状态,check.sh简单脚本既实现检测服务状态，如果没有启动nginx服务则启动之。

验证主节点 node6




验证从节点node7(停止nginx服务；且尚未成为主节点既没有vip；主节点关闭接口时ifconfig发现vip已经过来既成为了主节点，此时触发了脚本检测nginx服务未运行则重新启动该服务)





5、nginx作为反向代理实现node1 node2的负载均衡