您的位置:首页 > 运维架构

varnish安装,配置维护

2013-03-25 15:15 501 查看
一、安装准备工作1.建立varnish用户以及用户组,并且创建Varnish缓存目录和日志目录:
useradd -s /sbin/nologin varnish
mkdir /data/varnish/cache
mkdir /data/varnish/log
chown -R varnish:varnish /data/varnish/cache
chown -R varnish:varnish /data/varnish/log
2.安装pcre,ncurses-devel cd ./pcre-8.20

./configure --prefix=/usr/local/pcre

make && make install

yum install ncurses-devel
3.安装varnish
cd varnish-3.0.0
export PKG_CONFIG_PATH=/usr/local/pcre/lib/pkgconfig 其中,“PKG_CONFIG_PATH”是指定varnish查找pcre库的路径,如果pcre安装在了其它路径下,在这里指定相应的路径即可,Varnish默认查找的pcre库路径为/usr/local/lib/ pkgconfig./configure --prefix=/usr/local/varnish --enable-dependency-tracking --enable-debugging-symbols --enable-developer-warningsmake
make install
配置varnish配置文件,如下是我的范例##############通过backend定义后端主机##############
backend wiki {
.host = "192.168.137.111";
.port = "80";
.connect_timeout = 1s;
.first_byte_timeout = 5s;
.between_bytes_timeout = 2s;

}

backend server82 {
.host = "192.168.137.111";
.port = "82";
}

backend server83 {
.host = "192.168.137.111";
.port = "83";
}

backend server84 {
.host = "192.168.137.111";
.port = "84";
}

###############定义一个名字为server的director
director server random {
{.backend = server82; .weight=5;}
{.backend = server83; .weight=5;}
{.backend = server84; .weight=5;}
}

###############设置清理缓存规则varnish允许那些IP通过PURGE方法清除缓存
acl purge {
"localhost";
"127.0.0.1";
"192.168.137.0"/26;
}

#################非允许IP发送PURGE清理缓存时将返回405状态
sub vcl_recv {
if (req.request == "PURGE") {
if (!client.ip ~ purge) {
error 405 "Not allowed.";
return(lookup);
}
}

if (req.http.host ~ "^wiki.wangqiao.cn") {
set req.backend = wiki;
}
else
if(req.http.host ~ "^server.wangqiao.cn") {
set req.backend = server;
}
else
if(req.http.host ~ "^(.*).wangqiao.cn" || req.http.host ~ "^(.*).wangqiao.com") {
set req.backend = server;
}
else
{
error 404 "Wang Qiao Cache Server";
}

###########清除url中有jpg|png|gif等文件的cookie
if (req.request == "GET" && req.url ~ "\.(jpg|png|gif|swf|jpeg|ico)$") {
unset req.http.cookie;
}

##########判断req.http.X-Forwarded-For ,如果前端有多重反向代理,这样可以获取客户端IP地址
if (req.http.x-forwarded-for) {
set req.http.X-Forwarded-For =
req.http.X-Forwarded-For + ", " + client.ip;
} else {
set req.http.X-Forwarded-For = client.ip;
}
####################如果请求的类型不是GET、HEAD、PUT、POST、TRACE、OPTIONS、DELETE时,进入pipe模式
if (req.request != "GET" &&
req.request != "HEAD" &&
req.request != "PUT" &&
req.request != "POST" &&
req.request != "TRACE" &&
req.request != "OPTIONS" &&
req.request != "DELETE") {
return (pipe);
}
########如果请求的类型不是GET与HEAD,则进入pass模式。
if (req.request != "GET" && req.request != "HEAD") {
return (pass);
}
########请求以.cgi和.php结尾带有?的url时不进行缓存直接从后端服务器读取内容
if (req.http.Authorization || req.http.Cookie) {
return (pass);
}

if (req.request == "GET" && req.url ~ "\.(cgi|php)($|\?)") {
return (pass);
}
return (lookup);

}

sub vcl_pipe {
return (pipe);
}
sub vcl_pass {
return (pass);
}
#######如果请求的类型是PURGE方法,varnish会将此请求的缓存周期设置为0,也就是使这个url的缓存失败从而刷新varnish缓存的目的
sub vcl_hit {
if (req.request == "PURGE") {
set obj.ttl = 0s;
error 200 "Purged.";
}
}
sub vcl_miss {
return (fetch);
}

###############定义不同的缓存时间###

sub vcl_fetch {
if (req.request == "GET" && req.url ~ "\.(png|xsl|xml|pdf|ppt|doc|docx|chm|rar|zip|bmp|jpeg|swf|ico|mp3|mp4|rmvb|ogg|mov|avi|wmv|swf|txt|png|gif|jpg|css|js)$")
{
set beresp.ttl = 1d;
}

if (req.request == "GET" && req.url ~ "\.(html|htm)$") {
set beresp.ttl = 1d;
}

if (req.request == "GET" && req.url ~ "^/upload(.*)$") {
set beresp.ttl = 300s;
}
#################当url中包含server时不进行缓存
if (req.url ~ "^/services/") {
return (deliver);
}
##########定义在什么状态下进入restart模式
if (beresp.status == 500 || beresp.status == 501 || beresp.status == 502 || beresp.status == 503 || beresp.status == 504 || beresp.status == 404) {
return (restart);
}
###########定义不缓存含有那些HTTP头请求
if (beresp.http.Pragma ~ "no-cache" ||
beresp.http.Cache-Control ~ "no-cache" ||
beresp.http.Cache-Control ~ "private") {
return (deliver);
}
}

###########添加一个header标识,以判断缓存是否命中
sub vcl_deliver {
set resp.http.x-hits = obj.hits;
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT form wangqiao";
} else {
set resp.http.X-Cache = "MISS from wangqiao";
}
return(deliver);
}

##############定义hash值并处理压缩内容
sub vcl_hash {
hash_data(req.url);
if (req.http.host) {
hash_data(req.http.host);
} else {
hash_data(server.ip);
}

if (req.http.Accept-Encoding) {
if (req.url ~ "\.(jpg|png|gif|gz|tgz|bz2|tbz|mp3|ogg)$") {
remove req.http.Accept-Encoding;
remove req.http.Cookie;
} else if (req.http.Accept-Encoding ~ "gzip") {
set req.http.Accept-Encoding = "gzip"; }
else if (req.http.Accept-Encoding ~ "deflate") {
set req.http.Accept-Encoding = "deflate";
}
else {
remove req.http.Accept-Encoding;
}
}

return (hash);
}

VCL内置函数
(1)vcl_recv函数
用于接收和处理请求,当请求到达并成功接收后被调用,通过判断请求的数据来决定如何处理请求。
此函数一般以如下几个关键字结束:
q pass:表示进入pass模式,把请求控制权交给vcl_pass函数。
q pipe:表示进入pipe模式,把请求控制权交给vcl_pipe函数。
q error code [reason]:表示返回“code”给客户端,并放弃处理该请求,“code”是错误标识,例如200、405等,“reason”是错误提示信息。
(2)vcl_pipe函数
此函数在进入pipe模式时被调用,用于将请求直接传递至后端主机,在请求和返回的内容没有改变的情况下,将不变的内容返回给客户端,直到这个链接关闭。
此函数一般以如下几个关键字结束:
q error code [reason]
q pipe
(3)vcl_pass函数
此函数在进入pass模式时被调用,用于将请求直接传递至后端主机,后端主机应答数据后送给客户端,但不进行任何缓存,在当前连接下每次都返回最新的内容。
此函数一般以如下几个关键字结束:
q error code [reason]
q pass
(4)lookup
表示在缓存里查找被请求的对象,并且根据查找的结果把控制权交给函数vcl_hit或者函数vcl_miss。
(5)vcl_hit函数
在执行lookup指令后,如果在缓存中找到请求的内容,将自动调用该函数。
此函数一般以如下几个关键字结束:
q deliver:表示将找到的内容发送给客户端,并把控制权交给函数vcl_deliver。
q error code [reason]
q pass
(6)vcl_miss函数
在执行lookup指令后,如果没有在缓存中找到请求的内容时自动调用该方法,此函数可以用于判断是否需要从后端服务器取内容。
此函数一般以如下几个关键字结束:
q fetch:表示从后端获取请求的内容,并把控制权交给vcl_fetch函数。
q error code [reason]
q pass
(7)vcl_fetch函数
在从后端主机更新缓存并且获取内容后调用该方法,接着,通过判断获取的内容来决定是否将内容放入缓存,还是直接返回给客户端。
此函数一般以如下几个关键字结束:
q error code [reason]
q pass
q deliver
(8)vcl_deliver函数
在缓存中找到请求的内容后,发送给客户端前调用此方法。此函数一般以如下几个关键字结束:
q error code [reason]
q deliver
(9)vcl_timeout 函数
此函数在缓存内容到期前调用。一般以如下几个关键字结束:
q discard:表示从缓存中清除该内容。
q fetch
(10)vcl_discard函数
在缓存内容到期后或缓存空间不够时,自动调用该方法,一般以如下几个关键字结束:
q keep:表示将内容继续保留在缓存中。
q discard

4.启动varnish
/usr/local/varnish/sbin/varnishd -n /data/varnish/cache -u varnish -g varnish -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file,/data/varnish/cache/vcache_cache.data,50M -w 10,51200,10 -t 3600 -T 127.0.0.1:3500 -P /var/run/varnishd.pid1 命令参数 参数含义 2 -a address:port 表示varnish对httpd的监听地址及其端口 3 -b address:port 表示后端服务器地址及其端口 4 -d 表示使用debug调试模式 5 -f file 指定varnish服务器的配置文件 6 -p param=value 指定服务器参数,用来优化varnish性能 7 -P file Varnish进程PID文件存放路径 8 -n dir 指定varnish的工作目录 9 -s kind[,storageoptions] 指定varnish缓存内容的存放方式,常用的方式有:“-s file,<dir_or_file>,<size>”。 10 其中“<dir_or_file>”指定缓存文件的存放路径,“<size>”指定缓存文件的大小 11 -t 指定缺省的TTL值 12 -T address:port 设定varnish的telnet管理地址及其端口 13 -w int[,int[,int]] 设定varnish的工作线程数,常用的方式有: 14 -w min,max 15 -w min,max,timeout 16 例如:-w5,51200,30,这里需要说明下,在varnish2.0版本以后,最小启动的线程数不能设定过大,设置过大,会导致varnish运行异常缓慢。17 -V 显示varnish版本号和版权信息

varnish得到日常维护

访问日志写入文件 /usr/local/varnish/bin/varnishncsa -n /data/varnish/cache -w /var/log/varnish.log &

获得Varnish详细的系统运行日志/usr/local/varnish/bin/varnishlog -n /data/varnish/cache| grep CLI

清除缓存/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 ban.url index.html

列出最近清除的详细URL列表/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 ban.list

通过查看网页头来查看命中情况 curl -I http://server.wangqiao.cn

查看Varnish服务器连接数与命中率/usr/local/varnish/bin/varnishstat -n /data/varnish/cache

其中几个比较重要的选是cache-hit :代表缓存命中次数miss-hit :代表未命中次数worker threads :代表当前工作线程的数量expired objects :代表过期对象的个数LRU nuked objects :代表缓存可使用的内存以达上线而不得不移除的对象个数LRU moved objects :代表LRU策略被移动的对象个数Total header bytes :代表缓存的请求头对象的大小Total body bytes :代表缓存的请求体对象大小
如果有不对的地方,请各位大神指出,小弟不甚感激!
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: