Linux学习系列之Nginx调优实战

Nginx配置文件性能微调

全局的配置

user www-data;
pid /var/run/nginx.pid;
worker_processes auto;
worker_rlimit_nofile 100000;

worker_process定义了nginx对外提供Web服务时的worker进程数,起始可以设置为CPU的核数,CPU核数是多少就设置为多少(设置为"auto"将自动检测)

worker_rlimit_nofile更改worker进程的最大打开文件限制,如果没设置的话，这个值为操作系统的限制.设置后你的操作系统和Nginx可以处理比"ulimit -a"更多的文件,所以把这个值设高,这样nginx就不会有"too many open files"问题了

Event模块部分

events {
worker_connections 2048;
multi_accept on;
use epoll;
}

worker_connections设置可由一个worker进程同时打开的最大连接数.如果设置了上面提到的worker_rlimit_nofile,我们可以将这个值设得很高

注意:最大客户数也由系统的可用socket连接数限制（~ 64K）,所以设置不切实际的高没什么好处

multi_accept告诉nginx收到一个新连接通知后接受尽可能多的连接

use epoll使用epoll模型,效率更高

HTTP模块部分

http {
server_tokens off;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
...
}

service_tokens隐藏Nginx版本号

sendfile可以让sendfile()发挥作用.sendfile()可以在磁盘和TCP socket之间互相拷贝数据(或任意两个文件描述符)

默认是Pre-sendfile,传送数据之前在用户空间申请数据缓冲区,之后用read()将数据从文件拷贝到这个缓冲区,write()将缓冲区数据写入网络.sendfile()是立即将数据从磁盘读到OS缓存,sendfile()要比组合read()和write()以及打开关闭丢弃缓冲更加有效

tcp_nopush告诉nginx在一个数据包里发送所有头文件,而不一个接一个的发送

tcp_nodelay告诉nginx不要缓存数据,而是一段一段的发送--当需要及时发送数据时,就应该给应用设置这个属性,这样发送一小块数据信息时就不能立即得到返回值

keepalive_timeout 10;
client_header_timeout 10;
client_body_timeout 10;
reset_timedout_connection on;
send_timeout 10;

keepalive_timeout 给客户端分配keep-alive链接超时时间.服务器将在这个超时时间过后关闭链接.我们将它设置低些可以让ngnix持续工作的时间更长

client_header_timeout和client_body_timeout 设置请求头和请求体(各自)的超时时间,在一定时间内收不到客户端的请求头请求体就关闭连接

reset_timedout_connection 告诉nginx关闭不响应的客户端连接.这将会释放那个客户端所占有的内存空间

send_timeout指定客户端的响应超时时间.这个设置不会用于整个转发器,而是在两次客户端读取操作之间.如果在这段时间内,客户端没有读取任何数据,nginx就会关闭连接

limit_conn_zone $binary_remote_addr zone=addr:5m;
limit_conn addr 100;

limit_conn_zone设置用于保存各种key（比如当前连接数）的共享内存的参数.5m就是5兆字节,这个值应该被设置的足够大以存储（32K*5）32byte状态或者（16K*5）64byte状态

limit_conn addr为给定的key设置最大连接数.这里key是addr,我们设置的值是100,也就是说我们允许每一个IP地址最多同时打开有100个连接

include /etc/nginx/mime.types;
default_type text/html;
charset UTF-8;

include只是一个在当前文件中包含另一个文件内容的指令。这里我们使用它来加载稍后会用到的一系列的MIME类型

default_type设置文件使用的默认的MIME-type

charset设置我们的头文件中的默认的字符集

gzip on;
gzip_min_length 1k;      #最小1K的文件才启动压缩
gzip_buffers 4 32k;      #压缩过程都写到buffer里面,压缩完成才发给客户端
gzip_http_version 1.1;
gzip_comp_level 9;       #压缩的级别
gzip_types text/css text/xml application/javascripts;  #对什么样的内容压缩
gzip_vary on;            #让前边的缓存服务器识别压缩后的文件

gzip是告诉nginx采用gzip压缩的形式发送数据,这将会减少我们发送的数据量
gzip_min_length设置对数据启用压缩的最少字节数.如果一个请求小于1K,我们最好不要压缩它,因为压缩这些小的数据会降低处理此请求的所有进程的速度
gzip_buffers
gzip_http_version是http协议
gzip_comp_level设置数据的压缩等级.这个等级可以是1-9之间的任意数值,9是最慢但是压缩比最大的.我们设置为4,这是一个比较折中的设置
gzip_types设置需要压缩的数据格式
gzip_vary 让前边的缓存服务器识别压缩后的文件

open_file_cache max=100000 inactive=20s;
open_file_cache_valid 30s;
open_file_cache_min_uses 2;
open_file_cache_errors on;

open_file_cache打开缓存的同时也指定了缓存最大数目,以及缓存的时间.我们可以设置一个相对高的最大时间,这样我们可以在它们不活动超过20秒后清除掉

open_file_cache_valid在open_file_cache中指定检测正确信息的间隔时间

open_file_cache_min_uses 定义了open_file_cache中指令参数不活动时间期间里最小的文件数

open_file_cache_errors指定了当搜索一个文件时是否缓存错误信息,也包括再次给配置中添加文件.我们也包括了服务器模块,这些是在不同文件中定义的.如果你的服务器模块不在这些位置,你就得修改这一行来指定正确的位置

Nginx expires缓存

介绍

简单的说,nginx expire功能就是为用户访问的访问内容设定一个过期时间,当用户第一次访问到这些内容时,会把这些内容存储在用户浏览器本地,这样用户第二次访问该网站,浏览器会加载检查已经缓存在用户浏览器恩地的内容,就不去服务器下载了

作用

在网站开发和运营中,对于视频、图片、css、js等不长修改的元素缓存在客户浏览器本地.
图片可以缓存365天,css、js、html等代码缓存10-30天,这样用户第一次打开页面后,会按过期时间在客户浏览器缓存上述内容,下次用户在打开页面的时候重复的元素就无需加载了可放位置:

http server location,我们一般放在location段根据匹配规则设置过期时间

配置

location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)${
expires 3650d;
}
location ~ .*\.(js|css)?$ {
expires 30d;
}
location \image {
expires 1d;
}

Nginx日志相关优化与安全

配置日志切割

编写脚本实现nginx日志轮询
vim cut_nginx_log.sh
#!/bin/bash
cd /application/nginx/log
/bin/mv www_access.log www_access_$(date +%F -d -1day).log
/application/nginx/sbin/nginx -s reload
将脚本加入定时任务定期执行
crontab -e
00 00 * * * /bin/sb /root/cut_nginx_log.sh > /dev/null 2 >&1

不需要记录的日志

比如访问一些图片等是不需要记录日志的
    location ~ .*\. (js|jpg}JPG|jpeg|css|bmp|gif|GIF|)$ {
access_log off;
}
说明:用location标签匹配不记录日志的元素扩展名,然后关掉日志

Nginx站点目录及文件URL访问控制

根据扩展名限制程序和文件访问

location ~ ^/images/.*\.(php|php5|.sh|.pl|.py)$ {
deny all;
}
location ~ ^/static/.*\.(php|pph5|.sh|.pl|.py)$ {
deny all;
}
说明:用location标签匹配不被解析的文件,然后关掉访问权限  

禁止访问指定目录下所有的文件和目录

单目录
location ~ ^/(static)/ {        #写法一
deny all;
}
location ~ ^/static {           #写法二
deny all'
}

多目录
location ~ ^/(static|image) {
deny all;
}

禁止访问指定目录,如果访问就返回404

location /admin/ {
return 404;
}
location /templates/ {
return 403;
}

限制来源IP访问

应用场景:网站后台,只允许个别IP或者网段访问
location ~ ^/oldboy/{
allow 192.168.0.20;
deny all;
}

location ~ ^/admin/ {
deny 192.168.0.1;
allow 192.168.0.0/24;
allow 10.1.1.0/16;
deny all;          #一旦deny all;下面就不能再接IP或者IP段了
}

Nginx防止恶意解析

什么是恶意解析

假如你们公司里web服务器是多台组成的一个集群,所以IP是不一样的,对方在ping你们域名的时候会出来一个IP,但是这个IP不是万网对应你们域名的IP,然后他们拿到这个IP,在万网上边把他们的域名解析到你这个IP上来,这就造成一个问题:如果他们的域名没备案的话,公安局就会一直找你们公司

解决方案

让使用IP直接访问网站的,或者访问恶意解析到你们公司IP的域名,收到501错误

配置

server {                       #这个虚拟主机必须放在其他虚拟主机的前边
listen 80 default_server;
server_name _;
return 501;
}
说明:假如nginx多个虚拟主机,如果直接访问IP的话,nginx会默认访问第一个虚拟主机,所以通过IP直接访问的话就是访问第一个虚拟主机,就会报501错误,如果其他域名恶意解析到你这个IP上了也会返回501错误

Nginx配置防盗链

什么是资源盗链

假如把别人网站上的一段视频或一张图片,复制链接,然后放在自己的网站上,用户来自己网站访问这些内容的时候,承受负担和流量的是别人的服务器

常见防盗链解决方案基本原理

根据http referer实现防盗链



在HTTP协议中,有一个表头字段叫referer,使用URL格式来表示从哪里来的链接到当前网页的资源.
通过referer可以检测目标访问的来源网页,如果是资源文件,可以跟踪到显示它的网页地址,一旦检测出来不是本站,马上执行阻止或者返回指定图片、错误信息等
一句话说明:只允许指定的域名使用资源文件,如果其他域名使用则返回指定错误信息

什么是HTTP referer　　

HTTP referer是header的一部分,当浏览器向Web服务器发送请求的时候,一般会带上referer,告诉我服务器我是从哪个页面链接过来的.

配置通过referer实现防盗链

编辑nginx.conf配置文件,加入第三个location字段部分,可以根据实际情况修改
    vim nginx.conf
server {
listen       80;
server_name  blog.etiantian.org;
root  html/blog;
location / {
index  index.php index.html index.htm;
}
location ~ .*\.(php|php5)?$ {
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fastcgi.conf;
}

location ~* \.(jpg|gif|png|swf|flv|wma|asf|mp3|mmf|zip|rar)$ {
valid_referers none  blocked *.etiantian.org etiantian.org      #允许使用资源文件的域名
if ($invalid_referer){                                          #如果不是上边允许的域名使用资源文件的时候,就返回另一张图片,或者返回403也可以
rewrite ^/http://blog.etiantian.org/img/nolink.jps
}
#通过location匹配需要防盗的资源文件
}
access_log logs/access_blog.log main;
}

Nginx错误页面优雅显示

参数:error_page

可放位置:http,server

原理:如果发现404错误等,也可以是其他错误代码,自动跳转到某个页面(页面自定义)

配置404优雅显示

编辑nginx.conf配置文件,放在server下面就是针对某个虚拟主机的404做优雅显示，放在http就是对所有虚拟主机的404做优雅显示
vim nginx.conf
server {
listen       80;
server_name  blog.etiantian.org;
root  html/blog;
location / {
index  index.php index.html index.htm;
}
location ~ .*\.(php|php5)?$ {
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fastcgi.conf;
}
#方法一
error_page 404 /error/404.html           #如果发现404错误就跳转到html/blog/error/404.html页面
#方法二
error_page 404 www.baidu.com             #如果发现404错误就跳转到www.baidu.com
方法三
error_page  404 403     /error/404.html  #如果发现404、403错误就跳转指定页面
access_log logs/access_blog.log main;
}

Nginx站点目录文件及目录权限优化

单机LNMP环境,站点目录和文件属性设置如下

所有目录权限755 所有文件权限644 所有目录和文件属主属组都是root 用户上传资源的目录权限755,属主属组都是nginx服务用户

集群参考



Nginx限制HTTP请求

我们可以通过nginx限制http请求的方法来达到提升服务器安全的目的,例如:让http只能使用GET、HEAD、POST放的配置如下

if (request_method !~ ^T|HEAD|POST)$) {
return 501;
}

还可以通过限制上传服务器的Web服务(可以具体到文件)使用GET方法,来达到防止用户通过上传服务器访问存储内容,让访问存储渠道只能从静态或图片服务器入口进入,例如在上传上限制HTTP的GET方法

if ($request_method ~* ^(GET)$) {
return 501;
}
#请参考专业的nginx架构逻辑图

基于nginx Web服务linux系统内核参数优化
http://oldboy.blog.51cto.com/2561410/1336488 http://yangrong.blog.51cto.com/6945369/1321594

Nginx程序架构优化

为网站程序解耦

简单的说就是把一堆程序代码按照业务员用途分开,然后提供方服务,例如:注册登录、上传、下载、浏览列表、商品内容页面、订单支付等都应该是独立的程序服务,只不过在客户端看来是一个整体
中小公司必须做到以下几个程序模块独立

网页页面服务

图片附件及下载服务

上传图片服务

使用普通用户启动Nginx

为什么让Nginx服务使用普通用户

默认情况下,Nignx的master进程使用的是root用户,worker进程使用的是nginx指定的普通用户,使用root用户跑nginx进程有两个最大的问题

管理权限必须是root,

使用root跑nginx服务,一旦网站出现漏洞,用户就可以很容易的获得服务器的root权限

给nginx服务降权解决方案

给nginx服务降权,用inca用户跑nginx服务,给开发及运维设置普通账号,只要和inca同组即可管理nginx,该方案解决了nginx管理问题,防止root分配权限过大

开发人员使用普通账号即可管理nginx服务及其站点下的程序,看日志

给nginx服务降权实战

安装nginx使用root用户装到/application/nginx下

创建用来跑nginx的普通用户

[root@lnmp02 ~]# useradd inca

配置inca用户的nginx

[root@lnmp02 ~]# su - inca
[inca@lnmp02 ~]$ mkdir conf  www logs
[inca@lnmp02 ~]$ touch conf/nginx.conf
[inca@lnmp02 ~]$ vim nginx.conf
worker_processes  1;
error_log /home/inca/logs/error.log;
user inca inca;
pid /home/inca/logs/nginx.pid;

events {
worker_connections  1024;
use epoll;
}

http {
include       mime.types;
default_type  application/octet-stream;
sendfile   on;
keepalive_timeout 65;

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';

server {
listen       8080;
server_name  www.etiantian.org;
root /home/inca/www;
location / {
index  index.html index.htm;
}

access_log  /home/inca/logs/www_access.log  main;
}

}
[inca@lnmp02 ~]$ cp /application/nginx/conf/mime.types /home/inca/conf/.

启动Nginx

[inca@lnmp02 ~]$ /application/nginx/sbin/nginx  -c /home/inca/conf/nginx.conf

测试Nginx进程是否是inca用户

[inca@lnmp02 ~]$ ps -ef |grep nginx
inca      28697      1  0 02:50 ?        00:00:00 nginx: master process /application/nginx/sbin/nginx -c /home/inca/conf/nginx.conf  #可以看到nginx进程已经是inca账户了
inca      28698  28697  0 02:50 ?        00:00:00 nginx: worker process

Nginx页面缓存

模块:proxy_cache
缓存静态的文件,例如:CSS、JS、图片等
无缓存时用户访问流程



有缓存时用户访问流程



应用场景:Nginx作为反向代理的时候做Web页面缓存
作用

Web缓存位于Web服务器和客户端之间,当用户访问一个URL时,Web缓存服务器会去后端服务器取回要输出的内容,当下一个请求到来时,如果访问的是相同的URL,Web缓存服务器直接输出内容给客户端,就不再次向后端服务器发出请求了,从而降低了Web服务器、数据库的负载,减少了网络延迟,提高了用户访问速度

proxy_cache相关指令集

proxy_cache_path
　　可放位置:http段
　　语法:proxy_cache_path path [levels=number] keys_zone=zone_name:zone_size[inactive=time] [max_size=size];
　　实例:proxy_cache_path /tmp/ngx_cache levels=1:2 keys_zone=cache_one:500m inactive=1d max_size=5g;
　　path:存放目录
　　levels:指定该缓存空间有两层目录hash目录,第一层目录为一个字母,第二层目录为两个字母,例如:/tmp/ngx_cache/c/29/xxxxxxxxxxxx
　　keys_zone:指定该缓存区的名字
　　500m:指内存缓存空间大小为500m
　　inactive:指定过期时间,如果缓存数据在1天内没有被访问就删除
　　max_size:的5g是指硬盘缓存空间为30G
　　作用:用于设置缓存文件的存放路径
proxy_cache_methods
　　可放位置:
　　语法:proxy_cache_methods[GET HEAD POST];
　　实例:proxy_cache_methods[GET HEAD];
　　作用:用于设置缓存哪些HTTP方法,默认缓存HTTP的GET/HEAD方法,不缓存POST方法
proxy_cache_min_uses
　　可放位置
　　语法:proxy_cache_min_uses the_number
　　实例:语法:proxy_cache_min_uses 1
　　作用:用于设置缓存最小使用次数,默认值为1
proxy_cache_valid
　　可放位置:location
　　语法:proxy_cache_valid reply_code [reply_code...] time ;
　　实例:proxy_cache_valid 200 304 12h;
　　实例:proxy_cache_valid 301 302 1m;
　　实例:proxy_cache_valid any 1m;
　　作用:设置200、304状态的URL缓存12h,301、302状态的URL缓存1m,其他的都缓存1m
proxy_cache_key
　　可放位置:location
　　语法:proxy_cache_key line ;
　　实例:proxy_cache_key $host$uri$is_args$args;
　　作用:用来设置Web缓存的key值,Nginx根据Key值md5哈希存储缓存,一般根据$host(域名),$request_uri(请求的路径)等变量组合成proxy_cache_key
proxy_cache
　　可放位置:location
　　语法:proxy_cache [name]
　　实例:proxy_cache cache_one
　　作用:调用http段定义的proxy_cache_path
proxy_set_header
　　可放位置:location
　　实例:roxy_set_header HOST $host;
　　实例:proxy_set_header X-Forwarded-For $remote_addr;
　　作用:记录host主机名和客户端IP地址

配置Nginx Web缓存

环境说明

　　nginx-proxy 192.168.0.93 nginx
　　realserver 192.168.0.94 nginx

配置realserver

安装Nginx省略
配置nginx虚拟主机
[root@realserver   ~]# vim /application/nginx/conf/nginx.conf
worker_processes  1;

events {
worker_connections  1024;
}

http {
include       mime.types;
default_type  application/octet-stream;
sendfile        on;
keepalive_timeout  65;

server {
listen       8080;

location / {
root   html/test;
index  index.html index.htm;
}
}

}
配置网站程序
[root@realserver   ~]# vim /application/nginx/html/test/index.html
<img src="/root/test.jpg" />
启动nginx
[root@realserver   ~]# /application/nginx/sbin/nginx
测试此虚拟主机
[root@realserver   ~]# curl 192.168.0.94:8080/index.html   #出来一张图片则为成功

配置Nginx Web缓存

安装Nginx省略
配置Nginx Web缓存
[root@nginx-proxy ~]# vim /application/nginx/conf/nginx.conf
worker_processes  1;

events {
worker_connections  1024;
}

http {
include       mime.types;
default_type  application/octet-stream;

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
'"addr:$upstream_addr-status:$upstream_status- cachestatus:$upstream_cache_status"' ;
sendfile        on;
keepalive_timeout  65;
proxy_cache_path /tmp/ngx_cache levels=1:2 keys_zone=cache:500m  inactive=1d max_size=5g;
upstream server_pool{
server 192.168.0.194:8080;
}

server {
listen       80;
server_name  www.etiantian.org;

location / {
proxy_pass http://server_pool; proxy_cache cache;
proxy_cache_valid 200 304 12h;
proxy_cache_valid 301 302 1m;
proxy_cache_valid any 1m;
proxy_cache_key $host$uri$is_args$args;
proxy_set_header HOST $host;
proxy_set_header X-Forwarded-For $remote_addr;
expires 1d;
add_header  Nginx-Cache "$upstream_cache_status";  #curl -I的时候可以查看是否命中
}
access_log logs/www_access.log main;
}
}

测试Nginx Web缓存
[root@nginx-proxy ~]# curl -I 192.168.0.93
HTTP/1.1 200 OK
Server: nginx/1.6.3
Date: Sun, 06 Nov 2016 00:25:20 GMT
Content-Type: text/html
Content-Length: 29
Connection: keep-alive
Last-Modified: Sat, 05 Nov 2016 23:37:38 GMT
ETag: "581e6d42-1d"
Expires: Mon, 07 Nov 2016 00:25:20 GMT
Cache-Control: max-age=86400
Nginx-Cache: MISS                            #可以看到第一次是MISS的,因为第一次请求Nginx还没缓存
Accept-Ranges: bytes

[root@nginx-proxy ~]# curl -I 192.168.0.93
HTTP/1.1 200 OK
Server: nginx/1.6.3
Date: Sun, 06 Nov 2016 00:25:23 GMT
Content-Type: text/html
Content-Length: 29
Connection: keep-alive
Last-Modified: Sat, 05 Nov 2016 23:37:38 GMT
ETag: "581e6d42-1d"
Expires: Mon, 07 Nov 2016 00:25:23 GMT
Cache-Control: max-age=86400
Nginx-Cache: HIT                             #可以看到第二次就命中了
Accept-Ranges: bytes