nginx+django+gunicorn+gevent+supervisor

安装环境介绍：

    python2.7.10

    django1.7.9
    linux CentOS release 6.5 (Final) 64

    假设我的项目位置为/var/www/myweb

    服务器IP为192.168.0.100

1、插件安装

    gunicorn-19.7.1   uwsgi组件

    gevent-1.2.1    异步组件

    greenlet-0.4.12  异步组件

    supervisor-3.3.0 进程管理组件

    直接下载然后运行 对应的 python setup.py install    

2、myweb wsgi 配置 

    位置: /var/www/myweb/wsgi.py

    import sys

    import os

    p = os.path.abspath(os.path.dirname(__file__))

    sys.path.insert(0, os.path.split(p)[0])

    os.environ["DJANGO_SETTINGS_MODULE"] = "settings"

    

    from django.core.wsgi import get_wsgi_application

    application = get_wsgi_application()

3、运行 gunicorn

    cd /var/www/myweb  

    /usr/local/python/bin/gunicorn -w 4 -k gevent -m 0002 -b 0.0.0.0:8000 --limit-request-field_size 0 --limit-request-line 0 --error-logfile /var/log/gunicorn/myweb_gunicorn_error.log wsgi:application 

    

    -w 启动多少个工作进程，可以根据CPU的个数开启，一个CPU开一个

    -k 工作进程类

    -m umask权限

    -b 地址端口配置

    wsgi:application wsgi实例

    

    对于直接运用gunicorn不通过supervisor的话，可以守护的方式启动，加入参数 -D

    /usr/local/python/bin/gunicorn -w 4 -k gevent -m 0002 -b 0.0.0.0:8000 --limit-request-field_size 0 --limit-request-line 0 --error-logfile /var/log/gunicorn/myweb_gunicorn_error.log -D wsgi:application
    

可以把配置参数写到文件中，这样比较好看一点

例如创建文件test.gun ：

import logging

import logging.handlers

from logging.handlers import WatchedFileHandler

import os

workers = 9

worker_connections = 2048

backlog = 2048

worker_class = "gevent"

keepalive = 15

umask = '002'

daemon = False

bind = '0.0.0.0:8000'

timeout = 60

pidfile = '/var/run/gunicorn/app.pid'

accesslog = '/var/log/gunicorn/app-access_log'

errorlog = '/var/log/gunicorn/app-error_log'

limit_request_line = 0

limit_request_fields = 32768

limit_request_field_size = 0

然后配置命令如下：

command=/usr/local/python/bin/gunicorn -c  /etc/supervisor/conf.d/test.gun wsgi:application

    可以通过 gunicorn -h 查看更多配置参数

    运行遇到的问题：

         CRITICAL] WORKER TIMEOUT 超时问题

        有些应用执行时间过长，gunicorn默认给工作进程30秒处理时间，超过这个时间没返回，

        为了避免这种请求占用资源，主进程会发送一个异常错误给客户端，然后关掉重启进程

        如果是业务本来就有这种可能，可以通过 -t 120 来设置超时时间，如果是有问题的，

        则可以通过 --log-level debug 来启动，查找日志是哪个URL出现这么耗时，进行优化

       当然设置这个时间多长都是一个问题，所以最要去做的是，检查所有代码，看是否有些地方有超长延时情况，

       把这种延时情况主动拒绝掉，比如有些对外的请求，或者api调用，可能超时，可以设置超时请求，

        http设置超时请求：

         import socket

         socket.setdefaulttimeout(15)

        可能还有很多情况，处理时间比较长，对于这种情况，建议通过任务队列的方式处理，

        如果要实时等待结果，那也是不能这么长的等待的，除非一些内部的系统，对并发没有要求，可以设置超时时间长一点。

        

        /usr/local/python/bin/gunicorn -w 4 -k gevent -m 0002 -b 0.0.0.0:8000 --limit-request-field_size 0 --limit-request-line 0 --log-level debug --error-logfile /var/log/gunicorn/myweb_gunicorn_error.log -D wsgi:application

 

    

    确保8000端口，防火墙已经开启

    通过 http://192.168.0.100:8000 访问

4、nginx的安装与配置

    为了提高网站的效率，对于静态文件通过nginx发送，

    其他应用URL转发到gunicorn启动的进程

    

    安装：

      ./configure

       make

       make install

    

    配置：

        server {

              listen       8080;

              location / {

                 proxy_connect_timeout 600;

                 proxy_send_timeout 600;

                 proxy_read_timeout 600;

                 server_name_in_redirect off;

                 proxy_set_header Host $host:$server_port;

                 proxy_set_header X-Real-IP $remote_addr;

                 proxy_set_header REMOTE-HOST $remote_addr;

                 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

                 client_max_body_size    300m;

                 proxy_pass http://127.0.0.1:8000;
             }

        

             location /media/ {

                  alias /var/www/myweb/static/;

             }

             location /static/ {

                  alias /var/www/myweb/static/;

             }
         }

    sudo /usr/local/nginx/sbin/nginx -s reload

    确保8080端口，防火墙已经开启

    通过 http://192.168.0.100:8080 访问

        

 

5、 supervisor 方式部署gunicorn

    守护方式运行，也为了后续维护，

    比如修改参数，启动，停止等，supervisor都非常方便

    

    /etc/supervisor/conf.d 下新增 gunicorn.conf

    

    [program:myweb_gunicorn]

    directory=/var/www/myweb

    command=/usr/local/python/bin/gunicorn -w 4 -k gevent -m 0002 -b 0.0.0.0:8000 --limit-request-field_size 0 --limit-request-line 0 --error-logfile /var/log/gunicorn/myweb_gunicorn_error.log  wsgi:application

    autostart = true

    startsecs = 5

    user=myuser

    redirect_stderr = true

    stdout_logfile_maxbytes = 20MB

    stdout_logfile_backups = 20

    stdout_logfile =/var/log/gunicorn/myweb_gunicorn.log

    

    特备注意，改了gunicorn.conf一定要重新加载配置，否则重启不生效

    /usr/local/python/bin/supervisorctl reload myweb_gunicorn

    

    #重启服务

    /usr/local/python/bin/supervisorctl restart myweb_gunicorn

6、linux配置其他用户sudo权限启动

    vim /etc/sudoers

    myuser ALL=(ALL)       NOPASSWD: /usr/local/nginx/sbin/nginx