高级搜索|网站地图|TAG标签RSS订阅[设为首页] [加入收藏]

搜索

热门标签:

当前位置: > Linux服务器 >

安装淘宝开源web服务器tengine替换nginx并使用proxy_cache做前端

时间:2014-07-20 19:34来源:linux.it.net.cn 作者:it

简介
Tengine是由淘宝网发起的Web服务器项目。它在Nginx的基础上，针对大访问量网站的需求，添加了很多高级功能和特性。Tengine的性能和稳定性已经在大型的网站如淘宝网，天猫商城等得到了很好的检验。它的最终目标是打造一个高效、稳定、安全、易用的Web平台。

目前稳定版[2013-11-22] Tengine-1.5.2
特性
继承Nginx-1.2.9的所有特性，100%兼容Nginx的配置；
动态模块加载（DSO）支持。加入一个模块不再需要重新编译整个Tengine；
流式上传到HTTP后端服务器或FastCGI服务器，大量减少机器的I/O压力；
更加强大的负载均衡能力，包括一致性hash模块、会话保持模块，还可以对后端的服务器进行主动健康检查，根据服务器状态自动上线下线；
输入过滤器机制支持。通过使用这种机制Web应用防火墙的编写更为方便；
动态脚本语言Lua支持。扩展功能非常高效简单；
支持管道（pipe）和syslog（本地和远端）形式的日志以及日志抽样；
组合多个CSS、JavaScript文件的访问请求变成一个请求；
自动去除空白字符和注释从而减小页面的体积
自动根据CPU数目设置进程个数和绑定CPU亲缘性；
监控系统的负载和资源占用从而对系统进行保护；
显示对运维人员更友好的出错信息，便于定位出错机器；
更强大的防攻击（访问速度限制）模块；
更方便的命令行参数，如列出编译的模块列表、支持的指令等；
可以根据访问文件类型设置过期时间；
…

安装jemalloc可以增加性能

  1. cd /root/src/toolkits/
  2. wget http://www.canonware.com/download/jemalloc/jemalloc-3.4.1.tar.bz2
  3. tar jxvf jemalloc-3.4.1.tar.bz2
  4. cd jemalloc-3.4.1
  5. ./configure --prefix=/usr/local/jemalloc-3.4.1
  6. make && make install
  7. ldconfig

GeoIP白名单

  1. wget http://geolite.maxmind.com/download/geoip/api/c/GeoIP.tar.gz
  2. tar -zxvf GeoIP.tar.gz
  3. cd GeoIP-1.4.6
  4. ./configure
  5. make; make install
  6. ldconfig

使用proxy_cache时增加purge模块

  1. wget http://labs.frickle.com/files/ngx_cache_purge-2.1.tar.gz
  2. tar zxvf ngx_cache_purge-2.1.tar.gz
  3. --add-module=../ngx_cache_purge-2.1

后端nginx编译时需加上–with-http_realip_module以获取真实ip,并指定来源

  1. set_real_ip_from   61.199.67.2; #前端ip
  2. set_real_ip_from   192.168.0.111;#前端ip
  3. real_ip_header     X-Real-IP;

编译安装tengine
jemalloc为编译路径

  1. wget http://tengine.taobao.org/download/tengine-1.5.1.tar.gz
  2. tar zxvf tengine-1.5.1.tar.gz
  3. cd tengine-1.5.1
  4. ./configure --user=www --group=website --prefix=/opt/tengine-1.5.1 --add-module=../ngx_cache_purge-2.1 --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module  \
  5. --with-http_concat_module=shared \
  6. --with-http_sysguard_module=shared \
  7. --with-http_limit_conn_module=shared \
  8. --with-http_limit_req_module=shared \
  9. --with-http_footer_filter_module=shared \
  10. --with-http_upstream_ip_hash_module=shared \
  11. --with-http_upstream_least_conn_module=shared \
  12. --with-http_upstream_session_sticky_module=shared \
  13. --with-jemalloc=/root/src/lempelf/packages/jemalloc-3.4.1
  14. make
  15. make install

GeoIp数据

  1. cd  /opt/tengine-1.5.1/conf
  2. wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz
  3. gunzip GeoIP.dat.gz
  4.  
  5. chgrp -R website /opt/tengine-1.5.1/conf
  6. chmod -R 764 /opt/tengine-1.5.1/conf
  7. chmod  774 /opt/tengine-1.5.1/conf

复制原nginx的配制文件于tengine

  1. cd /opt/nginx/conf
  2. cp awstats.conf fcgi.conf htpasswd block.conf nginx.conf /opt/tengine-1.5.1/conf/

检测配置文件

  1. /opt/tengine-1.5.1/sbin/nginx -t -c /opt/tengine-1.5.1/conf/nginx.conf
  2. nginx: [emerg] unknown directive "limit_zone" in /opt/tengine-1.5.1/conf/nginx.conf:71
  3. nginx: [emerg] unknown directive "limit_conn" in /opt/tengine-1.5.1/conf/nginx.conf:136
  4. 如果有以上错误,需去掉limit_conn配置,ngx_http_limit_conn_module 模块在新版已使用新指令

增加新的功能
vi /opt/tengine-1.5.1/conf/nginx.conf
根据cpu数量自动设定Tengine的worker进程数量，并进行cpu绑定。

  1. worker_processes     auto;
  2. worker_cpu_affinity  auto;

关闭系统信息

  1. server_info off;
  2. server_tag off;

ngx_http_sysguard_module
系统过载保护

  1. sysguard on;
  2.  
  3.         sysguard_load load=10.5 action=/loadlimit;
  4.         sysguard_mem swapratio=20% action=/swaplimit;
  5.         sysguard_mem free=100M action=/freelimit;
  6.  
  7.         location /loadlimit {
  8.             return 503;
  9.         }
  10.  
  11.         location /swaplimit {
  12.             return 503;
  13.         }
  14.  
  15.         location /freelimit {
  16.             return 503;
  17.         }

ngx_http_limit_req_module
并发限制模块

  1. limit_req_zone $binary_remote_addr zone=one:3m rate=1r/s;
  2.     limit_req_zone $binary_remote_addr $uri zone=two:3m rate=1r/s;
  3.     limit_req_zone $binary_remote_addr $request_uri zone=three:3m rate=1r/s;
  4.  
  5.     location / {
  6.         limit_req zone=one burst=5;
  7.         limit_req zone=two forbid_action=@test1;
  8.         limit_req zone=three burst=3 forbid_action=@test2;
  9.     }
  10.  
  11.     location /off {
  12.         limit_req off;
  13.     }
  14.  
  15.     location @test1 {
  16.         rewrite ^ /test1.html;
  17.     }
  18.  
  19.     location @test2 {
  20.         rewrite ^  /test2.html;
  21.     }

删除旧的nginx软链接,给tengine增加软链接
rm /opt/nginx
ln -s /opt/tengine-1.5.1 /opt/nginx

一个完整的nginx.conf

  1. user  www website;
  2.  
  3. worker_processes     auto;
  4. worker_cpu_affinity  auto;
  5.  
  6.  
  7. error_log  /var/log/nginx/nginx_error.log  error;
  8.  
  9. pid        /dev/shm/nginx.pid;
  10.  
  11. #Specifies the value for maximum file descriptors that can be opened by this process.
  12. worker_rlimit_nofile 51200;
  13.  
  14. dso {
  15.      load ngx_http_footer_filter_module.so;
  16.      load ngx_http_limit_conn_module.so;
  17.      load ngx_http_limit_req_module.so;
  18.      load ngx_http_sysguard_module.so;
  19.      load ngx_http_upstream_ip_hash_module.so;
  20.      load ngx_http_upstream_least_conn_module.so;
  21.      load ngx_http_upstream_session_sticky_module.so;
  22. }
  23.  
  24. events
  25. {
  26.      use epoll;
  27.  
  28.      worker_connections 51200;
  29. }
  30.  
  31. http
  32. {
  33.      include       mime.types;
  34.      default_type  application/octet-stream;
  35.  
  36.      log_format  access  '$remote_addr - $remote_user [$time_local] "$request" '
  37.    '$status $body_bytes_sent "$http_referer" '
  38.    '"$http_user_agent" $http_x_forwarded_for';
  39.  
  40.      open_log_file_cache max=1000 inactive=20s min_uses=2 valid=1m;
  41.  
  42.      server_names_hash_bucket_size 128;
  43.  
  44.      #linux 2.4+
  45.      sendfile on;
  46.      tcp_nopush     on;
  47.      tcp_nodelay on;
  48.  
  49.      #tengine
  50.      server_info off;
  51.      server_tag off;
  52.      #server_tag Apache;
  53.      server_tokens off;
  54.  
  55.      server_name_in_redirect off;
  56.  
  57.      keepalive_timeout 60;
  58.  
  59.  
  60.      client_header_buffer_size 16k;
  61.      client_body_timeout 60;
  62.      client_max_body_size 8m;
  63.      large_client_header_buffers 4 32k;
  64.  
  65.      fastcgi_intercept_errors on;
  66.      fastcgi_hide_header X-Powered-By;
  67.      fastcgi_connect_timeout 180;
  68.      fastcgi_send_timeout 180;
  69.      fastcgi_read_timeout 180;
  70.      fastcgi_buffer_size 128k;
  71.      fastcgi_buffers 4 128K;
  72.      fastcgi_busy_buffers_size 128k;
  73.      fastcgi_temp_file_write_size 128k;
  74.      fastcgi_temp_path /dev/shm;
  75.  
  76.      #open_file_cache max=51200 inactive=20s;
  77.      #open_file_cache_valid    30s;
  78.      #open_file_cache_min_uses 2;
  79.      #open_file_cache_errors   off;
  80.  
  81.      gzip on;
  82.      gzip_min_length  1k;
  83.      gzip_comp_level 5;
  84.      gzip_buffers     4 16k;
  85.      gzip_http_version 1.1;
  86.      gzip_types       text/plain application/x-javascript text/css application/xml;
  87.      gzip_proxied any;
  88.  
  89.      limit_req_log_level error;
  90.      limit_req_zone $binary_remote_addr $uri zone=two:30m rate=10r/s;
  91.  
  92.      #访问限制白名单
  93.      geo $white_ip {
  94.           #ranges;
  95.           default 0;
  96.           127.0.0.1/32 1;
  97.           182.55.21.28/32 1;
  98.           192.168.0.0/16 1;
  99.           61.199.67.0/24 1;
  100.      }
  101.  
  102.  
  103.      client_body_buffer_size  512k;
  104.      proxy_connect_timeout    5;
  105.      proxy_read_timeout       60;
  106.      proxy_send_timeout       5;
  107.      proxy_buffer_size        16k;
  108.      proxy_buffers            4 32k;
  109.      proxy_busy_buffers_size 64k;
  110.      proxy_temp_file_write_size 64k;
  111.  
  112.     
  113.      #注：proxy_temp_path和proxy_cache_path指定的路径必须在同一分区
  114.      proxy_temp_path   /opt/nginx/proxy_temp_dir;
  115.      #设置Web缓存区名称为cache_www，内存缓存空间大小为3000MB，1天没有被访问的内容自动清除，硬盘缓存空间大小为30GB。
  116.      proxy_cache_path  /opt/nginx/proxy_cache_www  levels=1:2   keys_zone=cache_www:3000m inactive=1d max_size=20g;
  117.  
  118.      upstream www_server {
  119.      server   192.168.0.131:80;
  120.      }
  121.      server
  122.      {
  123.              listen       80 default;
  124.              server_name  _;
  125.              return 444;
  126.              access_log  off;
  127.      }
  128.  
  129.  
  130.      server
  131.      {
  132.              listen       80;
  133.              server_name  www.c1gstudio.com;
  134.              index index.html index.htm index.php;
  135.              root  /opt/htdocs/www;
  136.              access_log  /var/log/nginx/proxy.www.c1gstudio.com.log  access buffer=24k;
  137.  
  138. if (-d $request_filename){
  139. rewrite ^/(.*)([^/])$ http://$host/$1$2/ permanent;
  140. }
  141.  
  142.      limit_req_whitelist geo_var_name=white_ip geo_var_value=1;
  143.              limit_req zone=two burst=50 forbid_action=/visitfrequently.html;
  144.  
  145.              location @visitfrequently {
  146.          rewrite ^ /visitfrequently.html;
  147.              }
  148.  
  149.  
  150.      location ~/\.ht {
  151.          deny all;
  152.      }
  153.  
  154.  
  155.     #用于清除缓存，假设一个URL为http://192.168.8.42/test.txt，通过访问http://192.168.8.42/purge/test.txt就可以清除该URL的缓存。
  156.     location ~ /purge(/.*)
  157.     {
  158.      #设置只允许指定的IP或IP段才可以清除URL缓存。
  159.      allow            127.0.0.1;
  160.      allow            192.168.0.0/16;
  161.      deny            all;
  162.      proxy_cache_purge    cache_www   $host$1$is_args$args;
  163.      error_page 405 =200 /purge$1; #处理squidclient purge的时候出现的405错误
  164.     }   
  165.     if ( $request_method = "PURGE" ) {
  166.      rewrite ^(.*)$ /purge$1 last;
  167.     }
  168.  
  169.  
  170.     location /
  171.     {
  172. error_page 502 504 /502.html;
  173. proxy_set_header Host  $host;
  174. #proxy_set_header X-Forwarded-For  $remote_addr;
  175. proxy_set_header X-Real-IP $remote_addr;
  176. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  177. proxy_pass http://www_server;
  178. add_header      X-Cache   Cache-Skip;
  179.     }
  180.     location ~ 404\.html$
  181.     {
  182. proxy_set_header Host  $host;
  183. #proxy_set_header X-Forwarded-For  $remote_addr;
  184. proxy_set_header X-Real-IP $remote_addr;
  185. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  186. proxy_pass http://www_server;
  187. add_header      X-Cache   Cache-Skip;
  188.     }
  189.  
  190.  
  191.              location ~ .*\.(htm|html|)?$
  192.              {
  193. #如果后端的服务器返回502、504、执行超时等错误，自动将请求转发到upstream负载均衡池中的另一台服务器，实现故障转移。
  194. proxy_next_upstream http_502 http_504 error timeout invalid_header;
  195. proxy_cache cache_www;
  196. #对不同的HTTP状态码设置不同的缓存时间
  197. proxy_cache_valid  200 304 5m;
  198. #以域名、URI、参数组合成Web缓存的Key值，Nginx根据Key值哈希，存储缓存内容到二级缓存目录内
  199. proxy_cache_key $host$uri$is_args$args;
  200. proxy_set_header Host  $host;
  201. proxy_http_version 1.1;
  202. #proxy_set_header X-Forwarded-For  $remote_addr;
  203. proxy_set_header X-Real-IP $remote_addr;
  204. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  205. proxy_pass http://www_server;
  206. #支持后台expires
  207. proxy_ignore_headers "Cache-Control" "Expires";
  208. add_header      X-Cache   Cache;
  209.              }
  210.  
  211.      location ~* ^.+\.(jpg|jpeg|gif|png|rar|zip|css|js)$ {
  212. valid_referers none blocked *.c1gstudio.com;
  213. if ($invalid_referer) {
  214.     rewrite ^/ http://leech.c1gstudio.com/leech.gif;
  215.     return 412;
  216.     break;
  217. }
  218.                  access_log   off;
  219. #如果后端的服务器返回502、504、执行超时等错误，自动将请求转发到upstream负载均衡池中的另一台服务器，实现故障转移。
  220. proxy_next_upstream http_502 http_504 error timeout invalid_header;
  221. proxy_cache cache_www;
  222. #对不同的HTTP状态码设置不同的缓存时间
  223. proxy_cache_valid  200 304 5m;
  224. #以域名、URI、参数组合成Web缓存的Key值，Nginx根据Key值哈希，存储缓存内容到二级缓存目录内
  225. proxy_cache_key $host$uri$is_args$args;
  226. proxy_set_header Host  $host;
  227. proxy_http_version 1.1;
  228. #proxy_set_header X-Forwarded-For  $remote_addr;
  229. proxy_set_header X-Real-IP $remote_addr;
  230. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  231. proxy_pass http://www_server;
  232. #支持后台expires
  233. proxy_ignore_headers "Cache-Control" "Expires";
  234. add_header      X-Cache   Cache;
  235.      }
  236.  
  237.      }
  238.  
  239.  
  240. }

启动tengine
/opt/nginx/sbin/nginx

观察了下top降低了许多

===========2014/1/3更新=============
如果负载时大时小可能有io瓶颈,可以将proxy_cache放到/dev/shm 中来解决.(/dev/shm默认为内存一半大小)
创建目录并加入开机执行

  1. mkdir /dev/shm/nginx

vi /etc/rc.local
在nginx启动前加入
mkdir /dev/shm/nginx

修改nginx.conf

  1. proxy_temp_path   /dev/shm/nginx/proxy_temp_dir;
  2.      #设置Web缓存区名称为cache_www，内存缓存空间大小为3000MB，1天没有被访问的内容自动清除，硬盘缓存空间大小为30GB。
  3.      proxy_cache_path  /dev/shm/nginx/proxy_cache_www  levels=1:2   keys_zone=cache_www:3000m inactive=1d max_size=20g;

Posted in Nginx.

Tagged with proxy, tengine.

By C1G – 2013/12/18

(责任编辑：IT)
------分隔线----------------------------
栏目列表
推荐内容
热点内容
免责申明 - 版权申明

Copyright © 2014 - 2022 IT网 版权所有 www.it.net.cn IT网.com IT网.cn Linux学习 IT.LINK