前几天百度快照和流量都恢复了,心情很好,但今天看收录时突然发现迁移前服务器绑定的那个临时域名居然也在收录之列,这个不是一个好的现象,因为如果爬虫同时对两个域名同时抓取,会得到相同的内容,对于重复内容是很不利于收录的。查了下快照,发现百度依旧...
今天发现一个问题,发现博客的js和css都没有gzip压缩,大号js动辄就20几k,很奇怪,以为是迁移导致的某个地方忘了开,查了下,发现之前的也没开,疑惑。 我明明在ngix配置文件里加了gzipon;了,但为啥js和css没有开呢,查了下nginx文档,原来默认只对text/htm...
今天用nginx作为trac的反代,发现一个问题,就是登入登出跳转的时候是白页,看了下网页相应内容,发现相应的location是空的。查了一下发现是只单纯用了proxy_pass,没有使用proxy_redirect. 假设前端url是example.com。后端server域名是in.com,那么后端serv...
1.proxy_pass 2.proxy_method 3.proxy_hide_header 4.proxy_pass_header 5.proxy_pass_request_body 6.proxy_pass_request_headers 7.proxy_redirect 8.proxy_next_upstream nginx的反向代理模块有很多种配置,下面介绍一些常用的配置实例: 1.proxy_pass 语...
nginx限制ip并发数,也是说限制同一个ip同时连接服务器的数量 1.添加limit_zone 这个变量只能在http使用 vi /usr/local/nginx/conf/nginx.conf limit_zone one $remote_addr 10m; 2.添加limit_conn 这个变量可以在http, server, location使用 我只限制一个站...
1、日志简介 nginx日志主要有两种:访问日志和错误日志。访问日志主要记录客户端访问nginx的每一个请求,格式可以自定义;错误日志主要记录客户端访问nginx出错时的日志,格式不支持自定义。两种日志都可以选择性关闭。 通过访问日志,你可以得到用户地域来...
CoreModule 限速 指令名称: limit_rate、limit_rate_after \\limit_rate_after用于设置http请求传输多少字节后开始限速 使用环境: http, server, location, if in location 示例: location /download { limit_rate_after 4m; limit_rate 512k; } 限制单个I...
网络爬虫一方面可以给网站带来一定的流量,便于搜索引擎收录,利于用户搜素,同时也会给服务器带来一定的压力,在网络爬虫对网站内容进行收录时,会引起服务器负载高涨。有没有什么方法既不阻止网络爬虫对网站内容进行收录,同时对其连接数和请求数进行一定...
Nginx的高并发有目共睹,不过这种环境下也有性能瓶颈:网络带宽。改善这一瓶颈需要对连接进行限速。 今天整理了Nginx的网络限速记录下来: 示例: limit_zone one $binary_remote_addr 32k; server { listen 80; server_name 192.168.1.222; location / { roo...
生成CRS和密钥 方便一点的做法是使用在线的生成器,或者通过openSSL生成: openssl req -nodes -newkey rsa:2048 -nodes -keyout your_key_name.key -out your_csr_name.csr -subj /C=GB/ST=London/L=London/O=your_server/OU=IT/CN=your_server 将CRS提交给...