用Nginx给网站做反向代理和负载均衡是广泛使用的一种Web服务器部署技术。不仅能够保证后端服务器的隐蔽性，还可以提高网站部署灵活性。

今天我们来讲一下，如何用Nginx给WebSocket服务器实现反向代理和负载均衡。

什么是反向代理和负载均衡

• 反向代理(Reverse Proxy)方式是指以代理服务器来接受Internet上的连接请求，然后将请求转发给内部网络上的服务器。并将内部服务器上得到的结果返回给Internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器。
• 负载均衡(Load Balancing)建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。

什么是WebSocket

WebSocket协议相比较于HTTP协议成功握手后可以多次进行通讯，直到连接被关闭。但是WebSocket中的握手和HTTP中的握手兼容，它使用HTTP中的Upgrade协议头将连接从HTTP升级到WebSocket。这使得WebSocket程序可以更容易的使用现已存在的基础设施。

WebSocket工作在HTTP的80和443端口并使用前缀ws://或者wss://进行协议标注，在建立连接时使用HTTP/1.1的101状态码进行协议切换，当前标准不支持两个客户端之间不借助HTTP直接建立Websocket连接。

更多Websocket的介绍可参考「WebSocket教程」一文。

创建基于Node的WebSocket服务

Nginx在官方博客上给出了一个实践样例「Using Nginx as a Websocket Proxy」，我们以这个例子来演示WebSocket的交互过程。

这个例子中将会使用到nodejs的一个WebSocket的ws模块。

安装node.js和npm

• Debian/Ubuntu

$ apt-get install nodejs npm

• RHEL/CentOS

$ yum install nodejs npm

创建nodejs软链

在Ubuntu上创建一个名叫node软链。Centos默认为node，不用在单独创建了。

# 如果不创建，后面运行wscat时Ubuntu环境中会报错。 $ ln -s /usr/bin/nodejs /usr/bin/node

安装ws和wscat模块

ws是nodejs的WebSocket实现，我们借助它来搭建简单的WebSocket Echo Server。wscat是一个可执行的WebSocket客户端，用来调试WebSocket服务是否正常。

$ npm install ws wscat

如果访问官方仓库比较慢的话，可用淘宝提供的镜像服务。

$ npm –registry=https://registry.npm.taobao.org install ws wscat

创建一个简单的服务端

这个简单的服务端实现的是向客户端返回客户端发送的消息。

$ vim server.js console.log(“Server started”); var Msg = ”; var WebSocketServer = require(‘ws’).Server    , wss = new WebSocketServer({port: 8010});    wss.on(‘connection’, function(ws) {        ws.on(‘message’, function(message) {        console.log(‘Received from client: %s’, message);        ws.send(‘Server received from client: ‘ + message);    }); });

运行这个简单的echo服务

$ node server.js Server started

验证服务端是否正常启动

$ netstat  -tlunp|grep 8010 tcp6       0      0 :::8010                 :::*                    LISTEN      23864/nodejs

使用wscat做为客户端测试

wscat命令默认安装当前用户目录node_modules/wscat/目录，我这里的位置是/root/node_modules/wscat/bin/wscat。

输入任意内容进行测试，得到相同返回则说明运行正常。

$ cd /root/node_modules/wscat/bin/ $ ./wscat –connect ws://127.0.0.1:8010 connected (press CTRL+C to quit) > Hello < Server received from client: Hello > Welcome to www.hi-linux.com < Server received from client: Welcome to www.hi-linux.com

使用Nginx对WebSocket进行反向代理

安装Nginx

• 下载对应软件包

Nginx从1.3.13版本就开始支持WebSocket了，并且可以为WebSocket应用程序做反向代理和负载均衡。这里Nginx选用1.9.2版本。

$ cd /root $ wget ‘http://nginx.org/download/nginx-1.9.2.tar.gz’

• 编译安装Nginx

$ apt-get install libreadline-dev libncurses5-dev libpcre3-dev libssl-dev perl make build-essential $ tar xzvf nginx-1.9.2.tar.gz $ cd nginx-1.9.2 $ ./configure $ make && make install

配置Nginx

• 修改Nginx主配置文件

$ vim /usr/local/nginx/conf/nginx.conf # 在http上下文中增加如下配置，确保Nginx能处理正常http请求。 http{  map $http_upgrade $connection_upgrade {    default upgrade;    ”      close;  }  upstream websocket {    #ip_hash;    server localhost:8010;      server localhost:8011;  } # 以下配置是在server上下文中添加，location指用于websocket连接的path。  server {    listen       80;    server_name localhost;    access_log /var/log/nginx/yourdomain.log;    location / {      proxy_pass http://websocket;      proxy_read_timeout 300s;      proxy_set_header Host $host;      proxy_set_header X-Real-IP $remote_addr;      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;      proxy_http_version 1.1;      proxy_set_header Upgrade $http_upgrade;      proxy_set_header Connection $connection_upgrade;        }    } }

最重要的就是在反向代理的配置中增加了如下两行，其它的部分和普通的HTTP反向代理没有任何差别。

proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection $connection_upgrade;

这里面的关键部分在于HTTP的请求中多了如下头部：

Upgrade: websocket Connection: Upgrade

这两个字段表示请求服务器升级协议为WebSocket。服务器处理完请求后，响应如下报文：

# 状态码为101 HTTP/1.1 101 Switching Protocols Upgrade: websocket Connection: upgrade

告诉客户端已成功切换协议，升级为Websocket协议。握手成功之后，服务器端和客户端便角色对等，就像普通的Socket一样，能够双向通信。不再进行HTTP的交互，而是开始WebSocket的数据帧协议实现数据交换。

这里使用map指令可以将变量组合成为新的变量，会根据客户端传来的连接中是否带有Upgrade头来决定是否给源站传递Connection头，这样做的方法比直接全部传递upgrade更加优雅。

默认情况下，连接将会在无数据传输60秒后关闭，proxy_read_timeout参数可以延长这个时间或者源站通过定期发送ping帧以保持连接并确认连接是否还在使用。

• 启动Nginx

Nginx会默认安装到/usr/local/nginx目录下。

$ cd /usr/local/nginx/sbin $ ./nginx -c /usr/local/nginx/conf/nginx.conf

如果你想以Systemd服务的方式更方便的管理Nginx，可参考「基于Upsync模块实现Nginx动态配置」 一文。

• 测试通过Nginx访问WebSocket服务

上面的配置会使NGINX监听80端口，并把接收到的任何请求传递给后端的WebSocket服务器。我们可以使用wscat作为客户端来测试一下：

$ cd /root/node_modules/wscat/bin/ $ ./wscat –connect ws://192.168.2.210 connected (press CTRL+C to quit) > Hello Nginx < Server received from client: Hello Nginx > Welcome to www.hi-linux.com < Server received from client: Welcome to www.hi-linux.com

• 反向代理服务器在支持WebSocket时面临的挑战

WebSocket是端对端的，所以当一个代理服务器从客户端拦截一个Upgrade请求，它需要去发送它自己的Upgrade请求到后端服务器，也包括合适的头。

因为WebSocket是一个长连接，不像HTTP那样是典型的短连接，所以反向代理服务器需要允许连接保持着打开，而不是在它们看起来空闲时就将它们关闭。