nginx代理多次302的解决方法(nginx Follow 302)
用proxy_intercept_errors和recursive_error_pages代理多次302
302是http协议中的一个经常被使用状态码,是多种重定向方式的一种,其语义经常被解释为“moved temporarily”。这里顺带提一下,现实中用到的302多为误用(与303,307混用),在http/1.1中,它的语义为“found”.
302有时候很明显,有时候又比较隐蔽。最简单的情况,是当我们在浏览器中输入一个网址a,然后浏览器地址栏会自动跳到b,进而打开一个网页,这种情况就很可能是302。
比较隐蔽的情况经常发生在嵌入到网页的播放器中。例如,当你打开一个优酷视频播放页面时,抓包观察一下就会经常发现302的影子。但由于这些url并不是直接在浏览器中打开的,所以在浏览器的地址栏看不到变化,当然,如果将这些具体的url特意挑出来复制到浏览器地址栏里,还是可以观察到的。
上一段提到了优酷。其实现在多数在线视频网站都会用到302,原因很简单,视频网站流量一般较大,都会用到cdn,区别只在于是用自建cdn还是商业cdn。而由于302的重定向语义(再重复一遍,302的语义广泛的被误用,在使用302的时候,我们很可能应该使用303或307,但后面都不再纠结这一点),可以与cdn中的调度很好的结合起来。
我们来看一个例子,打开一个网易视频播放页面,抓一下包,找到302状态的那个url。例如:
http://flv.bn.netease.com/tvmrepo/2014/8/5/p/ea3i1j05p/sd/ea3i1j05p-mobile.mp4
我们把它复制到浏览器地址栏中,会发现地址栏迅速的变为了另外一个url,这个url是不定的,有可能为:
http://14.18.140.83/f6c00af500000000-1408987545-236096587/data6/flv.bn.netease.com/tvmrepo/2014/8/5/p/ea3i1j05p/sd/ea3i1j05p-mobile.mp4
用curl工具会更清楚的看到整个过程:
curl -i "http://flv.bn.netease.com/tvmrepo/2014/8/5/p/ea3i1j05p/sd/ea3i1j05p-mobile.mp4" -l http/1.1 302 moved temporarily server: nginx date: mon, 25 aug 2014 14:49:43 gmt content-type: text/html content-length: 154 connection: keep-alive ng: ccn-sw-1-5l2 x-mod-name: gslb/3.1.0 location: http://119.134.254.9/flv.bn.netease.com/tvmrepo/2014/8/5/p/ea3i1j05p/sd/ea3i1j05p-mobile.mp4 http/1.1 302 moved temporarily server: nginx date: mon, 25 aug 2014 14:49:41 gmt content-type: text/html content-length: 154 connection: keep-alive x-mod-name: mvod-server/4.3.3 location: http://119.134.254.7/cc89fdac00000000-1408983581-2095617481/data4/flv.bn.netease.com/tvmrepo/2014/8/5/p/ea3i1j05p/sd/ea3i1j05p-mobile.mp4 ng: chn-sw-1-3y1 http/1.1 200 ok server: nginx date: mon, 25 aug 2014 14:49:41 gmt content-type: video/mp4 content-length: 3706468 last-modified: mon, 25 aug 2014 00:23:50 gmt connection: keep-alive cache-control: no-cache etag: "53fa8216-388e64" ng: chn-sw-1-3g6 x-mod-name: mvod-server/4.3.3 accept-ranges: bytes
可以看到,这中间经历了两次302。
先暂时将这个例子放在一边,再来说说另一个重要的术语:proxy.我们通常会戏称,某些领导是302类型的,某些领导是proxy类型的。302类型的领导,一件事情经过他的手,会迅速的转给他人,而proxy类型的领导则会参与到事情中来,甚至把事情全部做完。
回到上面的例子,如果访问一个url中途会有多个302,那如果需要用nginx设计一个proxy,来隐藏掉中间所有的这些302,该怎么做呢?
1.原始proxy
我们知道,nginx本身就是一个优秀的代理服务器。因此,首先我们来架设一个nginx正向代理,服务器ip为192.168.109.128(我的一个测试虚拟机)。
初始配置简化如下:
server { listen 80; location / { rewrite_by_lua ' ngx.exec("/proxy-to" .. ngx.var.request_uri) '; } location ~ /proxy-to/([^/]+)(.*) { proxy_pass http://$1$2$is_args$query_string; } }
实现的功能是,当使用
http://192.168.109.128/xxxxxx
访问该代理时,会proxy到xxxxxx所代表的真实服务器。
测试结果如下:
curl -i "http://192.168.109.128/flv.bn.netease.com/tvmrepo/2014/8/5/p/ea3i1j05p/sd/ea3i1j05p-mobile.mp4" -l http/1.1 302 moved temporarily server: nginx/1.4.6 date: mon, 25 aug 2014 14:50:54 gmt content-type: text/html content-length: 154 connection: keep-alive ng: ccn-sw-1-5l2 x-mod-name: gslb/3.1.0 location: http://183.61.140.24/flv.bn.netease.com/tvmrepo/2014/8/5/p/ea3i1j05p/sd/ea3i1j05p-mobile.mp4 http/1.1 302 moved temporarily server: nginx date: mon, 25 aug 2014 14:50:55 gmt content-type: text/html content-length: 154 connection: keep-alive x-mod-name: mvod-server/4.3.3 location: http://183.61.140.20/540966e500000000-1408983655-236096587/data1/flv.bn.netease.com/tvmrepo/2014/8/5/p/ea3i1j05p/sd/ea3i1j05p-mobile.mp4 ng: chn-zj-4-3m4 http/1.1 200 ok server: nginx date: mon, 25 aug 2014 14:50:55 gmt content-type: video/mp4 content-length: 3706468 last-modified: mon, 25 aug 2014 00:31:03 gmt connection: keep-alive cache-control: no-cache etag: "53fa83c7-388e64" ng: chn-zj-4-3m4 x-mod-name: mvod-server/4.3.3 accept-ranges: bytes
可见,虽然使用proxy,但过程与原始访问没有什么区别。访问过程为,当访问
http://192.168.109.128/flv.bn.netease.com/tvmrepo/2014/8/5/p/ea3i1j05p/sd/ea3i1j05p-mobile.mp4
时,nginx会将该请求proxy到
http://flv.bn.netease.com/tvmrepo/2014/8/5/p/ea3i1j05p/sd/ea3i1j05p-mobile.mp4
而后者马上就会返回一个302,所以nginx作为proxy,将该302传回到客户端,客户端重新发起请求,进而重复之前的多次302.这里说明一个问题,一旦nginx的proxy的后端返回302后,客户端即与nginx这个proxy脱离关系了,nginx无法起到完整的代理的作用。
2. 第1次修改
将配置文件修改为:
server { listen 80; location / { rewrite_by_lua ' ngx.exec("/proxy-to" .. ngx.var.request_uri) '; } location ~ /proxy-to/([^/]+)(.*) { proxy_pass http://$1$2$is_args$query_string; error_page 302 = @error_page_302; } location @error_page_302 { rewrite_by_lua ' local _, _, upstream_http_location = string.find(ngx.var.upstream_http_location, "^http:/(.*)$") ngx.header["zzzz"] = "/proxy-to" .. upstream_http_location ngx.exec("/proxy-to" .. upstream_http_location); '; } }
与上面的区别在于,使用了一个error_page,目的是当发现proxy的后端返回302时,则用这个302的目的location继续proxy,而不是直接返回给客户端。并且这个逻辑里面包含着递归的意思,一路跟踪302,直到最终返回200的那个地址。测试结果如下:
curl -i "http://192.168.109.128/flv.bn.netease.com/tvmrepo/2014/8/5/p/ea3i1j05p/sd/ea3i1j05p-mobile.mp4" -l http/1.1 302 moved temporarily server: nginx/1.4.6 date: mon, 25 aug 2014 15:01:17 gmt content-type: text/html content-length: 154 connection: keep-alive ng: ccn-sw-1-5l2 x-mod-name: gslb/3.1.0 location: http://183.61.140.24/flv.bn.netease.com/tvmrepo/2014/8/5/p/ea3i1j05p/sd/ea3i1j05p-mobile.mp4 http/1.1 302 moved temporarily server: nginx date: mon, 25 aug 2014 15:01:17 gmt content-type: text/html content-length: 154 connection: keep-alive x-mod-name: mvod-server/4.3.3 location: http://183.61.140.20/a90a952900000000-1408984277-236096587/data1/flv.bn.netease.com/tvmrepo/2014/8/5/p/ea3i1j05p/sd/ea3i1j05p-mobile.mp4 ng: chn-zj-4-3m4 http/1.1 200 ok server: nginx date: mon, 25 aug 2014 15:01:17 gmt content-type: video/mp4 content-length: 3706468 last-modified: mon, 25 aug 2014 00:31:03 gmt connection: keep-alive cache-control: no-cache etag: "53fa83c7-388e64" ng: chn-zj-4-3m4 x-mod-name: mvod-server/4.3.3 accept-ranges: bytes
可见,本次修改仍然没有成功!
为什么呢?分析一下,我们在@error_page_302这个location里已经加了一个头部打印语句,可是在测试中,该头部并没有打出来,可见流程并没有进入到@error_page_302这个location。
原因在于
error_page 302 = @error_page_302;
error_page默认是本次处理的返回码。作为proxy,本次处理,只要转发上游服务器的响应成功,应该状态码都是200.即,我们真正需要检查的,是proxy的后端服务器返回的状态码,而不是proxy本身返回的状态码。查一下nginx的wiki,proxy_intercept_errors指令正是干这个的:
syntax: proxy_intercept_errors on | off; default: proxy_intercept_errors off; context: http, server, location determines whether proxied responses with codes greater than or equal to 300 should be passed to a client or be redirected to nginx for processing with the error_page directive.
3. 第二次修改
server { listen 80; proxy_intercept_errors on; location / { rewrite_by_lua ' ngx.exec("/proxy-to" .. ngx.var.request_uri) '; } location ~ /proxy-to/([^/]+)(.*) { proxy_pass http://$1$2$is_args$query_string; error_page 302 = @error_page_302; } location @error_page_302 { rewrite_by_lua ' local _, _, upstream_http_location = string.find(ngx.var.upstream_http_location, "^http:/(.*)$") ngx.header["zzzz"] = "/proxy-to" .. upstream_http_location ngx.exec("/proxy-to" .. upstream_http_location); '; } }
与上一次修改相比,区别仅仅在于增加了一个proxy_intercept_errors指令。测试结果如下:
curl -i "http://192.168.109.128/flv.bn.netease.com/tvmrepo/2014/8/5/p/ea3i1j05p/sd/ea3i1j05p-mobile.mp4" -l http/1.1 302 moved temporarily server: nginx/1.4.6 date: mon, 25 aug 2014 15:05:54 gmt content-type: text/html content-length: 160 connection: keep-alive zzzz: /proxy-to/183.61.140.24/flv.bn.netease.com/tvmrepo/2014/8/5/p/ea3i1j05p/sd/ea3i1j05p-mobile.mp4
这次更神奇了,直接返回一个302状态完事,也不继续跳转了。
问题出在,虽然第一次302,请求成功的进入到@error_page_302,但后续的error_page指令却没起作用。也就是说,error_page只检查了第一次后端返回的状态码,而没有继续检查后续的后端状态码。
查一下资料,这个时候,另一个指令 recursive_error_pages就派上用场了。
4. 第3次修改
server { listen 80; proxy_intercept_errors on; recursive_error_pages on; location / { rewrite_by_lua ' ngx.exec("/proxy-to" .. ngx.var.request_uri) '; } location ~ /proxy-to/([^/]+)(.*) { proxy_pass http://$1$2$is_args$query_string; error_page 302 = @error_page_302; } location @error_page_302 { rewrite_by_lua ' local _, _, upstream_http_location = string.find(ngx.var.upstream_http_location, "^http:/(.*)$") ngx.header["zzzz"] = "/proxy-to" .. upstream_http_location ngx.exec("/proxy-to" .. upstream_http_location); '; } }
与上一次相比,仅仅增加了recursive_error_pages on这条指令。测试结果如下:
curl -i "http://192.168.109.128/flv.bn.netease.com/tvmrepo/2014/8/5/p/ea3i1j05p/sd/ea3i1j05p-mobile.mp4" -l http/1.1 200 ok server: nginx/1.4.6 date: mon, 25 aug 2014 15:09:04 gmt content-type: video/mp4 content-length: 3706468 connection: keep-alive zzzz: /proxy-to/14.18.140.83/f48bad0100000000-1408984745-236096587/data6/flv.bn.netease.com/tvmrepo/2014/8/5/p/ea3i1j05p/sd/ea3i1j05p-mobile.mp4 last-modified: mon, 25 aug 2014 00:21:07 gmt cache-control: no-cache etag: "53fa8173-388e64" ng: chn-mm-4-3fe x-mod-name: mvod-server/4.3.3 accept-ranges: bytes
可见,nginx终于成功的返回200了。此时,nginx才真正起到了一个proxy的功能,隐藏了一个请求原本的多个302链路,只返回客户端一个最终结果。
5. 小结
综上,通过proxy_pass、error_page、proxy_intercept_errors、recursive_error_pages这几个指令的配合使用,可以向客户端隐藏一条请求的跳转细节,直接返回用户一个状态码为200的最终结果。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
上一篇: 详解批处理框架之Spring Batch
下一篇: 确定了,打吧