Nginx 502 bad gateway和Nginx 504 Gateway Time-out错误解决方法 错误解决办法
程序员文章站
2023-11-11 19:14:40
最近服务器宕机的现象比较频繁,临下班时分,g给挂掉了,502 bad gateway nginx,不由得让我想起之前的504 gateway time-out,两者应该有点...
最近服务器宕机的现象比较频繁,临下班时分,g给挂掉了,502 bad gateway nginx,不由得让我想起之前的504 gateway time-out,两者应该有点联系,一定得弄清楚。nginx 504 gateway time-out的含义是所请求的网关没有请求到,简单来说就是没有请求到可以执行的php-cgi。
解决这两个问题其实是需要综合思考的,一般来说nginx 502 bad gateway和php-fpm.conf的设置有关,而nginx 504 gateway time-out则是与nginx.conf的设置有关。
nginx 504 gateway在之前的文章中已经记录过,这里暂且忽略,直接说502 bad gateway的解决方法,最关键的是php-fpm.conf的设置。php-fpm.conf有两个至关重要的参数,一个是”max_children”,另一个是”request_terminate_timeout”,这两个值是需要计算的。
如果你的服务器性能足够好,且宽带资源足够充足,php脚本没有系循环或bug的话你可以直接将”request_terminate_timeout” 设置成0s。0s的含义是让php-cgi一直执行下去而没有时间限制。而如果你做不到这一点,也就是说你的php-cgi可能出现某个bug,或者你的宽带不够充足,或者其他的原因导致你的php-cgi能够假死,那么,就建议你给”request_terminate_timeout”赋一个值,这个值可以根据你服务器的性能进行设定。一般来说性能越好你可以设置越高。
”max_children”这个值又是怎么计算出来的呢?这个值原则上是越大越好,php-cgi的进程多了就会处理的很快,排队的请求就会很少。设置”max_children”也需要根据服务器的性能进行设定,如果每一个php-cgi所耗费的内存在20m左右,”max_children”设置成80,20m*80=1600m也就是说在峰值的时候所有php-cgi所耗内存在1600m以内,低于有效内存即可。
而如果”max_children”设置的较小,比如5-10个,那么php-cgi就会”很累”,处理速度也很慢,等待的时间也较长。如果长时间没有得到处理的请求就会出现504 gateway time-out这个错误,而正在处理的”很累”的那几个php-cgi如果遇到了问题就会出现502 bad gateway这个错误。
下面是更详细的介绍资料:
一些运行在nginx上的网站有时候会出现“502 bad gateway”错误,有些时候甚至频繁的出现。以下是小编搜集整理的一些nginx 502错误的排查方法,供参考:
nginx 502错误的原因比较多,是因为在代理模式下后端服务器出现问题引起的。这些错误一般都不是nginx本身的问题,一定要从后端找原因!但nginx把这些出错都揽在自己身上了,着实让nginx的推广者备受置疑,毕竟从字眼上理解,bad gateway?不就是bad nginx吗?让不了解的人看到,会直接把责任推在nginx身上,希望nginx下一个版本会把出错提示写稍微友好一些,至少不会是现在简单的一句 502 bad gateway,另外还不忘附上自己的大名。
nginx 502的触发条件
502错误最通常的出现情况就是后端主机当机。在upstream配置里有这么一项配置:proxy_next_upstream,这个配置指定了 nginx在从一个后端主机取数据遇到何种错误时会转到下一个后端主机,里头写上的就是会出现502的所有情况拉,默认是error timeout。error就是当机、断线之类的,timeout就是读取堵塞超时,比较容易理解。我一般是全写上的:
proxy_next_upstream error timeout invalid_header http_500 http_503;
不过现在可能我要去掉http_500这一项了,http_500指定后端返回500错误时会转一个主机,后端的jsp出错的话,本来会打印一堆 stacktrace的错误信息,现在被502取代了。但公司的程序员可不这么认为,他们认定是nginx出现了错误,我实在没空跟他们解释502的原理 了……
503错误就可以保留,因为后端通常是apache resin,如果apache死机就是error,但resin死机,仅仅是503,所以还是有必要保留的。
解决办法
遇到502问题,可以优先考虑按照以下两个步骤去解决。
1、查看当前的php fastcgi进程数是否够用:
netstat -anpo | grep "php-cgi" | wc -l
如果实际使用的“fastcgi进程数”接近预设的“fastcgi进程数”,那么,说明“fastcgi进程数”不够用,需要增大。
2、部分php程序的执行时间超过了nginx的等待时间,可以适当增加nginx.conf配置文件中fastcgi的timeout时间,例如:
http {
fastcgi_connect_timeout 300;
fastcgi_send_timeout 300;
fastcgi_read_timeout 300;
......
}
......
php.ini中memory_limit设低了会出错,修改了php.ini的memory_limit为64m,重启nginx,发现好了,原来是php的内存不足了。
如果这样修改了还解决不了问题,可以参考下面这些方案:
一、max-children和max-requests
一台服务器上运行着nginx php(fpm) xcache,访问量日均 300w pv左右。
最近经常会出现这样的情况:php页面打开很慢,cpu使用率突然降至很低,系统负载突然升至很高,查看网卡的流量,也会发现突然降到了很低。这种情况只持续数秒钟就恢复了。
检查php-fpm的日志文件发现了一些线索。
sep 30 08:32:23.289973 [notice] fpm_unix_init_main(), line 271: getrlimit(nofile): max:51200, cur:51200 sep 30 08:32:23.290212 [notice] fpm_sockets_init_main(), line 371: using inherited socket fd=10, “127.0.0.1:9000″ sep 30 08:32:23.290342 [notice] fpm_event_init_main(), line 109: libevent: using epoll sep 30 08:32:23.296426 [notice] fpm_init(), line 47: fpm is running, pid 30587
在这几句的前面,是1000多行的关闭children和开启children的日志。
原来,php-fpm有一个参数 max_requests,该参数指明了,每个children最多处理多少个请求后便会被关闭,默认的设置是500。因为php是把请求轮询给每个 children,在大流量下,每个childre到达max_requests所用的时间都差不多,这样就造成所有的children基本上在同一时间 被关闭。
在这期间,nginx无法将php文件转交给php-fpm处理,所以cpu会降至很低(不用处理php,更不用执行sql),而负载会升至很高(关闭和开启children、nginx等待php-fpm),网卡流量也降至很低(nginx无法生成数据传输给客户端)
解决问题很简单,增加children的数量,并且将 max_requests 设置未 0 或者一个比较大的值:
打开 /usr/local/php/etc/php-fpm.conf调大以下两个参数(根据服务器实际情况,过大也不行)
<value name="max_children">5120</value> <value name="max_requests">600</value>
然后重启php-fpm。
二、增加缓冲区容量大小
将nginx的error log打开,发现“pstream sent too big header while reading response header from upstream”这样的错误提示。查阅了一下资料,大意是nginx缓冲区有一个bug造成的,我们网站的页面消耗占用缓冲区可能过大。参考老外写的修 改办法增加了缓冲区容量大小设置,502问题彻底解决。后来系统管理员又对参数做了调整只保留了2个设置参数:client head buffer,fastcgi buffer size。
三、request_terminate_timeout
如果主要是在一些post或者数据库操作的时候出现502这种情况,而不是在静态页面操作中常见,那么可以查看一下php-fpm.conf设置中的一项:
request_terminate_timeout
这个值是max_execution_time,就是fast-cgi的执行脚本时间。
0s
0s为关闭,就是无限执行下去。(当时装的时候没仔细看就改了一个数字)问题解决了,执行很长时间也不会出错了。优化fastcgi中,还可以改改这个值5s 看看效果。
php-cgi进程数不够用、php执行时间长、或者是php-cgi进程死掉,都会出现502错误。
解决这两个问题其实是需要综合思考的,一般来说nginx 502 bad gateway和php-fpm.conf的设置有关,而nginx 504 gateway time-out则是与nginx.conf的设置有关。
nginx 504 gateway在之前的文章中已经记录过,这里暂且忽略,直接说502 bad gateway的解决方法,最关键的是php-fpm.conf的设置。php-fpm.conf有两个至关重要的参数,一个是”max_children”,另一个是”request_terminate_timeout”,这两个值是需要计算的。
如果你的服务器性能足够好,且宽带资源足够充足,php脚本没有系循环或bug的话你可以直接将”request_terminate_timeout” 设置成0s。0s的含义是让php-cgi一直执行下去而没有时间限制。而如果你做不到这一点,也就是说你的php-cgi可能出现某个bug,或者你的宽带不够充足,或者其他的原因导致你的php-cgi能够假死,那么,就建议你给”request_terminate_timeout”赋一个值,这个值可以根据你服务器的性能进行设定。一般来说性能越好你可以设置越高。
”max_children”这个值又是怎么计算出来的呢?这个值原则上是越大越好,php-cgi的进程多了就会处理的很快,排队的请求就会很少。设置”max_children”也需要根据服务器的性能进行设定,如果每一个php-cgi所耗费的内存在20m左右,”max_children”设置成80,20m*80=1600m也就是说在峰值的时候所有php-cgi所耗内存在1600m以内,低于有效内存即可。
而如果”max_children”设置的较小,比如5-10个,那么php-cgi就会”很累”,处理速度也很慢,等待的时间也较长。如果长时间没有得到处理的请求就会出现504 gateway time-out这个错误,而正在处理的”很累”的那几个php-cgi如果遇到了问题就会出现502 bad gateway这个错误。
下面是更详细的介绍资料:
一些运行在nginx上的网站有时候会出现“502 bad gateway”错误,有些时候甚至频繁的出现。以下是小编搜集整理的一些nginx 502错误的排查方法,供参考:
nginx 502错误的原因比较多,是因为在代理模式下后端服务器出现问题引起的。这些错误一般都不是nginx本身的问题,一定要从后端找原因!但nginx把这些出错都揽在自己身上了,着实让nginx的推广者备受置疑,毕竟从字眼上理解,bad gateway?不就是bad nginx吗?让不了解的人看到,会直接把责任推在nginx身上,希望nginx下一个版本会把出错提示写稍微友好一些,至少不会是现在简单的一句 502 bad gateway,另外还不忘附上自己的大名。
nginx 502的触发条件
502错误最通常的出现情况就是后端主机当机。在upstream配置里有这么一项配置:proxy_next_upstream,这个配置指定了 nginx在从一个后端主机取数据遇到何种错误时会转到下一个后端主机,里头写上的就是会出现502的所有情况拉,默认是error timeout。error就是当机、断线之类的,timeout就是读取堵塞超时,比较容易理解。我一般是全写上的:
复制代码 代码如下:
proxy_next_upstream error timeout invalid_header http_500 http_503;
不过现在可能我要去掉http_500这一项了,http_500指定后端返回500错误时会转一个主机,后端的jsp出错的话,本来会打印一堆 stacktrace的错误信息,现在被502取代了。但公司的程序员可不这么认为,他们认定是nginx出现了错误,我实在没空跟他们解释502的原理 了……
503错误就可以保留,因为后端通常是apache resin,如果apache死机就是error,但resin死机,仅仅是503,所以还是有必要保留的。
解决办法
遇到502问题,可以优先考虑按照以下两个步骤去解决。
1、查看当前的php fastcgi进程数是否够用:
复制代码 代码如下:
netstat -anpo | grep "php-cgi" | wc -l
如果实际使用的“fastcgi进程数”接近预设的“fastcgi进程数”,那么,说明“fastcgi进程数”不够用,需要增大。
2、部分php程序的执行时间超过了nginx的等待时间,可以适当增加nginx.conf配置文件中fastcgi的timeout时间,例如:
复制代码 代码如下:
http {
fastcgi_connect_timeout 300;
fastcgi_send_timeout 300;
fastcgi_read_timeout 300;
......
}
......
php.ini中memory_limit设低了会出错,修改了php.ini的memory_limit为64m,重启nginx,发现好了,原来是php的内存不足了。
如果这样修改了还解决不了问题,可以参考下面这些方案:
一、max-children和max-requests
一台服务器上运行着nginx php(fpm) xcache,访问量日均 300w pv左右。
最近经常会出现这样的情况:php页面打开很慢,cpu使用率突然降至很低,系统负载突然升至很高,查看网卡的流量,也会发现突然降到了很低。这种情况只持续数秒钟就恢复了。
检查php-fpm的日志文件发现了一些线索。
复制代码 代码如下:
sep 30 08:32:23.289973 [notice] fpm_unix_init_main(), line 271: getrlimit(nofile): max:51200, cur:51200 sep 30 08:32:23.290212 [notice] fpm_sockets_init_main(), line 371: using inherited socket fd=10, “127.0.0.1:9000″ sep 30 08:32:23.290342 [notice] fpm_event_init_main(), line 109: libevent: using epoll sep 30 08:32:23.296426 [notice] fpm_init(), line 47: fpm is running, pid 30587
在这几句的前面,是1000多行的关闭children和开启children的日志。
原来,php-fpm有一个参数 max_requests,该参数指明了,每个children最多处理多少个请求后便会被关闭,默认的设置是500。因为php是把请求轮询给每个 children,在大流量下,每个childre到达max_requests所用的时间都差不多,这样就造成所有的children基本上在同一时间 被关闭。
在这期间,nginx无法将php文件转交给php-fpm处理,所以cpu会降至很低(不用处理php,更不用执行sql),而负载会升至很高(关闭和开启children、nginx等待php-fpm),网卡流量也降至很低(nginx无法生成数据传输给客户端)
解决问题很简单,增加children的数量,并且将 max_requests 设置未 0 或者一个比较大的值:
打开 /usr/local/php/etc/php-fpm.conf调大以下两个参数(根据服务器实际情况,过大也不行)
复制代码 代码如下:
<value name="max_children">5120</value> <value name="max_requests">600</value>
然后重启php-fpm。
二、增加缓冲区容量大小
将nginx的error log打开,发现“pstream sent too big header while reading response header from upstream”这样的错误提示。查阅了一下资料,大意是nginx缓冲区有一个bug造成的,我们网站的页面消耗占用缓冲区可能过大。参考老外写的修 改办法增加了缓冲区容量大小设置,502问题彻底解决。后来系统管理员又对参数做了调整只保留了2个设置参数:client head buffer,fastcgi buffer size。
三、request_terminate_timeout
如果主要是在一些post或者数据库操作的时候出现502这种情况,而不是在静态页面操作中常见,那么可以查看一下php-fpm.conf设置中的一项:
request_terminate_timeout
这个值是max_execution_time,就是fast-cgi的执行脚本时间。
0s
0s为关闭,就是无限执行下去。(当时装的时候没仔细看就改了一个数字)问题解决了,执行很长时间也不会出错了。优化fastcgi中,还可以改改这个值5s 看看效果。
php-cgi进程数不够用、php执行时间长、或者是php-cgi进程死掉,都会出现502错误。
推荐阅读
-
Yii框架使用xhprof会在nginx下报502 Bad Gateway错误
-
nginx-php5-fpm - Nginx + PHP(php-fpm)遇到的502 Bad Gateway 错误,该如何解决,有哪些方法?
-
502 - php的phalcon框架502 Bad Gateway错误,nginx环境
-
nginx-php5-fpm - 当nginx显示502 Bad Gateway错误,如何实现用户无感知的自动重启php-fpm
-
502 - php的phalcon框架502 Bad Gateway错误,nginx环境
-
一次nginx 504 Gateway Time-out错误排查、解决记录
-
nginx 504 Gateway Time-out错误解决方法
-
nginx加php-fpm出现502 bad gateway错误的5种解决方法
-
Nginx 502 Bad Gateway错误常见的4种原因和解决方法
-
解决Nginx + PHP(FastCGI)遇到的502 Bad Gateway错误