PHP-CGI进程CPU 100% 与 file_get_contents 函数的关系分析
程序员文章站
2022-09-24 16:32:09
后来,我通过跟踪发现,这类情况的出现,跟 php 的 file_get_contents() 函数有着密切的关系。 大、中型网站中,基于 http 协议的 api 接口...
后来,我通过跟踪发现,这类情况的出现,跟 php 的 file_get_contents() 函数有着密切的关系。
大、中型网站中,基于 http 协议的 api 接口调用,是家常便饭。php 程序员们喜欢使用简单便捷的 file_get_contents("http://example.com/") 函数,来获取一个 url 的返回内容,但是,如果 http://example.com/ 这个网站响应缓慢,file_get_contents() 就会一直卡在那儿,不会超时。
我们知道,在 php.ini 中,有一个参数 max_execution_time 可以设置 php 脚本的最大执行时间,但是,在 php-cgi(php-fpm) 中,该参数不会起效。真正能够控制 php 脚本最大执行时间的是 php-fpm.conf 配置文件中的以下参数: the timeout (in seconds) for serving a single request after which the worker process will be terminated
should be used when 'max_execution_time' ini option does not stop script execution for some reason
'0s' means 'off'
<value name="request_terminate_timeout">0s</value>
默认值为 0 秒,也就是说,php 脚本会一直执行下去。这样,当所有的 php-cgi 进程都卡在 file_get_contents() 函数时,这台 nginx+php 的 webserver 已经无法再处理新的 php 请求了,nginx 将给用户返回“502 bad gateway”。修改该参数,设置一个 php 脚本最大执行时间是必要的,但是,治标不治本。例如改成 30s,如果发生 file_get_contents() 获取网页内容较慢的情况,这就意味着 150 个 php-cgi 进程,每秒钟只能处理 5 个请求,webserver 同样很难避免“502 bad gateway”。
要做到彻底解决,只能让 php 程序员们改掉直接使用 file_get_contents("http://example.com/") 的习惯,而是稍微修改一下,加个超时时间,用以下方式来实现 http get 请求。要是觉得麻烦,可以自行将以下代码封装成一个函数。
<?php
$ctx = stream_context_create(array(
'http' => array(
'timeout' => 1 //设置一个超时时间,单位为秒
)
)
);
file_get_contents("http://example.com/", 0, $ctx);
?>
当然,导致 php-cgi 进程 cpu 100% 的原因不只有这一种,那么,怎么确定是 file_get_contents() 函数导致的呢?
首先,使用 top 命令查看 cpu 使用率较高的 php-cgi 进程。
top - 10:34:18 up 724 days, 21:01, 3 users, load average: 17.86, 11.16, 7.69
tasks: 561 total, 15 running, 546 sleeping, 0 stopped, 0 zombie
cpu(s): 5.9%us, 4.2%sy, 0.0%ni, 89.4%id, 0.2%wa, 0.0%hi, 0.2%si, 0.0%st
mem: 8100996k total, 4320108k used, 3780888k free, 772572k buffers
swap: 8193108k total, 50776k used, 8142332k free, 412088k cached
pid user pr ni virt res shr s %cpu %mem time+ command
10747 www 18 0 360m 22m 12m r 100.6 0.3 0:02.60 php-cgi
10709 www 16 0 359m 28m 17m r 96.8 0.4 0:11.34 php-cgi
10745 www 18 0 360m 24m 14m r 94.8 0.3 0:39.51 php-cgi
10707 www 18 0 360m 25m 14m s 77.4 0.3 0:33.48 php-cgi
10782 www 20 0 360m 26m 15m r 75.5 0.3 0:10.93 php-cgi
10708 www 25 0 360m 22m 12m r 69.7 0.3 0:45.16 php-cgi
10683 www 25 0 362m 28m 15m r 54.2 0.4 0:32.65 php-cgi
10711 www 25 0 360m 25m 15m r 52.2 0.3 0:44.25 php-cgi
10688 www 25 0 359m 25m 15m r 38.7 0.3 0:10.44 php-cgi
10719 www 25 0 360m 26m 16m r 7.7 0.3 0:40.59 php-cgi
找其中一个 cpu 100% 的 php-cgi 进程的 pid,用以下命令跟踪一下:
strace -p 10747
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
那么,就可以确定是 file_get_contents() 导致的问题了。
大、中型网站中,基于 http 协议的 api 接口调用,是家常便饭。php 程序员们喜欢使用简单便捷的 file_get_contents("http://example.com/") 函数,来获取一个 url 的返回内容,但是,如果 http://example.com/ 这个网站响应缓慢,file_get_contents() 就会一直卡在那儿,不会超时。
我们知道,在 php.ini 中,有一个参数 max_execution_time 可以设置 php 脚本的最大执行时间,但是,在 php-cgi(php-fpm) 中,该参数不会起效。真正能够控制 php 脚本最大执行时间的是 php-fpm.conf 配置文件中的以下参数: the timeout (in seconds) for serving a single request after which the worker process will be terminated
should be used when 'max_execution_time' ini option does not stop script execution for some reason
'0s' means 'off'
<value name="request_terminate_timeout">0s</value>
默认值为 0 秒,也就是说,php 脚本会一直执行下去。这样,当所有的 php-cgi 进程都卡在 file_get_contents() 函数时,这台 nginx+php 的 webserver 已经无法再处理新的 php 请求了,nginx 将给用户返回“502 bad gateway”。修改该参数,设置一个 php 脚本最大执行时间是必要的,但是,治标不治本。例如改成 30s,如果发生 file_get_contents() 获取网页内容较慢的情况,这就意味着 150 个 php-cgi 进程,每秒钟只能处理 5 个请求,webserver 同样很难避免“502 bad gateway”。
要做到彻底解决,只能让 php 程序员们改掉直接使用 file_get_contents("http://example.com/") 的习惯,而是稍微修改一下,加个超时时间,用以下方式来实现 http get 请求。要是觉得麻烦,可以自行将以下代码封装成一个函数。
复制代码 代码如下:
<?php
$ctx = stream_context_create(array(
'http' => array(
'timeout' => 1 //设置一个超时时间,单位为秒
)
)
);
file_get_contents("http://example.com/", 0, $ctx);
?>
当然,导致 php-cgi 进程 cpu 100% 的原因不只有这一种,那么,怎么确定是 file_get_contents() 函数导致的呢?
首先,使用 top 命令查看 cpu 使用率较高的 php-cgi 进程。
复制代码 代码如下:
top - 10:34:18 up 724 days, 21:01, 3 users, load average: 17.86, 11.16, 7.69
tasks: 561 total, 15 running, 546 sleeping, 0 stopped, 0 zombie
cpu(s): 5.9%us, 4.2%sy, 0.0%ni, 89.4%id, 0.2%wa, 0.0%hi, 0.2%si, 0.0%st
mem: 8100996k total, 4320108k used, 3780888k free, 772572k buffers
swap: 8193108k total, 50776k used, 8142332k free, 412088k cached
pid user pr ni virt res shr s %cpu %mem time+ command
10747 www 18 0 360m 22m 12m r 100.6 0.3 0:02.60 php-cgi
10709 www 16 0 359m 28m 17m r 96.8 0.4 0:11.34 php-cgi
10745 www 18 0 360m 24m 14m r 94.8 0.3 0:39.51 php-cgi
10707 www 18 0 360m 25m 14m s 77.4 0.3 0:33.48 php-cgi
10782 www 20 0 360m 26m 15m r 75.5 0.3 0:10.93 php-cgi
10708 www 25 0 360m 22m 12m r 69.7 0.3 0:45.16 php-cgi
10683 www 25 0 362m 28m 15m r 54.2 0.4 0:32.65 php-cgi
10711 www 25 0 360m 25m 15m r 52.2 0.3 0:44.25 php-cgi
10688 www 25 0 359m 25m 15m r 38.7 0.3 0:10.44 php-cgi
10719 www 25 0 360m 26m 16m r 7.7 0.3 0:40.59 php-cgi
找其中一个 cpu 100% 的 php-cgi 进程的 pid,用以下命令跟踪一下:
复制代码 代码如下:
strace -p 10747
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=pollin}], 1, 0) = 0 (timeout)
那么,就可以确定是 file_get_contents() 导致的问题了。
上一篇: Docker构建Maven+Tomcat基础镜像的实现
下一篇: mysql数据插入效率比较
推荐阅读
-
PHP-CGI进程CPU 100% 与 file_get_contents 函数的关系分析
-
PHP-CGI 进程 CPU 100% 与 file_get_contents 函数的关系
-
file_get_contents PHP-CGI进程CPU 100% 与 file_get_contents 函数的关系分析
-
PHP-CGI 进程 CPU 100% 与 file_get_contents 函数的关系
-
PHP-CGI进程CPU 100% 与 file_get_contents 函数的关系分析_php技巧
-
PHP-CGI进程CPU 100% 与 file_get_contents 函数的关系分析
-
file_get_contents PHP-CGI进程CPU 100% 与 file_get_contents 函数的关系分析
-
PHP-CGI进程CPU 100% 与 file_get_contents 函数的关系分析_php技巧