欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

php如何抓取国外网站

程序员文章站 2022-03-19 21:15:14
...
有些国外网站文字加载出来了,一些图片加载很慢,导致抓取不稳定。curl如何解决这个问题?

回复内容:

有些国外网站文字加载出来了,一些图片加载很慢,导致抓取不稳定。curl如何解决这个问题?

把程序放在国外的服务器上 我就用美国的服务器采集Google上面的内容

资源问题,开多线程也没什么用
可以尝试:

  1. 搭云梯

  2. 抓取的数据也不会实时查看,放后台慢慢去运行

最简单买个VPN,CURL抓.

买个国外的服务器。。。 linode或者 digital ocean 或者更便宜的。。
然后跑你的程序,然后定时把结果打包传回国内。。over

相关标签: php