欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

根据地区IP 采集百度搜索结果数据,如何模拟IP抓取数据?

程序员文章站 2022-05-21 08:33:49
...
百度搜索出的数据根据地区的IP 判断, 结果都是有差异的,比如北京的用户和广东的用户搜索医院关键字的时候,显示的除的结果是有差异的。 现在我想通过模拟IP 去抓取百度的结果, 我使用了CURL 去模拟IP 和来源,但是结果都没有效果。


回复讨论(解决方案)

是不同IP全部是一致的吗?

IP 不同, 比如:我想查询广东的搜索结果,模拟一个广东的Ip. 查询关键字在上海的排名,模拟一个上海的Ip. 我通过curl 模模拟IP 但是结果还是当前服务器的IP。

是不同IP全部是一致的吗?



IP 不同, 比如:我想查询广东的搜索结果,模拟一个广东的Ip. 查询关键字在上海的排名,模拟一个上海的Ip. 我通过curl 模模拟IP 但是结果还是当前服务器的IP。

能模拟吗? 只能用代理ip吧

能模拟吗? 只能用代理ip吧



我用了 curl 做了IP 模拟,和来源地址模拟。 本地写了两个php 文件,测试是可以的,但是模拟IP 请求百度时候没有效果。

IP是不能模拟的,建立TCP/IP连接必然是真实IP
你只能用代理服务器解决

你能把你的curl语句贴出来吗