根据地区IP 采集百度搜索结果数据,如何模拟IP抓取数据?
程序员文章站
2022-05-21 08:33:49
...
百度搜索出的数据根据地区的IP 判断, 结果都是有差异的,比如北京的用户和广东的用户搜索医院关键字的时候,显示的除的结果是有差异的。 现在我想通过模拟IP 去抓取百度的结果, 我使用了CURL 去模拟IP 和来源,但是结果都没有效果。
IP 不同, 比如:我想查询广东的搜索结果,模拟一个广东的Ip. 查询关键字在上海的排名,模拟一个上海的Ip. 我通过curl 模模拟IP 但是结果还是当前服务器的IP。
我用了 curl 做了IP 模拟,和来源地址模拟。 本地写了两个php 文件,测试是可以的,但是模拟IP 请求百度时候没有效果。
回复讨论(解决方案)
是不同IP全部是一致的吗?
IP 不同, 比如:我想查询广东的搜索结果,模拟一个广东的Ip. 查询关键字在上海的排名,模拟一个上海的Ip. 我通过curl 模模拟IP 但是结果还是当前服务器的IP。
是不同IP全部是一致的吗?
IP 不同, 比如:我想查询广东的搜索结果,模拟一个广东的Ip. 查询关键字在上海的排名,模拟一个上海的Ip. 我通过curl 模模拟IP 但是结果还是当前服务器的IP。
能模拟吗? 只能用代理ip吧
能模拟吗? 只能用代理ip吧
我用了 curl 做了IP 模拟,和来源地址模拟。 本地写了两个php 文件,测试是可以的,但是模拟IP 请求百度时候没有效果。
IP是不能模拟的,建立TCP/IP连接必然是真实IP
你只能用代理服务器解决
你能把你的curl语句贴出来吗