求一个简单的数据抓取工具
程序员文章站
2022-04-28 18:24:46
...
我需要的数据如:
http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&qt=s&wd=1&c=131&tn=B_NORMAL_MAP&nn=0&ie=utf-8&l=12&b=%2812925648.97,4823379.72;12990672.97,4828435.72%29&t=1368604536591
更换其中的参数就可以得到不同的数据。把他它们存在文件或数据库就可以了。
本来我想自己写的,把我们要下载的链接拼起来,循环下载,处理一下入库就行了。
另外可以要考虑代理 ,多线程处理。
可是老大非要我去找一个开源的爬虫工具。
工具也要我给它链接,告诉他我要怎么处理这些数据才能工作呀。
没办法,请教大家,有哪个爬虫工具有这样的功能呀,谢谢了。
我只会PHP和简单的python,所以希望尽量是这两个语言写的,再次谢谢。
http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&qt=s&wd=1&c=131&tn=B_NORMAL_MAP&nn=0&ie=utf-8&l=12&b=%2812925648.97,4823379.72;12990672.97,4828435.72%29&t=1368604536591
更换其中的参数就可以得到不同的数据。把他它们存在文件或数据库就可以了。
本来我想自己写的,把我们要下载的链接拼起来,循环下载,处理一下入库就行了。
另外可以要考虑代理 ,多线程处理。
可是老大非要我去找一个开源的爬虫工具。
工具也要我给它链接,告诉他我要怎么处理这些数据才能工作呀。
没办法,请教大家,有哪个爬虫工具有这样的功能呀,谢谢了。
我只会PHP和简单的python,所以希望尽量是这两个语言写的,再次谢谢。
回复讨论(解决方案)
找个开源的还是得改成你需要的,到麻烦。php的curl就可以,支持代理。
python的话socket挺好的,而且多线程的话threading处理非常方便。
自己写呗~
东西做好 然后告诉他 这个就是最好的工具
上一篇: ps填充颜色的快捷键是什么
下一篇: .net core和.net区别