简单的数据抓取工具
程序员文章站
2022-03-24 15:51:37
...
求一个简单的数据抓取工具
我需要的数据如：
http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&qt=s&wd=1&c=131&tn=B_NORMAL_MAP&nn=0&ie=utf-8&l=12&b=%2812925648.97,4823379.72;12990672.97,4828435.72%29&t=1368604536591
更换其中的参数就可以得到不同的数据。把他它们存在文件或数据库就可以了。
本来我想自己写的，把我们要下载的链接拼起来，循环下载，处理一下入库就行了。
另外可以要考虑代理 ，多线程处理。
可是老大非要我去找一个开源的爬虫工具。
工具也要我给它链接，告诉他我要怎么处理这些数据才能工作呀。
没办法，请教大家，有哪个爬虫工具有这样的功能呀，谢谢了。
我只会PHP和简单的python,所以希望尽量是这两个语言写的，再次谢谢。
我需要的数据如：
http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&qt=s&wd=1&c=131&tn=B_NORMAL_MAP&nn=0&ie=utf-8&l=12&b=%2812925648.97,4823379.72;12990672.97,4828435.72%29&t=1368604536591
更换其中的参数就可以得到不同的数据。把他它们存在文件或数据库就可以了。
本来我想自己写的，把我们要下载的链接拼起来，循环下载，处理一下入库就行了。
另外可以要考虑代理 ，多线程处理。
可是老大非要我去找一个开源的爬虫工具。
工具也要我给它链接，告诉他我要怎么处理这些数据才能工作呀。
没办法，请教大家，有哪个爬虫工具有这样的功能呀，谢谢了。
我只会PHP和简单的python,所以希望尽量是这两个语言写的，再次谢谢。
分享到：
------解决方案--------------------
找个开源的还是得改成你需要的，到麻烦。php的curl就可以，支持代理。
python的话socket挺好的，而且多线程的话threading处理非常方便。
自己写呗~
------解决方案--------------------
东西做好 然后告诉他 这个就是最好的工具
------解决方案--------------------
找个开源的还是得改成你需要的，到麻烦。php的curl就可以，支持代理。
python的话socket挺好的，而且多线程的话threading处理非常方便。
自己写呗~
------解决方案--------------------
东西做好 然后告诉他 这个就是最好的工具
声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn核实处理。
相关文章
相关视频
专题推荐
-
独孤九贱-php全栈开发教程
全栈 170W+
主讲：Peter-Zhu 轻松幽默、简短易学，非常适合PHP学习入门
-
玉女心经-web前端开发教程
入门 80W+
主讲：灭绝师太 由浅入深、明快简洁，非常适合前端学习入门
-
天龙八部-实战开发教程
实战 120W+
主讲：西门大官人 思路清晰、严谨规范，适合有一定web编程基础学习
作者信息
- 最新文章
- 热门排行
上一篇： php怎么将字符串转为浮点型
下一篇： PHP开发手机3G页面，有关问题请问
网友评论
文明上网理性发言，请遵守 新闻评论服务协议
我要评论