请问如何更快速有效的爬网站?
程序员文章站
2022-05-11 15:20:51
...
大家好,其实我是门外汉,我上学的时候,玩过大话西游,QQ幻想,后来洛奇,学了一点按键精灵(一种和vb差不多的编程语言),辅助我玩游戏来着。这是我的编程基础。
要是我爬别人的网站,就会先把需要爬的url保存在TXT,或者Excel文件里。
用按键精灵打开浏览器,模拟手动(快捷键或者鼠标点击)输入TXT或者Excel的网址。
然后模拟手动全选,然后用 处理字符串函数,mid,right,left,len,instr 这些提取需要的字符串。
然后保存到Excel,或者是 txt 。
这样做其实很费机器,CPU使用很高,而且网速占用也很高。因为要加载很多不需要的图片,如图片,flash,mpg文件等。
而且经常出错,可能是excel出错,也可能是脚本出错,很多时候是浏览器出错。
请问大家,你们是怎么做的呢?
我目前会php,MySQL,JavaScript,jQuery,ajax 等编程语言。对json,xml,html 的数据,也都了解了。
希望大家结合我会的,当然以方便为主,有更方便的也可以告诉一下。
另外对于浏览器的调试信息,也就是f12的面板,我就会看js的输出。
只要有思路,欢迎大家回答,我起点低,基本是个回答都对我有帮助,谢谢了!