使用phantomjs进行网页抓取的实现代码_javascript技巧
程序员文章站
2024-01-07 16:18:04
...
phantomjs因为是无头浏览器可以跑js,所以同样可以跑dom节点,用来进行网页抓取是再好不过了。
比如我们要批量抓取网页 “历史上的今天” 的内容。网站
对dom结构的观察发现,我们只需要取到 .list li a的title值即可。因此我们利用高级选择器构建dom片段
var d= '' var c = document.querySelectorAll('.list li a') var l = c.length; for(var i =0;i
之后只需要让js代码在phantomjs里跑起来即可~
var page = require('webpage').create(); page.open('http://www.todayonhistory.com/', function (status) { //打开页面 if (status !== 'success') { console.log('FAIL to load the address'); } else { console.log(page.evaluate(function () { var d= '' var c = document.querySelectorAll('.list li a') var l = c.length; for(var i =0;i
最终我们另存为catch.js,在dos里面执行一下,输出内容到txt文件(也可以用phantomjs的文件api来写)
推荐阅读
-
使用phantomjs进行网页抓取的实现代码_javascript技巧
-
JavaScript实现防止网页被嵌入Frame框架的代码分享_javascript技巧
-
js 实现打印网页中定义的部分内容的代码_javascript技巧
-
js 实现打印网页中定义的部分内容的代码_javascript技巧
-
js,jQuery 排序的实现代码,网页标签排序的实现,标签排序_javascript技巧
-
使用JavaScript实现网页版Pongo设计思路及源代码分享_javascript技巧
-
PHP 抓取网页图片并且另存为的实现代码_php技巧
-
php中使用parse_url()对网址进行解析的实现代码(parse_url详解)_php技巧
-
使用phantomjs进行网页抓取的实现代码_javascript技巧
-
Javascript 键盘事件的组合使用实现代码_javascript技巧