javascript - 有没有能解析js的库啊?
回复内容:
我想抓取网站上的内容,但是好多内容都js生成的,请问有没有能够解析js的库方便抓取页面js解析后的html库啊?比如商城产品信息,QQ空间内容等。不管什么语言,能够快速开发就行,谢谢
这中不仅仅是解析 js,还要浏览器内核的!
推荐几个:
- QtWebKit,已知有 Python 和 C++ 支持
- PhantomJS,已知有 JavaScript、CoffeeScript 和 Python 支持,也是 Webkit 内核
- SlimerJS,已知有 JavaScript 支持,Gecko 内核,和火狐是一样的,也可以运行于火狐之上
- CasperJS,已知有 JavaScript 支持。上边两个的进一步封装
感觉你的问题可以不一定要那么重量级的东西的。
你要抓的页面内容,你知道它是从 js 来的,那么这个 js 是从哪里来的?可能是页面本身有的,也可能是 ajax 的 json 。
找出包含你需要的内容的这些 js ,然后是 json 的话用一个 json parser ,是 js 的话简单的也可以用正则提取。
phantomJs maybe the best solution for you, also, casperJs is based on phantomJs that can be a useful tool to grab webpage content created by javascript or ajax
試試 node.js
从你的描述听起来,是想抓页面,但是页面里内容是JS生产的,你用抓页面的方法,抓下来一个空壳子,啥也没有。对吧?
这样的话,我建议你使用“无头浏览器”,首推楼上说的PhantomJS,它本质上就是个浏览器,只是没有用户界面而已,通过编程来调用,最后可以和你的外部代码产生一些交互,给你返回(最终生成的)HTML、给你截图等等。
直接用nodejs,然后执行返回内容就妥了
我一般在这种情况下,都是自己把js代码看一下,找到需要的地方然后自己仿照实现出来,而且java下貌似有一个库是可以执行js代码的,比如我在做新浪微博模拟登录的时候就是直接将网站js中的加密函数提取出来,然后在代码中执行获得结果,最后模拟请求就好了