有什么好的办法解决爬虫中很容易遇到的用 javascript 编写的网页的问题？
程序员文章站
2022-05-19 20:19:10
...
用的语言是python。目前想要爬的同花顺股票行情（http://q.10jqka.com.cn/stock/fl/#refCountId=db_5093800d_645,db_509381c1_860），又一次被javascript卡住。因为一页中只显示52条信息，想要看全部的股票数据必须点击下面的页码，是用javascript写的，无法直接用urllib2之类的库处理。试过用webkit（ghost.py）来模拟点击，代码如下：
page, resources = ghost.open('http://q.10jqka.com.cn/stock/fl/#refCountId=db_5093800d_645,db_509381c1_860')
page, resources = ghost.evaluate("document.getElementById('hd').nextSibling.getElementsByTagName('div')[13].getElementsByTagName('a')[7].click();", expect_loading = True)
提示Unable to load requested page， 或是返回的page是None。不知道无法解决。求教是代码哪里错了，应该如何解决？（在百度和google找了很久解决方法，不过有关ghost.py的资料不是太多，没能解决。）
以及，求问是否有更好的办法解决爬动态网页的问题？用webkit模拟好像会减慢爬的速度，不是上策。
能够解析并运行页面上的脚本以索引动态内容是现代爬虫的重要功能之一。
Google's Crawler Now Understands JavaScript: What Does This Mean For You?
你这个爬虫跟JS关系不大，直接看Network，看发出的网络请求，分析每个URL，找出规律，然后用程序来模拟这样的请求，首先要善于用Chrome的Network功能，我们点几页，看Network如下：
第一页数据URL：
需求：爬取爱漫画上的漫画。
问题：图片的名字命名不规则，通过复杂的js代码生成图片的文件名和url，动态加载图片。js代码的模式多样，没有统一的模式。
解决：Py8v库。读取下js代码，加一个全局变量追踪图片的文件名和url，然后Python和这个变量交互，取得某话图片的文件名和url。
全文在此
【原创】最近写的一个比较hack的小爬虫 能说 berserkJS 么……
不过这种玩意可抗不了量啊
╭(╯ε╰)╮ 嫌麻烦的话直接上selenium吧，几乎百分百地模拟用户在浏览器上的操作。也可以用来爬数据，不过速度较慢。 打开Chrome的开发人员控制台或者火狐的FireBug，转到Network那一栏，直接分析ajax访问的url到底是哪些。
对于特定网站的爬虫就不要想着模拟javascript运行了，太费力而且效果还不好。把网站的url结构弄明白了直接构造表单就好。 Selenium with Python 插一句题外话，同花顺好像可以自定义函数，写脚本计算数据，还是挺方便的，一定要自己把数据全部爬下来吗？ phantomjs api比较吐血，建议基于之上封装的casperjs吧，写起来比较爽 一个好的爬虫需要解决两个问题：
1、能够解析动态网页，比如瀑布式网站
2、能够规避网站的*
page, resources = ghost.open('http://q.10jqka.com.cn/stock/fl/#refCountId=db_5093800d_645,db_509381c1_860')
page, resources = ghost.evaluate("document.getElementById('hd').nextSibling.getElementsByTagName('div')[13].getElementsByTagName('a')[7].click();", expect_loading = True)
提示Unable to load requested page， 或是返回的page是None。不知道无法解决。求教是代码哪里错了，应该如何解决？（在百度和google找了很久解决方法，不过有关ghost.py的资料不是太多，没能解决。）
以及，求问是否有更好的办法解决爬动态网页的问题？用webkit模拟好像会减慢爬的速度，不是上策。
回复内容：
Headless Webkit，开源的有 PhantomJS 等。能够解析并运行页面上的脚本以索引动态内容是现代爬虫的重要功能之一。
Google's Crawler Now Understands JavaScript: What Does This Mean For You?
你这个爬虫跟JS关系不大，直接看Network，看发出的网络请求，分析每个URL，找出规律，然后用程序来模拟这样的请求，首先要善于用Chrome的Network功能，我们点几页，看Network如下：
第一页数据URL：
http://q.10jqka.com.cn/interface/stock/fl/zdf/desc/1/hsa/quote
需求：爬取爱漫画上的漫画。
问题：图片的名字命名不规则，通过复杂的js代码生成图片的文件名和url，动态加载图片。js代码的模式多样，没有统一的模式。
解决：Py8v库。读取下js代码，加一个全局变量追踪图片的文件名和url，然后Python和这个变量交互，取得某话图片的文件名和url。
全文在此
【原创】最近写的一个比较hack的小爬虫 能说 berserkJS 么……
不过这种玩意可抗不了量啊
╭(╯ε╰)╮ 嫌麻烦的话直接上selenium吧，几乎百分百地模拟用户在浏览器上的操作。也可以用来爬数据，不过速度较慢。 打开Chrome的开发人员控制台或者火狐的FireBug，转到Network那一栏，直接分析ajax访问的url到底是哪些。
对于特定网站的爬虫就不要想着模拟javascript运行了，太费力而且效果还不好。把网站的url结构弄明白了直接构造表单就好。 Selenium with Python 插一句题外话，同花顺好像可以自定义函数，写脚本计算数据，还是挺方便的，一定要自己把数据全部爬下来吗？ phantomjs api比较吐血，建议基于之上封装的casperjs吧，写起来比较爽 一个好的爬虫需要解决两个问题：
1、能够解析动态网页，比如瀑布式网站
2、能够规避网站的*
声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn核实处理。
相关文章
相关视频