python基于selenium爬取斗鱼弹幕
程序员文章站
2022-06-23 18:05:26
针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服...
针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片
代码如下:
import time from selenium import webdriver chrome_options = webdriver.chromeoptions() # 使用headless*面浏览器模式 # chrome_options.add_argument('--headless') # chrome_options.add_argument('--disable-gpu') prefs = {"profile.managed_default_content_settings.images": 2} chrome_options.add_experimental_option("prefs", prefs) browser = webdriver.chrome(chrome_options=chrome_options) url = 'https://www.douyu.com/' def getdanmu(homeid): homehref = url+str(homeid) browser.get(homehref) while 1: time.sleep(2) try: for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'): if len(i.text) > 0: try: print(i.text) except: pass savedanmu(i.text) else: continue except: time.sleep(2) for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'): if len(i.text) > 0: try: print(i.text) except: pass savedanmu(i.text) else: continue def savedanmu(danmu): with open('danmu.txt', 'a+', encoding='utf-8')as f: f.write(danmu+'\n') if __name__ == '__main__': num = input('请输入需要查询的房间号:') getdanmu(num)
以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注其它相关文章!
推荐阅读
-
基于Python的Post请求数据爬取的方法详解
-
Python网络爬虫(selenium爬取动态网页、爬虫案例分析、哈希算法与RSA加密)
-
python爬取基于m3u8协议的ts文件并合并
-
利用python爬虫爬取斗鱼图片(简单详细)
-
详解python selenium 爬取网易云音乐歌单名
-
2019基于python的网络爬虫系列,爬取糗事百科
-
python爬虫系列Selenium定向爬取虎扑篮球图片详解
-
python—多协程爬取斗鱼高颜值美女图片-2.0版本
-
Python爬虫使用selenium爬取qq群的成员信息(全自动实现自动登陆)
-
Python使用Selenium爬取淘宝异步加载的数据方法