欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

爬取千千音乐动态传输内容

程序员文章站 2022-03-07 09:13:12
爬取千千音乐动态传输内容 1.首先千千音乐的robots协议 2.项目目的 对于千千音乐的首页的歌单进行爬取,创建以歌单为名字的文件夹并且下载歌单内的所有歌曲保存至本地 3.项目介绍功能介绍 不要加 与`多线程`进去增加千千音乐的负担,只做类人爬取,对于技术的练习 爬取内容 4.项目链接 https ......

爬取千千音乐动态传输内容

1.首先千千音乐的robots协议

user-agent: baiduspider
allow: /

user-agent: baiduspider-image
allow: /

user-agent: youdaobot
allow: /

user-agent: sogou web spider
allow: /

user-agent: sogou inst spider
allow: /

user-agent: sogou spider2
allow: /

user-agent: sogou blog
allow: /

user-agent: sogou news spider
allow: /

user-agent: sogou orion spider
allow: /

user-agent: sosospider
allow: /

user-agent: 360spider
allow: /
 
user-agent: sogouspider
allow: /
 
user-agent: *
disallow: /

2.项目目的

对于千千音乐的首页的歌单进行爬取,创建以歌单为名字的文件夹并且下载歌单内的所有歌曲保存至本地

3.项目介绍功能介绍

不要加多进程多线程进去增加千千音乐的负担,只做类人爬取,对于技术的练习

爬取内容请不要用做商业用途

4.项目链接

项目中有一句关键的内容被我放在一个压缩文件中,并进行加密如果你需要这段可以私聊我,如果你没发现缺什么那也就没啥意义

这段代码不会影响爬虫的整体思路,只会影响到下载音乐这一块

5.作者

作者名称:a568972484

作者博客:小小咸鱼ywy

博客链接:https://www.cnblogs.com/pythonywy