欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

博客园随笔内容进行爬取至本地并转md格式

程序员文章站 2022-04-15 15:14:08
将博客园随笔保存至本地并转md格式 1.首先博客园的robots协议 2.项目目的 方便博主将以上传的md随笔重新根据输入url进行下载,方便博主修改随笔 3.项目介绍功能介绍 功能一:批量爬取博客园首页的所有随笔字典并保存JSON文件,且随笔全部转成MD格式文件 功能二:输入指定随笔网址把随笔内容 ......

将博客园随笔保存至本地并转md格式

1.首先博客园的robots协议

user-agent: *
allow: /

2.项目目的

方便博主将以上传的md随笔重新根据输入url进行下载,方便博主修改随笔

3.项目介绍功能介绍

  • 功能一:批量爬取博客园首页的所有随笔字典并保存json文件,且随笔全部转成md格式文件

  • 功能二:输入指定随笔网址把随笔内容转成md并且保存

由于不同博客具有不同的见状性`要根据博客能让进行适当的修改就可以使用此程序

不要加多进程多线程进去增加博客园的负担

爬取内容请不要用做商业用途

4.项目链接

项目中的注释我都去掉了,有疑问私聊我,不要想着白嫖哦,内容都是完整的