欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python爬虫入门教程 20-100 比如网站免费课程抓取

程序员文章站 2022-04-04 14:40:37
写在前面 美好的一天又开始了,今天咱继续爬取IT在线教育类网站,这个平台的数据量并不是很多,所以爬取起来还是比较简单的 准备爬取 打开我们要爬取的页面,寻找分页点和查看是否是异步加载的数据。 进行了一些相应的分析,发现并没有异步数据,只需要模拟翻页就,在进行HTML的解析就可以获取数据了, 翻页 ......

写在前面

美好的一天又开始了,今天咱继续爬取it在线教育类网站,这个平台的数据量并不是很多,所以爬取起来还是比较简单的
Python爬虫入门教程 20-100 比如网站免费课程抓取

准备爬取

打开我们要爬取的页面,寻找分页点和查看是否是异步加载的数据。
Python爬虫入门教程 20-100 比如网站免费课程抓取

进行了一些相应的分析,发现并没有异步数据,只需要模拟翻页就,在进行html的解析就可以获取数据了,
翻页数据如下,合计32页,在数据量上属于非常小的了。

https://www.imooc.com/course/list?page=1
https://www.imooc.com/course/list?page=2
....

https://www.imooc.com/course/list?page=32

编写代码

代码分为自动拼接url,解析html,存储到mongodb三个部分组成

page = 1

def main(page):
    print(f"正在爬取{page}页数据")
    try:
        with requests.session() as s:
            res = s.get("https://www.imooc.com/course/list?page={}".format(page))
            d = pq(res.text)
            get_content(d)  # 详细的函数内容在下面
    except exception as e:
        print(e)
    finally:
        page+=1
        main(page)   # 页码+1,再次调用main函数


if __name__ == '__main__':
    main(1)
    

上述代码的功能主要用于翻页,如果你想要获取到详细的数据,需要对网页源码进行解析。解析库使用的是pyquery一款跟jquery使用方法差不多的python库,当然相应的资料只要搜索一下,就会显示非常多的入门教程。

def get_content(d):
    courses = d.items(".course-card-container")

    for course in courses:
        title = course.find(".course-card-name").text()  # 查找title
        des = course.find(".course-card-desc").text()
        level = course.find(".course-card-info>span:eq(0)").text()
        users = course.find(".course-card-info>span:eq(1)").text()
        labels = course.find(".course-label").text().split(" ")
        url = urljoin("https://www.imooc.com/learn/", course.find("a").attr("href")) # url拼接
        img_url = urljoin("https://img3.mukewang.com/", course.find("img").attr("src"))  # url拼接
        dict = {
            "title":title,
            "des":des,
            "level":level,
            "users":users,
            "labels":labels,
            "url":url,
            "img_url":img_url
        }
        save_mongodb(dict)  # 保存到mongodb

最后一步保存到mongodb是基本操作了,翻看一下以前的教程就可以了,自行完成吧。

Python爬虫入门教程 20-100 比如网站免费课程抓取

到此,基本完成爬取操作... ...