欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

【初学者】使用python代码爬取壁纸

程序员文章站 2022-03-02 12:27:31
使用python代码爬取我个人喜欢的壁纸网站的壁纸。此网址是国外的,所以可能爬取的会很慢。有什么问题可以留言(我是小白,哈哈哈)...

本人小白,刚学习爬虫不久。下面展示的是我爬取喜欢的壁纸网站壁纸的代码,因为网站是国外的,所以可能受网络影响比较大,耐心等待即可。还请大家多多指教!有什么问题可以留言,我看到就会回复,谢谢。

在这里插入代码片

import requests
import parsel


head = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60'}
i = 0
for Url in range(1,100):
    url = f'https://wallpaperscraft.com/all/page{Url}'

    response_1 = requests.get(url=url,headers=head)
    # print(response_1)       #测试是否连接

    selector_1 = parsel.Selector(response_1.text)       #转换数据类型
    # print(selector_1)

    title_url = selector_1.xpath('//li[@class="wallpapers__item"]/a/@href').getall()


    for title_1 in title_url:
        title_2 = 'https://wallpaperscraft.com'+title_1
        # print(title_2)

        response_2 = requests.get(url=title_2,headers=head)
        selector_2 = parsel.Selector(response_2.text)
        img_url = selector_2.xpath('//div[@class="wallpaper__placeholder"]/img/@src').getall()
        # print(img_url)

        #保存数据
        for result in img_url:
            i += 1
            response_3 = requests.get(url=result,headers=head).content
            file_name = result.split('/')[-1]
            # print(f'{i}号图片名称:{file_name}')

            with open('壁纸图片\\'+file_name,'wb') as f:
                f.write(response_3)
                print(f'{i}号图片{file_name}保存成功!!')

【初学者】使用python代码爬取壁纸

本文地址:https://blog.csdn.net/qq_45813541/article/details/111109203

相关标签: python 爬虫