【初学者】使用python代码爬取壁纸
程序员文章站
2022-03-02 12:27:31
使用python代码爬取我个人喜欢的壁纸网站的壁纸。此网址是国外的,所以可能爬取的会很慢。有什么问题可以留言(我是小白,哈哈哈)...
本人小白,刚学习爬虫不久。下面展示的是我爬取喜欢的壁纸网站壁纸的代码,因为网站是国外的,所以可能受网络影响比较大,耐心等待即可。还请大家多多指教!有什么问题可以留言,我看到就会回复,谢谢。
在这里插入代码片
import requests
import parsel
head = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60'}
i = 0
for Url in range(1,100):
url = f'https://wallpaperscraft.com/all/page{Url}'
response_1 = requests.get(url=url,headers=head)
# print(response_1) #测试是否连接
selector_1 = parsel.Selector(response_1.text) #转换数据类型
# print(selector_1)
title_url = selector_1.xpath('//li[@class="wallpapers__item"]/a/@href').getall()
for title_1 in title_url:
title_2 = 'https://wallpaperscraft.com'+title_1
# print(title_2)
response_2 = requests.get(url=title_2,headers=head)
selector_2 = parsel.Selector(response_2.text)
img_url = selector_2.xpath('//div[@class="wallpaper__placeholder"]/img/@src').getall()
# print(img_url)
#保存数据
for result in img_url:
i += 1
response_3 = requests.get(url=result,headers=head).content
file_name = result.split('/')[-1]
# print(f'{i}号图片名称:{file_name}')
with open('壁纸图片\\'+file_name,'wb') as f:
f.write(response_3)
print(f'{i}号图片{file_name}保存成功!!')
本文地址:https://blog.csdn.net/qq_45813541/article/details/111109203