欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

python利用 request bs4 模块爬取imgur网站图片

程序员文章站 2022-05-04 16:53:41
...
import requests
import bs4
baseUrl='http://imgur.com'
#完整的请求地址
url=baseUrl+"/search/score?q="+"movie"
#请求这个网页
response=requests.get(url)
#检查这个网页是否请求成功了
response.raise_for_status()
soup=bs4.BeautifulSoup(response.text,"html.parser")
# print(soup)
#已经获取到image图片标签了
imageURLS=soup.select(".image-list-link img")
num=1
if not imageURLS:
    print("没有找到图片!")
else:
    for imageURL in imageURLS:
        #获取图片路径的节点
        downloadUrl=imageURL.get('src')
        # print(downloadUrl)
        imageStream = requests.get("http:" + downloadUrl)
        # print(imageStream.content)
        num += 1  # 循环一次加一
        yuan = imageStream.content  # 得到你图片的内容
        # print(yuan)
        #写进本地
        with open('E:\\国外图片\\' + str(num) + '.jpg', 'wb') as f:
            print("正在写入第%d张" % num)
            f.write(yuan)  # 写进去
            f.close()  # 关闭文件