python利用 request bs4 模块爬取imgur网站图片
程序员文章站
2022-05-04 16:53:41
...
import requests
import bs4
baseUrl='http://imgur.com'
#完整的请求地址
url=baseUrl+"/search/score?q="+"movie"
#请求这个网页
response=requests.get(url)
#检查这个网页是否请求成功了
response.raise_for_status()
soup=bs4.BeautifulSoup(response.text,"html.parser")
# print(soup)
#已经获取到image图片标签了
imageURLS=soup.select(".image-list-link img")
num=1
if not imageURLS:
print("没有找到图片!")
else:
for imageURL in imageURLS:
#获取图片路径的节点
downloadUrl=imageURL.get('src')
# print(downloadUrl)
imageStream = requests.get("http:" + downloadUrl)
# print(imageStream.content)
num += 1 # 循环一次加一
yuan = imageStream.content # 得到你图片的内容
# print(yuan)
#写进本地
with open('E:\\国外图片\\' + str(num) + '.jpg', 'wb') as f:
print("正在写入第%d张" % num)
f.write(yuan) # 写进去
f.close() # 关闭文件