通过爬虫获取全国火锅店数量
程序员文章站
2022-05-29 12:09:50
...
在我们身边经常流行这么一句话,没有什么是一顿火锅解决不了的事情,如果有,那就两顿。那么今天就教大家如何获取全国不同城市火锅店数量情况,以更加直观的方式去了解不同城市的火锅店分布情况。一起来关注下你所在的城市火锅店数量多不多呀。
本文数据的数据来源我们是通过百度地图,通过python技术知识去获取数据并进行分析。
数据来源:https://map.baidu.com/
爬虫代理来源:https://www.16yun.cn/
在对网页分析好之后,接下来可以借助Python技术进行获取数据,代理示例如下:
#! -*- encoding:utf-8 -*-
import requests
import random
# 要访问的目标页面
targetUrl = "https://map.baidu.com/"
# 要访问的目标HTTPS页面
# targetUrl = "https://map.baidu.com/"
# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理验证信息
proxyUser = "16MVUEFE"
proxyPass = "102663"
proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
"host" : proxyHost,
"port" : proxyPort,
"user" : proxyUser,
"pass" : proxyPass,
}
# 设置 http和https访问都是用HTTP代理
proxies = {
"http" : proxyMeta,
"https" : proxyMeta,
}
# 设置IP切换头
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}
resp = requests.get(targetUrl, proxies=proxies, headers=headers)
print resp.status_code
print resp.text
从火锅数量来看,除了第二名成都,其余城市火锅店数量与第一名的重庆差距较大。以上的数据分享不够深入,更多的大家可以一起讨论学习。最后我表示生活在大成都的我一个月起码是要吃2次火锅的,你们呢?
本文数据的数据来源我们是通过百度地图,通过python技术知识去获取数据并进行分析。
数据来源:https://map.baidu.com/
爬虫代理来源:https://www.16yun.cn/
在对网页分析好之后,接下来可以借助Python技术进行获取数据,代理示例如下:
#! -*- encoding:utf-8 -*-
import requests
import random
# 要访问的目标页面
targetUrl = "https://map.baidu.com/"
# 要访问的目标HTTPS页面
# targetUrl = "https://map.baidu.com/"
# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理验证信息
proxyUser = "16MVUEFE"
proxyPass = "102663"
proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
"host" : proxyHost,
"port" : proxyPort,
"user" : proxyUser,
"pass" : proxyPass,
}
# 设置 http和https访问都是用HTTP代理
proxies = {
"http" : proxyMeta,
"https" : proxyMeta,
}
# 设置IP切换头
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}
resp = requests.get(targetUrl, proxies=proxies, headers=headers)
print resp.status_code
print resp.text
从火锅数量来看,除了第二名成都,其余城市火锅店数量与第一名的重庆差距较大。以上的数据分享不够深入,更多的大家可以一起讨论学习。最后我表示生活在大成都的我一个月起码是要吃2次火锅的,你们呢?