欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

通过爬虫获取全国火锅店数量

程序员文章站 2022-03-03 13:00:18
...
在我们身边经常流行这么一句话,没有什么是一顿火锅解决不了的事情,如果有,那就两顿。那么今天就教大家如何获取全国不同城市火锅店数量情况,以更加直观的方式去了解不同城市的火锅店分布情况。一起来关注下你所在的城市火锅店数量多不多呀。
本文数据的数据来源我们是通过百度地图,通过python技术知识去获取数据并进行分析。
数据来源:https://map.baidu.com/
爬虫代理来源:https://www.16yun.cn/
在对网页分析好之后,接下来可以借助Python技术进行获取数据,代理示例如下:


#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "https://map.baidu.com/"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://map.baidu.com/"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "16MVUEFE"
    proxyPass = "102663"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text
从火锅数量来看,除了第二名成都,其余城市火锅店数量与第一名的重庆差距较大。以上的数据分享不够深入,更多的大家可以一起讨论学习。最后我表示生活在大成都的我一个月起码是要吃2次火锅的,你们呢?