研究生导师布置的作业！利用Python和API收集与分析网络数据！

猜猜看，下面这一组调查对象是什么？

为什么会这样呢？

因为我在布置作业的时候，很贴心地给了一个样例，是我之前写的一篇教程《 如何用R和API免费获取Web数据？ 》。

于是，多组作业，都雷同。

讲到这里，他们一副不好意思的表情。

我却发觉，这里蕴藏着一个问题。

几乎所有国内云市场的 API 产品，都有丰富的文档。不少还干脆给出了各种编程语言对应调用代码。

这是一款收费 API ，100次调用的价格为1分钱。

作为作业练习，100次调用已经足够了。

这价格，他们表示可以接受。

我自己走了一遍流程。

点击“立即购买”按钮。

你会被引领到付费页面。如果你没有登录，可以根据提示用淘宝账号登录。

支付1分钱以后，你会看到如下的成功提示。

之后，系统会提示给你一些非常重要的信息。

如果你的操作系统里面已经安装了 curl （没有安装的话，可以点击这个链接，寻找对应的操作系统版本下载安装），尝试把上图中 curl 开头的那一行代码拷贝下来，复制到文本编辑器里面。

就像这样：

curl -i -k --get --include 'https://ali-weather.showapi.com/weatherhistory?area=%E4%B8%BD%E6%B1%9F&areaid=101291401&month=201601' -H 'Authorization:APPCODE 你自己的AppCode'

然后，一定要把其中的“你自己的AppCode”这个字符串，替换为你真实的 AppCode 。

把替换好的语句复制粘贴到终端窗口里面运行。

运行结果，如下图所示：

看见窗口下方包含中文的数据了吗？

利用 API 获取数据，就是这么简单。

上图中，除了刚才我们使用的 curl ，还包括以下语言访问 API 接口的样例说明：

• Java

• C#

• PHP

• Python

• Object C

我们以 Python 作为例子，点开标签页看看。

你只需要把样例代码全部拷贝下来，用文本编辑器保存为“.py”为扩展名的 Python 脚本文件，例如 demo.py 。

为什么许多学生做不出来结果呢？

我让他们实际跑了一下，发现确实有的学生粗心大意，忘了替换自己的 AppCode 。

但是大部分同学，由于安装最新版本的 Anaconda （Python 3.6版），都遇到了下面的问题：

你可能会认为这是因为没有正确安装 urllib2 模块，于是执行

pip install urllib2

你可能会看到下面的报错提示：

在他们看来，官方网站提供的样例，就应该是可以运行的。报了错，又不能通过自己的软件包安装“三板斧”来解决，就会慌乱和焦虑。

更进一步，他们也不太了解 JSON 格式。

虽然，JSON已是一种非常清晰的、人机皆可通读的数据存储方式了。

他们想了解的，是怎么把问题迁移到自己能够解决的范围内。

环境

首先我们来看看代码运行环境。

前面提到过，如果样例代码的运行环境，和你本地的运行 环境不一 ，计时代码本身没问题，也无法正常执行 。

这个界面来自 Jupyter Lab。

图中左侧分栏，是工作目录下的全部文件。

右侧打开的，是咱们要使用的ipynb文件。

根据我的讲解，请你逐条执行，并仔细观察运行结果。

本例中，我们主要会用到以下两个新的软件包。

首先是号称“给人用”（for humans）的HTTP工具包requests。

代码

首先，读入HTTP工具包requests。

import requests

第二句里面，有“Your AppCode here”字样，请把它替换为你自己的AppCode，否则下面运行会报错。

appcode = 'Your AppCode here'

我们尝试获取丽江5月份的天气信息。

在API信息页面上，有城市和代码对应的表格。

位置比较隐蔽，在公司简介的上方。

看来我们需要在HTTP数据头(header)中，加入 AppCode。

我们依次把这些信息都写好。

url = 'https://ali-weather.showapi.com/weatherhistory'payload = {'areaid': areaid, 'month': month}headers = {'Authorization': 'APPCODE {}'.format(appcode)}

下面，我们就该用 requests 包来工作了。

requests 的语法非常简洁，只需要指定4样内容：

• 调用方法为“GET”

• 访问地址 url

既然调用成功，我们看看 API 接口返回的具体数据内容吧。

调用返回值的 content 属性：

r.content

这一屏幕，密密麻麻的。

其中许多字符，甚至都不能正常显示。这可怎么好？

没关系，从 API 信息页上，我们得知返回的数据，是 JSON 格式。

返回的是一个列表。

因为列表里面只有一个城市，所以我们只让它返回第一项即可。

dfs[0]

这次显示的，就是数据框了：

假设我们要综合分析几个城市的天气信息，那么就可以把这几个数据框整合在一起。

用到的方法，是 Pandas 内置的 concat 函数。

它接收一个数据框列表，把其中每一个个数据框沿着纵轴（默认）连接在一起。

df = pd.concat(dfs)

看看此时的总数据框效果：

df

这是开头部分：

这是结尾部分：

3个城市，4个多月的数据都正确读取和整合了。

下面我们尝试做分析。

这次就对了，日期和 AQI 都分别变成了我们需要的类型。其他数据，暂时保持原样。

有的是因为本来就该是字符串，例如城市名称。

另一些，是因为我们暂时不会用到。

下面我们绘制一个简单的时间序列对比图形。

读入绘图工具包 plotnine 。

注意我们同时读入了 date_breaks ，用来指定图形绘制时，时间标注的间隔。

我们指定横轴为时间序列，纵轴为 AQI，用不同颜色的线来区分城市。

绘制时间的时候，以“2周”作为间隔周期，标注时间上的数据统计量信息。

我们修改横轴的标记为中文的“日期”。

因为时间显示起来比较长，如果按照默认样式，会堆叠在一起，不好看，所以我们让它旋转45度角，这样避免重叠，一目了然。

为了让图中的中文正常显示，我们需要指定中文字体，这里我们选择的是开源的“文泉驿微米黑”。

数据可视化结果，如下图所示。

怎么样，这张对比图，绘制得还像模像样吧？

从图中，你可以分析出什么结果呢？

反正我看完这张图， 很想去丽江 。

当然，要是能给我的repo加一颗星，就更好了。

讨论

你之前尝试过用 Python 和 API 获取数据吗？你使用了哪些更好用的软件包进行数据获取、处理、分析与可视化呢？你还使用过哪些其他的数据产品市场？欢迎留言，把你的经验和思考分享给大家，我们一起交流讨论。

转载于：玉树芝兰”(nkwangshuyi) 。

欢迎关注我的博客：https://home.cnblogs.com/u/Python1234/

欢迎加入千人交流答疑群：125240963