Python训练营——阿里云天池 Day10

介绍

数据时代的到来刷新了人们探索未知的方式，从基础能源建设到航天航空工程。在关都地区真新镇大木研究所一直孜孜不倦对精灵宝可梦进行研究的大木博士也不例外，在剧中我们就常常可以看到大木博士制作的精灵图鉴一直在给探险家们提供宝可梦的简单分析，包括宝可梦的身高，体重，特性等等。

与其他探险家旅游挑战道馆的方式不同，我决定通过使用数据分析的方式来帮助我更好的了解宝可梦这种神奇的生物，然后再选择最经济实惠，简单好抓的宝可梦来挑战联盟。通过使用搜索引擎，我找到了一份包含着从第一代到第七代共801只宝可梦的数据集。

探索过程

** 数据集下载**

!wget -O pokemon_data.csv https://pai-public-data.oss-cn-beijing.aliyuncs.com/pokemon/pokemon.csv

使用三大件package：pandas， seaborn， matplotlib，并读取数据

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

df = pd.read_csv("./pokemon_data.csv")

使用df.head()查看整个数据表，结果显示前5组数据，41列属性。同样使用df.shape可以得到数据表的尺寸，共801行，41列。使用df.info()可以了解所有column的详细信息。

df.head()
'''
	abilities	against_bug	against_dark	against_dragon	against_electric	against_fairy	against_fight	against_fire	against_flying	against_ghost	...	percentage_male	pokedex_number	sp_attack	sp_defense	speed	type1	type2	weight_kg	generation	is_legendary
0	['Overgrow', 'Chlorophyll']	1.0	1.0	1.0	0.5	0.5	0.5	2.0	2.0	1.0	...	88.1	1	65	65	45	grass	poison	6.9	1	0
1	['Overgrow', 'Chlorophyll']	1.0	1.0	1.0	0.5	0.5	0.5	2.0	2.0	1.0	...	88.1	2	80	80	60	grass	poison	13.0	1	0
2	['Overgrow', 'Chlorophyll']	1.0	1.0	1.0	0.5	0.5	0.5	2.0	2.0	1.0	...	88.1	3	122	120	80	grass	poison	100.0	1	0
3	['Blaze', 'Solar Power']	0.5	1.0	1.0	1.0	0.5	1.0	0.5	1.0	1.0	...	88.1	4	60	50	65	fire	NaN	8.5	1	0
4	['Blaze', 'Solar Power']	0.5	1.0	1.0	1.0	0.5	1.0	0.5	1.0	1.0	...	88.1	5	80	65	80	fire	NaN	19.0	1	0
5 rows × 41 columns
'''

df.shape
#(801,41)

第一个问题：这么多特征，是否会有数据缺失呢？这里我们可以通过如下代码来观察每个特征的缺失情况：

# 计算出每个特征有多少百分比是缺失的
percent_missing = df.isnull().sum() * 100 / len(df)
missing_value_df = pd.DataFrame({
    'column_name': df.columns,
    'percent_missing': percent_missing
})
# 查看Top10缺失的
missing_value_df.sort_values(by='percent_missing', ascending=False).head(10)

通过查看以上数据，可以发现，type2 这个字段缺失的比率最高，达到了 48% 左右。说明超过半数的宝可梦还是单纯的只有一个属性，剩下一般的则具有两种属性。

然后第二个问题就是：这么多宝可梦，每代分别有几只？这里可以通过简单的 df['generation'].value_counts() 来得到。

但是为了更加直观的表现出不同代的宝可梦的数量差别，可以用pandas自带的画图的功能来绘制一个柱状图：

# 查看各代口袋妖怪的数量
df['generation'].value_counts().sort_values(ascending=False).plot.bar()

不难发现，宝可梦数量最多的是在第5代，最少的是在第6代。然后再来看不同的主属性的分布。这里我们可以先做一些简单的假设，比如虫属性的宝可梦种类比较多因为在剧中出现的频率相当高，而且有很多种进化。

# 查看每个系口袋妖怪的数量
df['type1'].value_counts().sort_values(ascending=True).plot.barh()

这里将之前的柱状图横过来了，更便于观察。这里我们可以看到，数量最多的宝可梦是水系，然后是普通，然后是草系。虫系只排在了第四，并没有和预期中那样那么多。

看完了基础的一些分布，接下来做一些简单的相关性分析。我们可以通过以下的代码生成相关性图

# 相关性热力图分析
plt.subplots(figsize=(20,15))
ax = plt.axes()
ax.set_title("Correlation Heatmap")
corr = df.corr()
sns.heatmap(corr, 
            xticklabels=corr.columns.values,
            yticklabels=corr.columns.values)

将图片保存到本地

fig_name = 'heatmap.png'
filepath=''
fig_path =filename+‘/’+ fig_name
fig = sns.heatmap(corr, 
            xticklabels=corr.columns.values,
            yticklabels=corr.columns.values)
heatmap = fig.get_figure()
heatmap.savefig(fig_path, dpi = 400)

了解不同特征之间的关联，这对了解宝可梦的特性很有帮助。比如通过观察 attack 这一个特征和 height_m 是正相关的，可以得出：越高的宝可梦，攻击力越高。但是再看 height_m，会发现它和 base_happiness 是负相关的。这个时候我们可以作出另外一个结论：长得高的宝可梦可能都不太开心。

接下来从宝可梦在实战中的角度来分析这组数据。这里只关注六个基础值：血量，攻击力，防御力，特攻，特防，速度。因为只有这六个基础值决定了一只宝可梦的战斗力在不考虑派系克制的情况下。

interested = ['hp','attack','defense','sp_attack','sp_defense','speed']
sns.pairplot(df[interested])

这里可以看到大部分都是成正比例的，一个值的提高往往会拉高另外一个值。这点我们通过相关性热力图也可以看到

# 通过相关性分析heatmap分析五个基础属性
plt.subplots(figsize=(10,8))
ax = plt.axes()
ax.set_title("Correlation Heatmap")
corr = df[interested].corr()
sns.heatmap(corr, 
            xticklabels=corr.columns.values,
            yticklabels=corr.columns.values,
            annot=True, fmt="f",cmap="YlGnBu")

之后可以开始计算种族值然后来选取我们的平民神兽了。毕竟不是每个人都能收服代欧奇希斯，超梦，梦幻这种传说级别的宝可梦。这里可以通过如下方式，先做一个特征类型转化，然后再计算

for c in interested:
    df[c] = df[c].astype(float)
df = df.assign(total_stats = df[interested].sum(axis=1)) 

df[df.total_stats >= 525].shape
#（167，42）

这样就完成了用 total_stats 这个字段来存储种族值这一特征。可以做个柱状图可视化来看看种族值的分布是什么样的：

# 种族值分布
total_stats = df.total_stats
plt.hist(total_stats,bins=35)
plt.xlabel('total_stats')
plt.ylabel('Frequency')

同时可以根据不同的属性来看：

# 不同属性的种族值分布
plt.subplots(figsize=(20,12))
ax = sns.violinplot(x="type1", y="total_stats",
                    data=df, palette="muted")

最后就可以通过简单的过滤和排序来找到我们应该去捕捉的宝可梦了：

# 种族值大于570的，但是不是神兽的
df[(df.total_stats >= 570) & (df.is_legendary == 0)]['name'].head(10)
'''
2        Venusaur
5       Charizard
8       Blastoise
17        Pidgeot
64       Alakazam
79        Slowbro
93         Gengar
114    Kangaskhan
126        Pinsir
129      Gyarados
Name: name, dtype: object
'''

其他分析

sns.jointplot("base_egg_steps", "experience_growth", data=df, size=5, ratio=3, color="g")

sns.jointplot("attack", "hp", data=df, kind="kde")

# 双系宝可梦数量统计
plt.subplots(figsize=(10, 10))

sns.heatmap(
    df[df['type2']!='None'].groupby(['type1', 'type2']).size().unstack(),
    linewidths=1,
    annot=True,
    cmap="Blues"
)

plt.xticks(rotation=35)
plt.show()