pandas基础学习笔记三

参考内容： 第3章 分组.

一、SAC(split-apply-combine)过程

1. 内涵

SAC指的是分组操作中的split-apply-combine过程

• split（分割）：指基于某一些规则，将数据拆成若干组
• apply（应用）：是指对每一组独立地使用函数，其中应用最为主要，在这个过程中，实际中会遇到四类问题：
  a. 整合（Aggregation）：分组计算统计量（如求均值、求每组元素个数）
  b. 变换（Transformation）：分组对每个单元的数据进行操作（如元素标准化）
  c. 过滤（Filtration）——按照某些规则筛选出一些组（如选出组内某一指标小于50的组）
  d. 综合问题——前面提及的三种问题的混合类型
• combine（合并）：指将每一组的结果组合成某一类数据结构

二、groupby函数

经过groupby后会生成一个groupby对象，该对象本身不会返回任何东西，只有当相应的方法被调用才会起作用

1. groupby的基本用法：

grouped_single = df.groupby('School')  # 根据某一列分组
grouped_single.get_group('S_1').head() # 取出某一个组

grouped_mul = df.groupby(['School','Class']) #根据某几列分组
grouped_mul.get_group(('S_2','C_4'))

grouped_single.size() # 组容量与组数
grouped_mul.size()
grouped_single.ngroups
grouped_mul.ngroups

for name,group in grouped_single:  # 组的遍历
    print(name)
    display(group.head())

#level参数（用于多级索引）和axis参数
df.set_index(['Gender','School']).groupby(level=1,axis=0).get_group('S_1').head()    

2. groupby对象的特点

（a）查看所有可调用的方法
groupby对象可以使用相当多的函数，灵活程度很高.
（b）分组对象的head和first
对分组对象使用head函数，返回的是每个组的前几行，而不是数据集前几行.
（c）分组依据
对于groupby函数而言，分组的依据是非常*的，只要是与数据框长度相同的列表即可，同时支持函数型分组
（d）groupby的[]操作
可以用[]选出groupby对象的某个或者某几个列.
（e）连续型变量分组
例如利用cut函数对数学成绩分组.

三、聚合、过滤和变换

1. 聚合（Aggregation）

（a）常用聚合函数
所谓聚合就是把一堆数，变成一个标量，因此mean/sum/size/count/std/var/sem/describe/first/last/nth/min/max都是聚合函数
（b）同时使用多个聚合函数：
利用元组进行重命名或指定哪些函数作用哪些列等。
（c）还可以使用自定义函数
（d）利用NamedAgg函数进行多个聚合
注意：不支持lambda函数，但是可以使用外置的def函数
（e）带参数的聚合函数
注意：如果需要使用多个函数，并且其中至少有一个带参数，则使用wrap技巧

2. 过滤（Filteration）

filter函数是用来筛选某些组的（务必记住结果是组的全体），因此传入的值应当是布尔标量

3. 变换（Transformation）

（a）传入对象：transform函数中传入的对象是组内的列，并且返回值需要与列长完全一致，
如果返回了标量值，那么组内的所有元素会被广播为这个值。
（b）利用变换方法进行组内标准化
（c）利用变换方法进行组内缺失值的均值填充

四、apply函数

1. apply函数的灵活性很大程度来源于其返回值的多样性

可能在所有的分组函数中，apply是应用最为广泛的，这得益于它的灵活性，

apply函数的灵活性很大程度来源于其返回值的多样性：标量返回值，列表返回值和数据框返回值。

2. 用apply同时统计多个指标时，可以借助OrderedDict工具进行快捷的统计

对于我这样会一点Python编程的菜鸟来说，以前只会用的pandas是，import pandas as pd, 然后就是pd.read_csv()……等如此简单的操作，以前以为pandas是一个读取数据的，这一次进入到这么系统的学习pandas中，发现了它的强大。
PS. 还是先学好基础吧，感觉这些题目，对于目前的我来说还是有难度的，学习之路，未完待续……