Pandas的数据结构

1 Pandas介绍

• 2008年WesMcKinney开发出的库
• 专门用于数据挖掘的开源python库
• 以Numpy为基础，借力Numpy模块在计算方面性能高的优势
• 基于matplotlib，能够简便的画图
• 独特的数据结构

2 为什么使用Pandas

便捷的数据处理能力

对于数据的处理，如果没有pandas，那么可能python就在数据挖掘/机器学习领域领域落后于R

那么在说大数据可能我们可能会听过Hadoop和Spark，它们有的是基于集群的云端处理数据，如果数据只有几GB，甚至1~2TB，那么pandas也是处理数据的最好选择

回忆我们在numpy当中创建的股票涨跌幅数据形式？

# 创建一个符合正太分布的500个股票504天的涨跌幅数据
stock_day_rise = np.random.normal(0, 1, (500, 504))
array([[-1.47580291, -1.6171524 , -0.3065993 , ...,  0.33796194,
        -0.08529695,  0.4951836 ],
       [-0.15815135, -0.49150059, -0.90192837, ..., -0.58003107,
         0.06213526, -0.48994794],
       [ 0.09761985, -0.30173525, -2.01897218, ..., -1.34711536,
        -1.15597236, -0.6623075 ],
       ...,
       [-0.43274532, -1.01644526,  0.16935745, ..., -0.40709199,
         0.23301604, -0.43792918],
       [-0.57734276,  2.30413166,  1.29008026, ..., -0.54980277,
        -1.00555547,  1.79315772],
       [-1.47725321,  0.1392723 , -0.09880384, ...,  0.57230664,
        -0.75429618, -0.4396632 ]])

但是这样的数据形式很难看到存储的是什么的样的数据，并也很难获取相应的数据，比如需要获取某个指定股票的数据，就很难去获取！！

3 Pandas的数据结构

3.1 三大结构

Pandas有三大数据结构，Series、DataFrame以及Panel。

• Series(一维数据)
• DataFrame(二维数据)
• Panel(三维结构数据/面板数据)

注释：对于Panel，会很少使用，通常会使用MultiIndex这种结构解决三维数据表示问题

3.2 处理股票数据

# 使用Pandas中的数据结构
stock_day_rise = pd.DataFrame(stock_day_rise)

3.3 初识DataFrame

DataFrame对象既有行索引，又有列索引

• 行索引，表明不同行，横向索引，叫index，0轴，axis=0
• 列索引，表名不同列，纵向索引，叫columns，1轴，axis=1

3.4 给股票涨跌幅数据增加行列索引

效果：

• 增加行索引

#构造行索引索引序列
stock_code = ['股票' + str(i) for i in range(stock_day_rise.shape[0])]

# 添加行索引
data = pd.DataFrame(stock_day_rise, index=stock_code)

• 增加列索引

股票的日期是一个时间的序列，我们要实现从前往后的时间还要考虑每月的总天数等，不方便。

• 使用pd.date_range()：用于生成一组连续的时间序列

date_range(start=None,end=None, periods=None, freq='B')
    start:开始时间
    end:结束时间
    periods:时间天数
    freq:递进单位，默认1天,'B'默认略过周末

# 生成一个时间的序列，略过周末非交易日
date = pd.date_range('2017-01-01', periods=stock_day_rise.shape[1], freq='B')

# index代表行索引，columns代表列索引
data = pd.DataFrame(stock_day_rise, index=stock_index, columns=date)

3.5 DatatFrame的属性

常用属性：

• dtypes

data.dtypes

股票0      float64
股票1      float64
股票2      float64
股票3      float64
股票4      float64
Length: 5, dtype: object

• ndim

data.ndim

2

• shape：获取DataFrame的行列数

data.shape
# 结果
(10, 5)

• index：DataFrame的行索引列表

data.index

Index(['股票0', '股票1', '股票2', '股票3', '股票4', '股票5', '股票6', '股票7', '股票8', '股票9'], dtype='object')

• columns：DataFrame的列索引列表

data.columns

DatetimeIndex(['2017-01-02', '2017-01-03', '2017-01-04', '2017-01-05',
               '2017-01-06'],
              dtype='datetime64[ns]', freq='B')

• values：直接获取其中array的值

data.values

array([[-0.06544031, -1.30931491, -1.45451514,  0.57973008,  1.48602405],
       [-1.73216741, -0.83413717,  0.45861517, -0.80391793, -0.46878575],
       [ 0.21805567,  0.19901371,  0.7134683 ,  0.5484263 ,  0.38623412],
       [-0.42207879, -0.33702398,  0.42328531, -1.23079202,  1.32843773],
       [-1.72530711,  0.07591832, -1.91708358, -0.16535818,  1.07645091],
       [-0.81576845, -0.28675278,  1.20441981,  0.73365951, -0.06214496],
       [-0.98820861, -1.01815231, -0.95417342, -0.81538991,  0.50268175],
       [-0.10034128,  0.61196204, -0.06850331,  0.74738433,  0.143011  ],
       [ 1.00026175,  0.34241958, -2.2529711 ,  0.93921064,  1.14080312],
       [ 2.52064693,  1.55384756,  1.72252984,  0.61270132,  0.60888092]])

• T：转置

data.T

返回结果：

还有一些方便整体查询的属性：

• head(5)
• tail(5)

3.5 DatatFrame索引的设置

• 修改行列索引值

# 修改行列索引值
data.index[499] = "0000001.SH" # 无法修改

# 通过整体修改，不能单个赋值
data.index = ["股票_" + str(i) for i in range(stock_day_rise.shape[0])]

• 重设索引（drop：默认为False，不删除原来索引，如果为True，删除原来的索引值）

# 重置索引
data.reset_index(drop=True)

• 以某列值设置为新的索引 

df = pd.DataFrame({'month':[1,4,7,10], 'year':[1, 1, 2, 2], 'sale':[55, 40, 84, 31]})
# df.set_index(['month'])# 设置新的索引值，但是返回一个新的dataframe
df = df.set_index(['month'])
# 设置多重索引 MultiIndex的结构
df.set_index(['year', df.index])

# 打印df的索引
df.index

 设置新索引的案例

• 创建

df = pd.DataFrame({'month': [1, 4, 7, 10],
                    'year': [2012, 2014, 2013, 2014],
                    'sale':[55, 40, 84, 31]})

   month  sale  year
0  1      55    2012
1  4      40    2014
2  7      84    2013
3  10     31    2014

• 以月份设置新的索引

df.set_index('month')
       sale  year
month
1      55    2012
4      40    2014
7      84    2013
10     31    2014

• 设置多个索引，以年和月份

df = df.set_index(['year', 'month'])
            sale
year  month
2012  1     55
2014  4     40
2013  7     84
2014  10    31

• 查看索引 

df.index

MultiIndex(levels=[[2012, 2013, 2014], [1, 4, 7, 10]],
           labels=[[0, 2, 1, 2], [0, 1, 2, 3]],
           names=['year', 'month'])

注：通过刚才的设置，这样DataFrame就变成了一个具有MutiIndex的DataFrame。 

3.6 Series结构

什么是Series结构呢，我们直接看下面的图：

• series结构只有行索引

我们将之前的涨跌幅数据进行转置，然后获取'股票0'的所有数据

# series
type(data['股票0'])

# 这一步相当于是series去获取行索引的值
data['股票0']['2017-01-02']

3.7 创建series

通过已有数据创建

• 指定内容，默认索引

pd.Series(np.arange(10))

0    0
1    1
2    2
3    3
4    4
5    5
6    6
7    7
8    8
9    9
dtype: int32

• 指定索引

b = pd.Series([6.7, 5.6, 3, 10, 2], index=["a", "b", "c", "d", "e"])

a     6.7
b     5.6
c     3.0
d    10.0
e     2.0
dtype: float64

通过字典数据创建

c = pd.Series({'red': 100, 'blue': 200, 'green': 500, 'yellow': 1000})

blue       200
green      500
red        100
yellow    1000
dtype: int64

3.8 series获取属性和值

• index

c.index

Index(['blue', 'green', 'red', 'yellow'], dtype='object')

• values

c.values

[ 200  500  100 1000]

4 小结

pandas的三种数据结构

• 系列(Series) 数据帧(DataFrame) 面板(Panel) 

dataframe和series的区别与联系

• 区别：

series，只是一个一维数据结构，它由index和value组成。

dataframe，是一个二维结构，除了拥有index和value之外，还拥有column。

• 联系：

dataframe由多个series组成，无论是行还是列，单独拆分出来都是一个series。