python:pandas常用功能函数操作

程序员文章站 2022-03-11 16:08:31

一、安装pandas# 1、安装包$ pip install pandas# 2、进入python的交互式界面$ python -i# 3、使用Pandas>>> import pandas as pd>>> df = pd.DataFrame() >>> print(df)# 4、输出结果Empty DataFrameColumns: []Index: []......

一、安装pandas

创建虚拟环境：

#创建虚拟环境
mkvirtualenv -p python3 pandas_env
#进入虚拟环境
workon pandas_env

安装pandas

# 1、安装包
$ pip install pandas

测试

# 2、进入python的交互式界面
$ python -i

# 3、使用Pandas
>>> import pandas as pd
>>> df = pd.DataFrame() 
>>> print(df)

# 4、输出结果
Empty DataFrame
Columns: []
Index: []

安装处理excel的xlrd

pip install xlrd

使用pandas读取excel并打印

from pandas import pandas as pd
df = pd.read_excel("C:/Users/zixuan/Desktop/test.xlsx")
print(df)


输出：
   name  age class sex
0   wzx   25     c   g
1   lzq   24     c   m
2   jjj    5     c   m

excel内容如下：

python:pandas常用功能函数操作

二、数据结构

pandas的数据结构分为两种： Series（一维数据）与 DataFrame（二维数据）。

维数	名称	描述
1	Series	带标签的一维同构数组
2	DataFrame	带标签的，大小可变的，二维异构表格

Pandas 数据结构就像是低维数据的容器。比如，DataFrame 是 Series 的容器，Series 则是标量的容器。使用这种方式，可以在容器中以字典的形式插入或删除对象。

1.DataFrame

在DataFrame中，index是行，columns是列。如上面的例子中，pandas会将第一行的数据当作表头，即列名。从第二行开始，以0为起始，作为DF的行。

DataFrame 的每一列都是一个Series。如：

for col in df.columns:
    series = df[col]
    print(series)

输出：
0    wzx
1    lzq
2    jjj
Name: name, dtype: object
0    25
1    24
2     5
Name: age, dtype: int64
0    c
1    c
2    c
Name: class, dtype: object
0    g
1    m
2    m
Name: sex, dtype: object

Pandas 所有数据结构的值都是可变的，但数据结构的大小并非都是可变的，比如，Series 的长度不可改变，但 DataFrame 里就可以插入列。

Pandas 里，绝大多数方法都不改变原始的输入数据，而是复制数据，生成新的对象。一般来说，原始输入数据不变更稳妥。

三、DF的操作

一、属性

1.将df转换成数组

df.values

输出：
[['wzx' 25 'c' 'g']
 ['lzq' 24 'c' 'm']
 ['jjj' 5 'c' 'm']]

2.查看所有列名

for col in df.columns:
    print(col)

输出：
name
age
class
sex

3.查看所有索引

for index in df.index:
    print(index)

输出:
0
1
2

4.查看df的形状

df.shape

输出：
(3, 4)

#三行四列，在excel中是四行四列，但第一行在pandas中被视为表头

5.查看df的大小

df.size

输出：
12

#即一共有12个单元格

6.查看每列的数据类型

df.dtypes

输出：
name     object
age       int64
class    object
sex      object
dtype: object

二、行列操作和切片

1.指定某一列作为索引

#将第一列name设置为索引
df.set_index('name',inplace=True)

print(df.index)

输出：
Index(['wzx', 'lzq', 'jjj'], dtype='object', name='name')

2.取指定列的数据

#查看age列
df['age']
#或
df.age

输出：
name
wzx    25
lzq    24
jjj     5
Name: age, dtype: int64

3.取指定行数据（使用loc）

#取索引为wzx的行
df.loc['wzx']

输出：
age      25
class     c
sex       g
Name: wzx, dtype: object

#取多行数据（索引为wzx lzq），可将多个索引以列表方式传入
df.loc[['wzx','lzq']]

输出：
      age class sex
name               
wzx    25     c   g
lzq    24     c   m

4.取指定行的指定列的数据（即某单元格的数据）

#取索引为wzx的age
df.loc['wzx','age']

输出：
25


#取索引为wzx lzq的age class
df.loc[['wzx','lzq'],['age','class']]

输出：
      age class
name           
wzx    25     c
lzq    24     c

注意：loc可传入两个参数，第一个参数作为索引，第二个参数作为列名。如果不传第二个参数，则默认取所有列。

如：

取某个索引的某个列的例子中，字符串'wzx'作为第一个参数，字符串'age'作为第二个参数。
取多个索引的多个列的例子中，数组['wzx','lzq']作为第一个参数，数组['age','class']作为第二个参数。

5.行切片

#取wzx开始到jjj结束的所有行
df.loc['wzx':'jjj']

输出：
      age class sex
name               
wzx    25     c   g
lzq    24     c   m
jjj     5     c   m

6.列切片

#取age开始到sex结束的所有列
for col in df['age':'sex']:
    series = df[col]
    print(series)
    print(col)

输出：
name
wzx    25
lzq    24
jjj     5
Name: age, dtype: int64
age
name
wzx    c
lzq    c
jjj    c
Name: class, dtype: object
class
name
wzx    g
lzq    m
jjj    m
Name: sex, dtype: object
sex

7.按行号取行

#取第0行和第2行数据
df.iloc[[0,2]]

输出：
      age class sex
name               
wzx    25     c   g
jjj     5     c   m

#从第0行起，取3行数据
df.iloc[0:3]

输出：
      age class sex
name               
wzx    25     c   g
lzq    24     c   m
jjj     5     c   m


#取从第0行起，取3行数据的第1、2列
df.iloc[0:3,[1,2]]

输出：
     class sex
name          
wzx      c   g
lzq      c   m
jjj      c   m

8.转换成数组后取数据

#转换成数组，取数组中第0行第0列数据
df.values[0,0]

输出:
25

9.运算取索引

#取符合条件的索引（age=24的索引）
df.age==24

输出;
name
wzx    False
lzq     True
jjj    False
Name: age, dtype: bool


#取符合条件的索引的所有数据
df[df.age==24]

输出：
      age class sex
name               
lzq    24     c   m

10.对某列判空

#判断某列是否全为空
df['age'].isnull().all() 



#判断某列是否含有空值
df['age'].isnull().any()

三、数据修改

1.修改某单元格的值

#将索引为wzx行的age修改为18
df.loc["wzx","age"] = 18
print(df.loc["wzx"])

输出：
age      18
class     c
sex       g
Name: wzx, dtype: object

2.添加一列

#1.创建Series，传入一个列表表示这列的值，还可以指定索引，列表的长度需要等于索引个数
s1 = pd.Series([1, 2, 3],index=df.index)
print(s1)

输出：
name
wzx    1
lzq    2
jjj    3
dtype: int64

#2.插入df，即指定df的某列为这个Series，如这个Series为df的id列
df["id"]=s1
print(df)

输出：
      age class sex  id
name                   
wzx    25     c   g   1
lzq    24     c   m   2
jjj     5     c   m   3

3.添加一行

方法一：插入Series

#1.创建Series，传入一个列表表示这列的值，还可以指定索引，列表的长度需要等于索引个数
#创建Series可使用name参数指定Series的索引，如果不指定，也可以在插入df时指定
s1 = pd.Series([1, "c","m"],df.columns)
print(s1)

输出：
age      1
class    c
sex      m
dtype: object

#2.插入df，此时指定索引为xiaoxiao
df.loc["xiaoxiao"] = s1
print(df)

输出：
      age class sex  id
name                   
wzx    25     c   g   1
lzq    24     c   m   2
jjj     5     c   m   3

方法二:使用append方法插入

#1.创建Series，传入一个列表表示这列的值，还可以指定索引，列表的长度需要等于索引个数
#创建Series使用name参数指定索引，如果指定了name，则在调用append方法时，则不能忽略索引，即ignore_index=False
s1 = pd.Series([1, "c","m"],index=["age","class","sex"],name="xiaoxiao")
df = df.append(s1,ignore_index=False)
print(df)

输出：
          age class sex
name                   
wzx        25     c   g
lzq        24     c   m
jjj         5     c   m
xiaoxiao    1     c   m

四、合并

1.concat垂直合并两个df

类似sql中的union all，但是两个df的结构（字段数量）可以不一致。如：

#1.创建两个相同的df
df1 = pd.read_excel(fileName , sheet_name=sheetName)
df2 = pd.read_excel(fileName , sheet_name=sheetName)
df1.set_index('name',inplace=True)
df2.set_index('name',inplace=True)

两个df内容相同：
      age class sex
name               
wzx    25     c   g
lzq    24     c   m
jjj     5     c   m


#给df1添加一列
s1 = pd.Series([1, 2, 3],index=df.index)
df1["id"]=s1

#合并df1和df2
df = pd.concat([df1,df2])
print(df)

输出：
      age class sex   id
name                    
wzx    25     c   g  1.0
lzq    24     c   m  2.0
jjj     5     c   m  3.0
wzx    25     c   g  NaN
lzq    24     c   m  NaN
jjj     5     c   m  NaN

2.concat水平合并两个df

水平合并只需要在调用concat时指定axis=1即可。相当于sql的join，会将索引一致的数据合并在一起。

如df2中没有索引为xiaoxiao的数据，则合并后，索引xiaoxiao的那行数据只有df1的值。

同样创建两个内容相同的df：
      age class sex
name               
wzx    25     c   g
lzq    24     c   m
jjj     5     c   m

#给df1添加一行
s1 = pd.Series([1, "c","m"],index=["age","class","sex"],name="xiaoxiao")
df1 = df1.append(s1,ignore_index=False)

输出：
          age class sex
name                   
wzx        25     c   g
lzq        24     c   m
jjj         5     c   m
xiaoxiao    1     c   m

#水平合并
df = pd.concat([df1,df2],axis=1)
print(df)

输出：
          age class sex   age class  sex
wzx        25     c   g  25.0     c    g
lzq        24     c   m  24.0     c    m
jjj         5     c   m   5.0     c    m
xiaoxiao    1     c   m   NaN   NaN  NaN

3.使用merge合并

merge合并时，也类似于sql的join。并且可以指定join方式，要睡觉不写了。。。具体参考官网：df的merge

本文地址：https://blog.csdn.net/x950913/article/details/108716122

python:pandas常用功能函数操作

一、安装pandas

二、数据结构

1.DataFrame

三、DF的操作

一、属性

1.将df转换成数组

2.查看所有列名

3.查看所有索引

4.查看df的形状

5.查看df的大小

6.查看每列的数据类型

二、行列操作和切片

1.指定某一列作为索引

2.取指定列的数据

3.取指定行数据（使用loc）

4.取指定行的指定列的数据（即某单元格的数据）

5.行切片

6.列切片

7.按行号取行

8.转换成数组后取数据

9.运算取索引

10.对某列判空

三、数据修改

1.修改某单元格的值

2.添加一列

3.添加一行

四、合并

1.concat垂直合并两个df

2.concat水平合并两个df

3.使用merge合并

python中set常用操作汇总

Python中functools模块的常用函数解析

Python操作RabbitMQ服务器实现消息队列的路由功能

python基础知识（安装、数据类型、list列表、字典、函数、类、继承、文件操作）

Python3.4学习笔记之常用操作符,条件分支和循环用法示例

Python enumerate函数功能与用法示例

python pandas dataframe 行列选择,切片操作方法

Windows下Python使用Pandas模块操作Excel文件的教程

整理Python 常用string函数(收藏)

Python 常用string函数详解