pandas快速处理Excel,替换Nan,转字典的操作

pandas读取excel

import pandas as pd
# 参数1：文件路径，参数2：sheet名
pf = pd.read_excel(path, sheet_name='sheet1')

删除指定列

# 通过列名删除指定列
pf.drop(['序号', '替代', '签名'], axis=1, inplace=true)

替换列名

# 旧列名 新列名对照
columns_map = {
    '列名1': 'newname_1',
    '列名2': 'newname_2',
    '列名3': 'newname_3',
    '列名4': 'newname_4',
    '列名5': 'newname_5',
    # 没有列名的情况
    'unnamed: 10': 'newname_6',
}
new_fields = list(columns_map.values())
pf.rename(columns=columns_map, inplace=true)
pf = pf[new_fields]

替换 nan

通常使用

pf.fillna('新值')

替换表格中的空值，（nan）。

但是，你可能会发现 fillna() 会有不好使的时候，记得加上 inplace=true

# 加上 inplace=true 表示修改原对象
pf.fillna('新值', inplace=true)

官方对 inplace 的解释

inplace : boolean, default false

if true, fill in place. note: this will modify any other views on this object, (e.g. a no-copy slice for a column in a dataframe).

全列输出不隐藏

你可能会发现，输出表格的时候会出现隐藏中间列的情况，只输出首列和尾列，中间用 … 替代。

加上下面的这句话，再打印的话，就会全列打印。

pd.set_option('display.max_columns', none)
print(pf)

将excel转换为字典

pf_dict = pf.to_dict(orient='records')

全部代码

import pandas as pd
pf = pd.read_excel(path, sheet_name='sheet1')
columns_map = {
    '列名1': 'newname_1',
    '列名2': 'newname_2',
    '列名3': 'newname_3',
    '列名4': 'newname_4',
    '列名5': 'newname_5',
    # 没有列名的情况
    'unnamed: 10': 'newname_6',
}
new_fields = list(columns_map.values())
pf.drop(['序号', '替代', '签名'], axis=1, inplace=true)
pf.rename(columns=columns_map, inplace=true)
pf = pf[new_fields]
pf.fillna('unknown', inplace=true)
# pd.set_option('display.max_columns', none)
# print(smt)
pf_dict = pf.to_dict(orient='records')

补充：python pandas replace 0替换成nan，bfill/ffill

0替换成nan

一般情况下，0 替换成nan会写成

df.replace(0, none, inplace=true)

然而替换不了，应该是这样的

df.replace(0, np.nan, inplace=true)

nan替换成前值后值

df.ffill(axis=0) # 用前一个值替换
df.bfill(axis=0) # 用后一个值替换

以上为个人经验，希望能给大家一个参考，也希望大家多多支持。如有错误或未考虑完全的地方，望不吝赐教。