欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Pandas读取数据、导出csv、消除重复、按值查询

程序员文章站 2022-05-09 15:13:45
...

1、首先读取数据

样本数据

Pandas读取数据、导出csv、消除重复、按值查询

import pandas as pd

path = '/data/a.csv'#读取数据
df = pd.read_csv(path, encoding='gbk',usecols=[0,4,6])#选取第1,5,7列
frame = pd.DataFrame(df)
print(frame)

输出
Pandas读取数据、导出csv、消除重复、按值查询

2、筛选数据(按列筛选)

df1 = frame[['Observation','Subject']]
print(df1)

Pandas读取数据、导出csv、消除重复、按值查询

3、消除重复(按列筛选)

(1)默认按所有属性消除重复

df2 = df1.drop_duplicates(subset=None, keep='first', inplace=False)
#subset是根据字段去除重复,多个字段就写成列表形式,默认是所有列
#keep first就是保留第一个,last就是最后
#inplace 默认为False,不直接进行修改
print(df2)

Pandas读取数据、导出csv、消除重复、按值查询

(2)指定某属性消除

df2 = df1.drop_duplicates(subset='Observation', keep='first', inplace=False)
print(df2)

Pandas读取数据、导出csv、消除重复、按值查询

3、将数据存为list

Pandas读取数据、导出csv、消除重复、按值查询
df2为上方图片

list1 = []
for item in df2['Observation']:
    list1.append(item)
print(list1)

Pandas读取数据、导出csv、消除重复、按值查询

4、按值查询

(1)单属性筛选

import pandas as pd

path = '/data/a.csv'#读取数据
df = pd.read_csv(path, encoding='gbk',usecols=[0,4,6])
frame = pd.DataFrame(df)
frame_2 = frame[(frame.Observation=='2018/1/22')]
print(frame_2)

Pandas读取数据、导出csv、消除重复、按值查询

(2)多属性筛选

frame_2 = frame[(frame.Observation=='2018/1/22')&(frame.Behavior2 =='C')]
print(frame_2)

Pandas读取数据、导出csv、消除重复、按值查询

5、导出数据,csv文件以逗号分隔

dataframe = pd.DataFrame({'Observation':list1,'Subject':list2,'Behavior2':list3})
dataframe.to_csv(path2,index=False,sep=',')
print("---------success---------")

看一下list1,2,3
Pandas读取数据、导出csv、消除重复、按值查询
导出的文件
Pandas读取数据、导出csv、消除重复、按值查询

相关标签: Python python csv