python工具集pandas处理数据使用介绍

最近在处理数据的时候了解了一个超好用的工具集pandas，这篇笔记是对在pandas中用到的内容进行记录，防止遗忘。

1.学习背景

已有的分类数据集存在样本不均衡的情况，对数据集进行处理。

2.做测试集

1. 打开.csv文件

filename_list = pd.read_csv('path', header=None)[0] 

注：这里的路径要写到要打开的文件名。

2. 看该文件中数据的行数

print(len(filename_list)) 

3. 提取数据做成DataFrame形式，为后续筛选做准备

labels = [] for i in tqdm(filename_list): t = re.findall(r"\d+\.?\d*", i) labels.append(t) temp = np.array(labels) df = pd.DataFrame(temp, columns=["A", "B", "C", "D"]) 

4. 筛选符合条件的数据

df_sub1 = filename_list[df['A'] == '1'] 

5. 将符合条件的数据写入文件

# 1. 创建文件对象 f = open('test.csv', 'w', encoding='utf-8', newline='') # 2. 基于文件对象构建 csv写入对象 csv_writer = csv.writer(f) # 4. 写入csv文件内容 for j in df_sub1.values: csv_writer.writerow([j]) # 5. 关闭文件 f.close() 

3.做训练集

注：
1. 这1步用的方法比较笨，没有找到两个.csv文件相减的方法，后面如果有时间需要做一做。（这里是逐渐挑选判断+两个DataFrame融合的方法）
2. 采样目前用的是随机抽取，简单粗暴的让每个类别基础数据相等的方法。后面有时间可以学习下SMOTE算法（在数据没有这么多的情况下，增加数量少的那一种样本）+基于DataFrame数据集分割的欠采样（用不同的数据训练多次，最终取参数的平均值）。

1. 采样

pdtys2 = pdty2.sample(n=40000) 

2. 融合（合并）

df_subtest = pd.merge(df_sub5, df_sub10, how="outer") train1 = pd.concat([df_sub1,df_sub2,df_sub3, ], axis=0) 

注：1.pd.merge（）2.pd.concat（）对象数量和结果有区别，建议两个进行融合选择merge。 

本文地址：https://blog.csdn.net/Y2398Y/article/details/108870550