欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

dataframe进行常用统计、分组统计平均绝对偏差等操作函数。

程序员文章站 2022-04-14 20:33:42
...

pandas在dataframe中提供了丰富的统计、合并、分组、缺失值等操作函数。

1.统计函数

df.count() #非空元素计算
df.min() #最小值
df.max() #最大值
df.idxmin() #最小值的位置,类似于R中的which.min函数
df.idxmax() #最大值的位置,类似于R中的which.max函数
df.quantile(0.1) #10%分位数
df.sum() #求和
df.mean() #均值
df.median() #中位数
df.mode() #众数
df.var() #方差
df.std() #标准差
df.mad() #平均绝对偏差
df.skew() #偏度
df.kurt() #峰度
df.describe() #一次性输出多个描述性统计指标

2.分组统计
依托group by
单列如:df.groupby(‘sex’).sum()
通过多个列进行分组形成一个层次索引,然后执行函数:df.groupby([‘sex’,’B’]).sum()

案例:

#!usr/bin/env python
#_*_ coding:utf-8 _*_

import pandas as pd
import pymysql

def get_data():
    conn=pymysql.connect(
                 host='192.168.1.xxx',
                 port=3306,
                 user='root',
                 passwd='xxx',
                 db='kmind',
                 charset='utf8'
             )
    sqldb="SELECT socre,review_star,review_author_id,review_author_level as count2 FROM source_mg_mfw_socre_ljon_01 WHERE\
            review_author_id IN (select review_author_id from (SELECT review_author_id,COUNT(*) AS count1 FROM\
            source_mg_mfw_socre_ljon_01 GROUP BY review_author_id HAVING count1>3)A)and socre!=' '"
    pd_data=pd.read_sql(sqldb,conn)
    pd_data["subtract"]=(pd_data["socre"]-pd_data["review_star"]*2)**2
    print(pd_data.head(5))
    #获取对应统计效果描述
    print(pd_data.groupby("review_author_id").mean().describe())
    print(pd_data.groupby("review_author_id").mad().describe())
    print(len(pd_data.loc[pd_data["subtract"]<0.983275]))
    print(pd_data.loc[pd_data["subtract"]<0.983275])


if __name__=="__main__":
    get_data()

对应的原始数据结构
dataframe进行常用统计、分组统计平均绝对偏差等操作函数。
对应的部分数据描述
dataframe进行常用统计、分组统计平均绝对偏差等操作函数。