欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

统计小于20M的hdfs文件明细

程序员文章站 2022-04-10 23:52:55
...

统计HDFS文件数量大小,小于20M文件数量

  • hadoop fs -du -h / # 统计文件大小
  • hadoop fs -count / # 统计文件数量,返回的数据是目录个数,文件个数,文件总计大小,输入路径

  • hadoop fs -ls -R /path/data | grep ^- > ~/data.txt #统计所有文件的信息,过滤文件夹,只统计文件.因为使用ls -l 之后,可以看到文件是”-“开头文件夹是”d”开头

统计小于20M的hdfs文件明细

统计小于20M的hdfs文件明细

再写个小python

 import pandas as pd
path='/Desktop/data.txt'
df=pd.read_table(path,delim_whitespace=True,names=[1,2,3,4,5,6,7,8]) # 统计数据一共8列
print(len(df))
df1=df[df[5]<20971520] # 第五列是大小,取小于20M(换算成b)的文件数据
print(len(df1)) # 统计数量
相关标签: hdfs