统计小于20M的hdfs文件明细
程序员文章站
2022-04-10 23:52:55
...
统计HDFS文件数量大小,小于20M文件数量
- hadoop fs -du -h / # 统计文件大小
- hadoop fs -count / # 统计文件数量,返回的数据是目录个数,文件个数,文件总计大小,输入路径
- hadoop fs -ls -R /path/data | grep ^- > ~/data.txt #统计所有文件的信息,过滤文件夹,只统计文件.因为使用ls -l 之后,可以看到文件是”-“开头文件夹是”d”开头
再写个小python
import pandas as pd
path='/Desktop/data.txt'
df=pd.read_table(path,delim_whitespace=True,names=[1,2,3,4,5,6,7,8]) # 统计数据一共8列
print(len(df))
df1=df[df[5]<20971520] # 第五列是大小,取小于20M(换算成b)的文件数据
print(len(df1)) # 统计数量
上一篇: 鲜肉粽子的做法是怎么样呢?快来学一下吧
下一篇: 冰冻雪鱼怎么做好吃,教你几道烹饪方法