欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

如何恢复hdfs中丢失的块

程序员文章站 2022-04-10 23:49:07
...

可以使用

 hdfs fsck /

确定哪些文件有问题。查看输出中是否有丢失或损坏的块(暂时忽略复制不足的块)。该命令特别冗长,尤其是在大型HDFS文件系统上,因此我通常会深入了解

 hdfs fsck / | egrep -v '^\.+$' | grep -v eplica

它忽略了只有点和线谈论复制的线。

 hdfs fsck /path/to/corrupt/file -locations -blocks -files

/path/to/corrupt/file是指
如何恢复hdfs中丢失的块
使用该输出来确定块可能位于何处。如果文件大于您的块大小,则可能有多个块。

确定发生了什么情况并且无法恢复任何更多块后,只需使用

  hdfs fs -rm /path

命令使您的HDFS文件系统恢复正常,以便您可以在发生新错误时开始跟踪它们。

相关标签: hdfs