[HDFS Manual] CH3 HDFS Commands Guide

HDFS Commands Guide

HDFS Commands Guide. 1

3.1概述... 1

3.2 用户命令... 1

3.2.1 classpath. 1

3.2.2 dfs. 1

3.2.3 envvars. 1

3.2.4 fetchdt. 1

3.2.5 fsck. 1

3.2.6 getconf. 1

3.2.7 groups. 1

3.2.8 httpfs. 1

3.2.9 lsSnapshottableDir. 1

3.2.10 jmxget. 1

3.2.11 oev. 1

3.2.12 oiv. 1

3.2.13 oiv_legacy. 1

3.2.14 snapshotDiff. 1

3.2.15 version. 1

3.3 管理命令... 1

3.3.1 balancer. 1

3.3.2 cacheadmin. 1

3.3.3 crypto. 1

3.3.4 datanode. 1

3.3.5 dfsadmin. 1

3.3.6 diskbalancer. 1

3.3.7 ec. 1

3.3.8 haadmin. 1

3.3.9 journalnode. 1

3.3.10 mover. 1

3.3.11 namenode. 1

3.3.12 nfs3. 1

3.3.13 portmap. 1

3.3.14 secondarynamenode. 1

3.3.15 storagepolicies. 1

3.3.16 zkfc. 1

3.4 Debug command. 1

3.4.1 verifyMeta. 1

3.4.2 computeMeta. 1

3.4.3 recoverLesse. 1

 

3.1概述

所有HDFS命令都是用hdfs调用。运行hdfs可以输出所有的命令。

语法：hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS]

Hadoop 有一些通用的选项：

COMMAND_OPTIONS	Description
SHELL_OPTIONS	Shell命令选项集合. 命令文档 Commands Manual
GENERIC_OPTIONS	支持多个命令的选项，haddoop命令文档 Commands Manual
COMMAND COMMAND_OPTIONS	这种命令及他们的选项，包括了 User Commands 和 Administration Commands

3.2 用户命令

用于用户hadoop cluster

3.2.1 classpath

语法：hdfs classpath [--glob |--jar <path> |-h |--help]

COMMAND_OPTION	Description
--glob	expand wildcards
--jar path	Classpath指向一个jar包
-h, --help	print help

打印classpath需要获取hadoop的jar包并且需要的lib。如果调用不带参数，会输出命令脚本setup的classpath，classpath包含了通配符。其他的选项打印classpath通配符扩展后的classpath，或者把classpath写入到jar包的manifest。

3.2.2 dfs

语法：hdfs dfs [COMMAND [COMMAND_OPTIONS]]

在hadoop支持的文件系统上，运行文件系统命令。各种COMMAND_OPTIONS可以在 File System Shell Guide 查看。

3.2.3 envvars

语法：hdfs envvars

输出hadoop环境变量

3.2.4 fetchdt

语法hdfs fetchdt <opts> <token_file_path>

COMMAND_OPTION	Description
--webservice NN_Url	连接到nn的url(starts with http or https)
--renewer name	刷新nameoftoken
--cancel	取消token
--renew	刷新token，token必须已经通过fetched–renewername获取
--print	打印token
token_file_path	保存token的路径

从namenode 获取token，具体查看：fetchdt

3.2.5 fsck

  hdfs fsck <path>

          [-list-corruptfileblocks |

          [-move | -delete | -openforwrite]

          [-files [-blocks [-locations | -racks | -replicaDetails | -upgradedomains]]]

          [-includeSnapshots] [-showprogress]

          [-storagepolicies] [-maintenance]

          [-blockId <blk_Id>]

COMMAND_OPTION	Description
path	开始检查这个路径
-delete	删除损坏的文件
-files	打印已经被检查的文件
-files -blocks	打印blockreport
-files -blocks -locations	打印每个block的位置
-files -blocks -racks	打印datanode位置的拓扑
-files -blocks -replicaDetails	打印每个副本的细节
-files -blocks -upgradedomains	打印每个block的upgradedomain
-includeSnapshots	如果path或者子目录表明了快照表目录，快照表目录包含了快照数据
-list-corruptfileblocks	打印丢失的块或者文件
-move	移动损坏的文件到/lost+found
-openforwrite	以写入方式打开的文件
-showprogress	Print out dots for progress in output. Default is OFF (no progress).
-storagepolicies	输出块的存储策略
-maintenance	输出维护的node状态细节
-blockId	输出块的信息

运行HDFS文件系统检查工具，具体查看： fsck

3.2.6 getconf

   hdfs getconf -namenodes

   hdfs getconf -secondaryNameNodes

   hdfs getconf -backupNodes

   hdfs getconf -includeFile

   hdfs getconf -excludeFile

   hdfs getconf -nnRpcAddresses

   hdfs getconf -confKey [key]

COMMAND_OPTION	Description
-namenodes	获取集群的namenodes
-secondaryNameNodes	获取集群的secondarynamenodes
-backupNodes	获取集群的backupnodes
-includeFile	允许Datanode join到集群的文件列表
-excludeFile	不允许datanodejoin到集群的文件列表
-nnRpcAddresses	namenode rpc 地址
-confKey [key]	从配置文件中获取指定的key

3.2.7 groups

hdfs groups [username ...]

返回给定用户或多个用户的group信息。

3.2.8 httpfs

hdfs httpfs

启动httpfs服务，HDFS HTTP网关

3.2.9 lsSnapshottableDir

hdfs lsSnapshottableDir [-help]

获取snapshottable目录。当以super user用户运行，会返回所有的snapshottable目录。否则范围属于该用户所有的目录。

3.2.10 jmxget

hdfs jmxget [-localVM ConnectorURL | -port port | -server mbeanserver | -service service]

COMMAND_OPTION	Description
-help	print help
-localVM ConnectorURL	connect to the VM on the same machine
-port mbean server port	specify mbean server port, if missing it will try to connect to MBean Server in the same VM
-server	specify mbean server (localhost by default)
-service NameNode|DataNode	specify jmx service. NameNode by default.

Dump 服务的jmx信息

3.2.11 oev

hdfs oev [OPTIONS] -i INPUT_FILE -o OUTPUT_FILE

输入：

COMMAND_OPTION	Description
-i,--inputFile arg	edits file to process, xml 后缀表示xml文件,任何其他文件名表示bianry文件
-o,--outputFile arg	输出的文件名. 如果文件已经存在，那么就会被覆盖，文件的格式由-p决定。

选项：

COMMAND_OPTION

Description

-f,--fix-txids

重新编号事务id，修复gap或者不可用的事务id

-h,--help

显示使用的信息并且退出

-r,

赞 (0)

打赏 微信扫一扫

相关文章:

• 

  Jquery实现控件的隐藏和显示实例

  Jquery实现控件的隐藏和显示代码如下: <!DOCTYPE html PUBLIC "-//W3C//DTD XH... [阅读全文]
• 

  MySQL日志管理

  MySQL日志管理 查询有关日志的变量：show global variables like '%log%' ; 特别提醒： 如果不... [阅读全文]
• 

  SQL Server将自己的查询结果作为待查询数据子列之二

  嵌套子查询是SQL语句中比较常用的一种查询方法，开发过程中遇到查询需要将自己的某列作为待查询的数据，在参考别人的SQL语句的写法终于实现了自己需要的... [阅读全文]
• 

  [20180316]为什么不使用INDEX FULL SCAN (MIN/MAX).txt

  [20180316]为什么不使用INDEX FULL SCAN (MIN/MAX).txt--//链接:http://www.itpub.net/t... [阅读全文]
• 

  Angularjs中图片等链接unsafe的问题解决

  angular对href是有安全检查的，只能生成它认为安全的链接，所以在我们加载绑定base64的图片或者一些tel,sml链接的时候，会报... [阅读全文]

版权声明：本文内容由互联网用户贡献，该文观点仅代表作者本人。本站仅提供信息存储服务，不拥有所有权，不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 [e-mail] 举报，一经查实将立刻删除。

发表评论

验证码：

最近更新的文章

• 使用JQuery快速实现Tab的AJAX动态载入(实例讲解)
• CentOS 7安装MariaDB 10详解以及相关配置
• Babel的快速入门教程
• mysql索引
• 前端模块化教程之CommonJS,AMD,CMD,ES6
• mongodb数据清理命令
• FastAdmin如何添加首字母大写功能？
• MySQL数据库索引简介
• 【MySQL学习】在RHEL7.3上使用yum安装MySQL5.7
• web前端之css美化操作实例

推荐阅读

'); (window.slotbydup = window.slotbydup || []).push({ id: "u5885079", container: s }); })();

大家感兴趣的文章

• 1 基于电影知识图谱的智能问答系统 --HanLP分词器
• 2 pyhton3解决"tuple parameter unpacking is not supported"问题
• 3 [LTR] RankLib.jar 包介绍
• 4 分享《Hadoop权威指南（第四版）》中文PDF+英文PDF+源代码
• 5 Python连接presto
• 6 ES 16 - 对Elasticsearch中的索引数据进行增删改查 (CRUD)
• 7 Mycat 连接 双击表 提示 1146-Table XXXX doesn‘t exist
• 8 全球疫情实时监控——约翰斯·霍普金斯大学数据大屏实现方案
• 9 Kettle使用心得汇总系列一
• 10 MapPartition和Map的区别

'); (window.slotbydup = window.slotbydup || []).push({ id: "u5885079", container: s }); })();

Copyright © 2017-2022  保留所有权利. 粤ICP备17035492号-1
站长QQ:2386932994 | 联系邮箱：[e-mail]