大数据_07 【hadoop HDFS的shell命令操作】

大数据_07 【hadoop HDFS的shell命令操作】

01 基本语法

基本语法 bin/hdfs dfs 具体命令

02 常用普通命令实操

HDFS文件夹的增删改查
		上传	hadoop  fs  -mkdir   /aa
		修改	hadoop  fs  -mv  /aa   /bb
		删除	hdfs  dfs  -rmr  /bb
		查询	hdfs  dfs  -ls   /
		
HDFS文件的增删改查
		上传	hadoop  fs  -put   abc.txt  /
		修改	hadoop  fs  -mv  /abc.txt    /abcdef.txt
		删除	hdfs  dfs  -rmr  /abcdef.txt
		查询	hdfs  dfs  -cat    /abcdef.txt

03 HDFS常用高级命令

1、	文件夹内文件数量限制
	a)	设置数量：hdfs   dfsadmin   -setQuota   2   /aa
	b)	取消设置：hdfs   dfsadmin   -clrQuota    /aa
2、	文件夹内存储空间大小限制
	a)	设置大小：hdfs 	dfsadmin 	-setSpaceQuota 	100M 	/aa
	b)	取消设置：hdfs 	dfsadmin 	-clrSpaceQuota	 /aa
3、	进入退出安全模式
	a)	查看状态：hdfs  dfsadmin 	-safemode  get
	b)	进入安全模式：	hdfs  dfsadmin 	-safemode  enter
c)	退出安全模式：	hdfs  dfsadmin 	-safemode  leave

04 HDFS适用场景

1、	海量数据存储
2、	高容错
3、	商用廉价的硬件
4、	存储大文件
5、	一次写入多次读取

05 HDFS不适用场景

1、	查询时效性要求低延迟的场景
2、	大量小文件。
3、	需要频繁修改数据的场景
4、	多个用户同时操作一个文件

06 hdfs的安全模式

安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，当整个系统达到安全标准时，HDFS自动离开安全模式。

如果HDFS处于安全模式下，则文件block不能进行任何的副本复制操作，因此达到最小的副本数量要求是基于datanode启动时的状态来判定的，启动时不会再做任何复制（从而达到最小副本数量要求），hdfs集群刚启动的时候，默认30S钟的时间是处于安全期的，只有过了30S之后，集群脱离了安全期，然后才可以对集群进行操作

hdfs dfsadmin -safemode