hadoop HDFS 学习笔记

一.分布式文件系统与HDFS

Hadoop分布式文件系统（HDFS）被设计成适合运行在通用硬件上的分布式文件系统。

简单点来说就是将大量的数据仍放在HDFS中来存储，然后采用Map Reduce 进行数据的处理。

下面来介绍HDFS 的具体操作样式：

大量的数据必须分割相同大小的block(64MB),接着向Name Node 发送存放数据的请求。

为了保证在一个节点丢失后，block数据不丢失，通常采用了分割式存储方式。一块block 存放在client中，另外两块存放在不同的节点中。

依次访问各个节点，询问是否有没有准备好，最后发送返回请求给Name Node.

一 但所有的节点都准备好了，就可以进行流式写入。

一旦各个节点写完后，都会给Name Node 节点说我写完Block 了，最后Node1节点会给Client说我写成功了，Client会把成功的信息发送给Name Node.

二.简要介绍下HDFS fs 命令

-help [cmd]     //显示命令的帮助信息
-ls(r) <path>       //显示当前目录下所有文件
-du(s) <path>   //显示目录中所有文件大小
-count[-q] <path>   //显示目录中文件数量

-help [cmd]     //显示命令的帮助信息
-ls(r) <path>       //显示当前目录下所有文件
-du(s) <path>   //显示目录中所有文件大小
-count[-q] <path>   //显示目录中文件数量
-mv <src> <dst> //移动多个文件到目标目录
-cp  <src> <dst>    //复制多个文件到目标目录
-rm(r)      //删除文件(夹)
-put <localsrc> <dst>   //本地文件复制到hdfs
-copyFromLocal  //同put
-moveFromLocal  //从本地文件移动到hdfs
-get [-ignoreCrc] <src> <localdst>  //复制文件到本地，可以忽略crc校验
-getmerge <src> <localdst>      //将源目录中的所有文件排序合并到一个文件中
-cat <src>  //在终端显示文件内容
-text <src> //在终端显示文件内容
-copyToLocal [-ignoreCrc] <src> <localdst>  //复制到本地
-moveToLocal <src> <localdst>
-mkdir <path>   //创建文件夹
-touchz <path>  //创建一个空文件

简单的HDFS 的Shell命令操作

hadoop fs -ls /  查看HDFS根目录

hadoop fs -mkdir /test 在根目录创建一个目录test

hadoop fs -put  ./test.txt  /test　
或者
hadoop fs -copyFromLocal  ./test.txt  /test

hadoop fs -get  /test/test.txt  .
或者
hadoop fs -getToLocal  /test/test.txt   .

hadoop fs -cp /test/test.txt /test1

hadoop fs -rm /test1/test.txt

hadoop fs -mv /test/test.txt /test1

hadoop fs -rmr /test1   

hadoop fs -get /test/test.txt //判断文件是否存在

hadoop fs -cat  /test/test.txt //查看test.txt文件中信息