欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

云计算中hadoop的简单使用方法

程序员文章站 2022-07-05 22:31:27
我们在前面搭建好hadoop后,接下来就要使用该hadoop了,但是在hadoop下面什么都没有,连根目录都没有,这都要我们来创建。 首先使用 hadoop fs -mkdir -p /u...

我们在前面搭建好hadoop后,接下来就要使用该hadoop了,但是在hadoop下面什么都没有,连根目录都没有,这都要我们来创建。

首先使用

hadoop fs -mkdir -p /user/gscsd

云计算中hadoop的简单使用方法

我们在这里使用-p是逐步创建,先创建根目录/,然后在创建user目录,user目录下又创建了gscsd目录

我们来查看下,看到以下这个就说明我们已经创建好目录了

云计算中hadoop的简单使用方法

然后我们再接着上传个文件,这个data1.txt是在我当前这个目录下的,所以可以直接写文件名上传,上传时要写明上传到哪个目录下,它会有默认的路径,就是我们刚刚新建的那个,不过为了谨慎,最好写下上传路径

云计算中hadoop的简单使用方法

我们来看下上传的文件

云计算中hadoop的简单使用方法

我们在这里就可以看到我们上传的文件了,当然也可在网页中查看

我们在网页的路径中输入我们的主机名和我们设置好的端口,我这里是输 python2:50070,输入好后我们就来点击用箭头指向的地方

云计算中hadoop的简单使用方法

选中第一个项目

云计算中hadoop的简单使用方法

这里就会看到我们新建的目录,我们新建的是/user/gscsd,而且上传的文件也在该目录下,所以我们点击进入到这个目录中去

云计算中hadoop的简单使用方法

进入到这个目录后,右下角是我们当前的目录,左上角是我们当前的路径

云计算中hadoop的简单使用方法

点击进去gscsd目录后,就会看到我们上传的文件

云计算中hadoop的简单使用方法

我们一般在shell下常用的hadoop命令:

put : 将本地文件上传至hdfs

列:hadoop fs -put data1.txt 路径

ls : 查看hdfs上的信息

列: hadoop fs -ls 路径

mkdir: 在hdfs上创建目录

列:hadoop fs -mkdir -p 目录名称

加-p是为了创建多级目录

get: 将hdfs上的文件下载到本地

列:hadoop fs -get 文件

如果要下载到指定目录的话,那我们要在文件后面加个路径。