JAVA操作HDFS案例的简单实现
程序员文章站
2024-02-09 21:15:10
本文介绍了java操作hdfs案例的简单实现,分享给大家,也给自己做个笔记
jar包引入,pom.xml:
...
本文介绍了java操作hdfs案例的简单实现,分享给大家,也给自己做个笔记
jar包引入,pom.xml:
<dependency> <groupid>org.apache.hadoop</groupid> <artifactid>hadoop-common</artifactid> <version>2.8.0</version> </dependency> <dependency> <groupid>org.apache.hadoop</groupid> <artifactid>hadoop-hdfs</artifactid> <version>2.8.0</version> </dependency>
将本地文件上传到hdfs服务器:
/** * 上传文件到hdfs上 */ @test public void upload() throws ioexception { configuration conf = new configuration(); conf.set("fs.defaultfs","hdfs://hzq:9000"); filesystem fs = filesystem.get(conf); fs.copyfromlocalfile(new path("/home/hzq/jdk1.8.tar.gz"),new path("/demo")); }
解析:
在开发中我没有引入“core-site.xml”配置文件,所以在本地调用时使用conf进行配置“conf.set("fs.defaultfs","hdfs://hzq:9000");“,下面雷同。
将hdfs上文件下载到本地:
/** * 将hdfs上文件下载到本地 */ @test public void download() throws ioexception { configuration conf = new configuration(); conf.set("fs.defaultfs","hdfs://hzq:9000"); filesystem fs = filesystem.newinstance(conf); fs.copytolocalfile(new path("/java/jdk1.8.tar.gz"),new path("/home/hzq/")); }
删除hdfs上指定文件:
/** * 删除hdfs上的文件 * @throws ioexception */ @test public void removefile() throws ioexception { configuration conf = new configuration(); conf.set("fs.defaultfs","hdfs://hzq:9000"); filesystem fs = filesystem.newinstance(conf); fs.delete(new path("/demo/jdk1.8.tar.gz"),true); }
在hdfs上创建文件夹:
/** * 在hdfs更目录下面创建test1文件夹 * @throws ioexception */ @test public void mkdir() throws ioexception { configuration conf = new configuration(); conf.set("fs.defaultfs","hdfs://hzq:9000"); filesystem fs = filesystem.newinstance(conf); fs.mkdirs(new path("/test1")); }
列出hdfs上所有的文件或文件夹:
@test public void listfiles() throws ioexception { configuration conf = new configuration(); conf.set("fs.defaultfs","hdfs://hzq:9000"); filesystem fs = filesystem.newinstance(conf); // true 表示递归查找 false 不进行递归查找 remoteiterator<locatedfilestatus> iterator = fs.listfiles(new path("/"), true); while (iterator.hasnext()){ locatedfilestatus next = iterator.next(); system.out.println(next.getpath()); } system.out.println("----------------------------------------------------------"); filestatus[] filestatuses = fs.liststatus(new path("/")); for (int i = 0; i < filestatuses.length; i++) { filestatus filestatus = filestatuses[i]; system.out.println(filestatus.getpath()); } }
运行结果:
结果分析:
“listfiles“列出的是hdfs上所有文件的路径,不包括文件夹。根据你的设置,支持递归查找。
”liststatus“列出的是所有的文件和文件夹,不支持递归查找。如许递归,需要自己实现。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
推荐阅读
-
JavaScript基于DOM操作实现简单的数学运算功能示例
-
基于php和mysql的简单的dao类实现crud操作功能_PHP教程
-
java实现一个简单的Web服务器实例解析
-
定义两个接口,其中各包括一个抽象方法分别用来完成两个数的加法和减法操作,然后创建一个类KY6_3来实现这两个接口中的抽象方法。编写程序KY6_3.java,将源程序写在实验报告中。
-
java学习之Swing篇(三)——简单画板的实现v1.0
-
jsp jquery实现级联菜单,jquery对select元素的简单操作
-
C++之操作符重载及实现简单的复数类Complex
-
Java控制台简单“计算器”的实现
-
Java 装饰者(Decorator)模式的实现案例
-
Ajax商品分类三级联动的简单实现(案例)