欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

JAVA操作HDFS案例的简单实现

程序员文章站 2024-02-20 22:33:28
本文介绍了java操作hdfs案例的简单实现,分享给大家,也给自己做个笔记 jar包引入,pom.xml: ...

本文介绍了java操作hdfs案例的简单实现,分享给大家,也给自己做个笔记

jar包引入,pom.xml:

<dependency> 
 <groupid>org.apache.hadoop</groupid> 
 <artifactid>hadoop-common</artifactid> 
 <version>2.8.0</version> 
</dependency> 
<dependency> 
 <groupid>org.apache.hadoop</groupid> 
 <artifactid>hadoop-hdfs</artifactid> 
 <version>2.8.0</version> 
</dependency> 

将本地文件上传到hdfs服务器:

/** 
 * 上传文件到hdfs上 
 */ 
@test 
public void upload() throws ioexception { 
  configuration conf = new configuration(); 
  conf.set("fs.defaultfs","hdfs://hzq:9000"); 
  filesystem fs = filesystem.get(conf); 
  fs.copyfromlocalfile(new path("/home/hzq/jdk1.8.tar.gz"),new path("/demo")); 
} 

解析:

在开发中我没有引入“core-site.xml”配置文件,所以在本地调用时使用conf进行配置“conf.set("fs.defaultfs","hdfs://hzq:9000");“,下面雷同。

将hdfs上文件下载到本地:

/** 
 * 将hdfs上文件下载到本地 
 */ 
@test 
public void download() throws ioexception { 
  configuration conf = new configuration(); 
  conf.set("fs.defaultfs","hdfs://hzq:9000"); 
  filesystem fs = filesystem.newinstance(conf); 
  fs.copytolocalfile(new path("/java/jdk1.8.tar.gz"),new path("/home/hzq/")); 
} 

删除hdfs上指定文件:

/** 
 * 删除hdfs上的文件 
 * @throws ioexception 
 */ 
@test 
public void removefile() throws ioexception { 
  configuration conf = new configuration(); 
  conf.set("fs.defaultfs","hdfs://hzq:9000"); 
  filesystem fs = filesystem.newinstance(conf); 
  fs.delete(new path("/demo/jdk1.8.tar.gz"),true); 
} 

在hdfs上创建文件夹:

/** 
 * 在hdfs更目录下面创建test1文件夹 
 * @throws ioexception 
 */ 
@test 
public void mkdir() throws ioexception { 
  configuration conf = new configuration(); 
  conf.set("fs.defaultfs","hdfs://hzq:9000"); 
  filesystem fs = filesystem.newinstance(conf); 
  fs.mkdirs(new path("/test1")); 
} 

列出hdfs上所有的文件或文件夹:

@test 
  public void listfiles() throws ioexception { 
    configuration conf = new configuration(); 
    conf.set("fs.defaultfs","hdfs://hzq:9000"); 
    filesystem fs = filesystem.newinstance(conf); 
    // true 表示递归查找 false 不进行递归查找 
    remoteiterator<locatedfilestatus> iterator = fs.listfiles(new path("/"), true); 
    while (iterator.hasnext()){ 
      locatedfilestatus next = iterator.next(); 
      system.out.println(next.getpath()); 
    } 
    system.out.println("----------------------------------------------------------"); 
    filestatus[] filestatuses = fs.liststatus(new path("/")); 
    for (int i = 0; i < filestatuses.length; i++) { 
      filestatus filestatus = filestatuses[i]; 
      system.out.println(filestatus.getpath()); 
    } 
  } 

运行结果:

JAVA操作HDFS案例的简单实现                                    

结果分析:

“listfiles“列出的是hdfs上所有文件的路径,不包括文件夹。根据你的设置,支持递归查找。

  ”liststatus“列出的是所有的文件和文件夹,不支持递归查找。如许递归,需要自己实现。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。