欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

HDFS中JAVA API的使用

程序员文章站 2023-12-14 09:35:28
hdfs是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用java api对hdfs中的文件进行操...

hdfs是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用java api对hdfs中的文件进行操作的过程。

对分hdfs中的文件操作主要涉及一下几个类:

configuration类:该类的对象封转了客户端或者服务器的配置。

filesystem类:该类的对象是一个文件系统对象,可以用该对象的一些方法来对文件进行操作。filesystem fs = filesystem.get(conf);通过filesystem的静态方法get获得该对象。

fsdatainputstream和fsdataoutputstream:这两个类是hdfs中的输入输出流。分别通过filesystem的open方法和create方法获得。

具体如何对文件操作清下下面例子:

package com.hdfs;

import java.io.fileinputstream;
import java.io.ioexception;
import java.io.inputstream;

import org.apache.hadoop.conf.configuration;
import org.apache.hadoop.fs.fsdataoutputstream;
import org.apache.hadoop.fs.filestatus;
import org.apache.hadoop.fs.filesystem;
import org.apache.hadoop.fs.path;
import org.apache.hadoop.io.ioutils;

public class hdfstest {
  
  //创建新文件
  public static void createfile(string dst , byte[] contents) throws ioexception{
    configuration conf = new configuration();
    filesystem fs = filesystem.get(conf);
    path dstpath = new path(dst); //目标路径
    //打开一个输出流
    fsdataoutputstream outputstream = fs.create(dstpath);
    outputstream.write(contents);
    outputstream.close();
    fs.close();
    system.out.println("文件创建成功!");
  }
  
  //上传本地文件
  public static void uploadfile(string src,string dst) throws ioexception{
    configuration conf = new configuration();
    filesystem fs = filesystem.get(conf);
    path srcpath = new path(src); //原路径
    path dstpath = new path(dst); //目标路径
    //调用文件系统的文件复制函数,前面参数是指是否删除原文件,true为删除,默认为false
    fs.copyfromlocalfile(false,srcpath, dstpath);
    
    //打印文件路径
    system.out.println("upload to "+conf.get("fs.default.name"));
    system.out.println("------------list files------------"+"\n");
    filestatus [] filestatus = fs.liststatus(dstpath);
    for (filestatus file : filestatus) 
    {
      system.out.println(file.getpath());
    }
    fs.close();
  }
  
  //文件重命名
  public static void rename(string oldname,string newname) throws ioexception{
    configuration conf = new configuration();
    filesystem fs = filesystem.get(conf);
    path oldpath = new path(oldname);
    path newpath = new path(newname);
    boolean isok = fs.rename(oldpath, newpath);
    if(isok){
      system.out.println("rename ok!");
    }else{
      system.out.println("rename failure");
    }
    fs.close();
  }
  //删除文件
  public static void delete(string filepath) throws ioexception{
    configuration conf = new configuration();
    filesystem fs = filesystem.get(conf);
    path path = new path(filepath);
    boolean isok = fs.deleteonexit(path);
    if(isok){
      system.out.println("delete ok!");
    }else{
      system.out.println("delete failure");
    }
    fs.close();
  }
  
  //创建目录
  public static void mkdir(string path) throws ioexception{
    configuration conf = new configuration();
    filesystem fs = filesystem.get(conf);
    path srcpath = new path(path);
    boolean isok = fs.mkdirs(srcpath);
    if(isok){
      system.out.println("create dir ok!");
    }else{
      system.out.println("create dir failure");
    }
    fs.close();
  }
  
  //读取文件的内容
  public static void readfile(string filepath) throws ioexception{
    configuration conf = new configuration();
    filesystem fs = filesystem.get(conf);
    path srcpath = new path(filepath);
    inputstream in = null;
    try {
      in = fs.open(srcpath);
      ioutils.copybytes(in, system.out, 4096, false); //复制到标准输出流
    } finally {
      ioutils.closestream(in);
    }
  }
  
  
  public static void main(string[] args) throws ioexception {
    //测试上传文件
    //uploadfile("d:\\c.txt", "/user/hadoop/test/");
    //测试创建文件
    /*byte[] contents = "hello world 世界你好\n".getbytes();
    createfile("/user/hadoop/test1/d.txt",contents);*/
    //测试重命名
    //rename("/user/hadoop/test/d.txt", "/user/hadoop/test/dd.txt");
    //测试删除文件
    //delete("test/dd.txt"); //使用相对路径
    //delete("test1");  //删除目录
    //测试新建目录
    //mkdir("test1");
    //测试读取文件
    readfile("test1/d.txt");
  }

}

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。

上一篇:

下一篇: