HDFS中JAVA API的使用
程序员文章站
2023-12-14 09:35:28
hdfs是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用java api对hdfs中的文件进行操...
hdfs是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用java api对hdfs中的文件进行操作的过程。
对分hdfs中的文件操作主要涉及一下几个类:
configuration类:该类的对象封转了客户端或者服务器的配置。
filesystem类:该类的对象是一个文件系统对象,可以用该对象的一些方法来对文件进行操作。filesystem fs = filesystem.get(conf);通过filesystem的静态方法get获得该对象。
fsdatainputstream和fsdataoutputstream:这两个类是hdfs中的输入输出流。分别通过filesystem的open方法和create方法获得。
具体如何对文件操作清下下面例子:
package com.hdfs; import java.io.fileinputstream; import java.io.ioexception; import java.io.inputstream; import org.apache.hadoop.conf.configuration; import org.apache.hadoop.fs.fsdataoutputstream; import org.apache.hadoop.fs.filestatus; import org.apache.hadoop.fs.filesystem; import org.apache.hadoop.fs.path; import org.apache.hadoop.io.ioutils; public class hdfstest { //创建新文件 public static void createfile(string dst , byte[] contents) throws ioexception{ configuration conf = new configuration(); filesystem fs = filesystem.get(conf); path dstpath = new path(dst); //目标路径 //打开一个输出流 fsdataoutputstream outputstream = fs.create(dstpath); outputstream.write(contents); outputstream.close(); fs.close(); system.out.println("文件创建成功!"); } //上传本地文件 public static void uploadfile(string src,string dst) throws ioexception{ configuration conf = new configuration(); filesystem fs = filesystem.get(conf); path srcpath = new path(src); //原路径 path dstpath = new path(dst); //目标路径 //调用文件系统的文件复制函数,前面参数是指是否删除原文件,true为删除,默认为false fs.copyfromlocalfile(false,srcpath, dstpath); //打印文件路径 system.out.println("upload to "+conf.get("fs.default.name")); system.out.println("------------list files------------"+"\n"); filestatus [] filestatus = fs.liststatus(dstpath); for (filestatus file : filestatus) { system.out.println(file.getpath()); } fs.close(); } //文件重命名 public static void rename(string oldname,string newname) throws ioexception{ configuration conf = new configuration(); filesystem fs = filesystem.get(conf); path oldpath = new path(oldname); path newpath = new path(newname); boolean isok = fs.rename(oldpath, newpath); if(isok){ system.out.println("rename ok!"); }else{ system.out.println("rename failure"); } fs.close(); } //删除文件 public static void delete(string filepath) throws ioexception{ configuration conf = new configuration(); filesystem fs = filesystem.get(conf); path path = new path(filepath); boolean isok = fs.deleteonexit(path); if(isok){ system.out.println("delete ok!"); }else{ system.out.println("delete failure"); } fs.close(); } //创建目录 public static void mkdir(string path) throws ioexception{ configuration conf = new configuration(); filesystem fs = filesystem.get(conf); path srcpath = new path(path); boolean isok = fs.mkdirs(srcpath); if(isok){ system.out.println("create dir ok!"); }else{ system.out.println("create dir failure"); } fs.close(); } //读取文件的内容 public static void readfile(string filepath) throws ioexception{ configuration conf = new configuration(); filesystem fs = filesystem.get(conf); path srcpath = new path(filepath); inputstream in = null; try { in = fs.open(srcpath); ioutils.copybytes(in, system.out, 4096, false); //复制到标准输出流 } finally { ioutils.closestream(in); } } public static void main(string[] args) throws ioexception { //测试上传文件 //uploadfile("d:\\c.txt", "/user/hadoop/test/"); //测试创建文件 /*byte[] contents = "hello world 世界你好\n".getbytes(); createfile("/user/hadoop/test1/d.txt",contents);*/ //测试重命名 //rename("/user/hadoop/test/d.txt", "/user/hadoop/test/dd.txt"); //测试删除文件 //delete("test/dd.txt"); //使用相对路径 //delete("test1"); //删除目录 //测试新建目录 //mkdir("test1"); //测试读取文件 readfile("test1/d.txt"); } }
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。