9.4 使用java操作hadoop

操作前准备

1、新建maven项目
2、引入jar包

<!-- 引入hadoop-common Jar包 -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>2.6.0</version>
    </dependency>
    <!-- 引入hadoop-hdfs Jar包 -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>2.6.0</version>
    </dependency>
    <!-- 引入hadoop-core Jar包 -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-core</artifactId>
      <version>1.2.0</version>
    </dependency>

java与hadoop交互

1、Configuration cfg = new Confifuration();
2、cfg.set("fs.defaultFS","hdfs://ip地址:9000");
3、获取文件系统：FileSystem fs = FileSystem.get(cfg);
1~3、FileSystem fs = FileSystem(new URI("hdfs9000"),new Configuration(),"root");
4、获取hdfs路径对应的流：
FSDataInputStream fsis = fs.open("hdfs上的文件路径");
5、查看流

注：如果只是进行上述的操作控制台输出会抛异常（本操作的执行地址是在虚拟机上安装hadoop），因为本地并未安装hadoop，所以要解决这一问题需要对本地进行配置

本地hadoop配置

1、在windows安装hadoop
2、把hadoop-bin.rar中的内容解压在hadoop的bin目录下
3、把hadoop.dll放到C:\Windows\System32\ 目录下
4、配置hadoop环境变量HADOOP_HOME和PATH变量中分别加入%HADOOP_HOME\bin和%HADOOP_HOME\sbin

使用hadoop jar执行java的jar包

1、编写测试完成
2、打jar包时把main方法指定
3、编译生成jar包，把jar包上传至linux
4、hadoop jar jar包路径 main方法类的路径 参数列表

TestHDFS类：

package cn.kgc.kb09.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.FileOutputStream;
import java.io.InputStream;
import java.net.URI;

/**
 * @Author Daniu_Ben
 * @Date 2020/9/4
 * @Description
 */
public class TestHDFS {
    public static void main(String[] args) throws Exception{
//        System.setProperty("hadoop.home.dir", "E:\\softs\\hadoop-2.6.0-cdh5.14.2");
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS","hdfs://192.168.126.101:9000");

//        FileSystem fs = FileSystem.get(conf); //这与下一条语句只能存在一个，由于未指定用户所以在执行上传文件是没有权限，所以使用下一条语句进行用户指定
        FileSystem fs = FileSystem.get(new URI("hdfs://192.168.126.101:9000"),new Configuration(),"root");

//        InputStream is = fs.open(new Path(args[0]));
//        FileOutputStream fos = new FileOutputStream(args[1]);
//        fs.copyToLocalFile(new Path(args[0]),new Path(args[1]));
//        fs.copyFromLocalFile(new Path(args[1]),new Path(args[0]));
//        fs.mkdirs(new Path("/hello/nihoa/feichanghao"));
        fs.deleteOnExit(new Path("/hello"));
//        int tmp;
//        while((tmp = is.read()) != -1){
            System.out.print((char)tmp);
//            fos.write(tmp);
//        }
//        fos.close();
//        is.close();
    }
}

语句中的args[0]和args[1]指的是传入的参数，参数设置如图所示：

所需的资料下载：链接：https://pan.baidu.com/s/1bn_Cu2Kr1CwP3y-zrQzfBw
提取码：vtbv