欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

程序员文章站 2023-12-03 23:01:28
hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统...

第一步:首先搭建java的编译环境。创建一个java project工程,名为upload。

hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

第二步:选中所需的jar包。
选中jre system library 选择buildpath configure build path 选择hadoop相应的jar包。
通过add external jars --〉hadoop-0.20.2下所有的jar包以及lib下所有的jar包。ok。操作步骤如图:

hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

hadoop-0.20.2下所有的jar包。

hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

lib下的所有jar包。

hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

第三步:创建class名为uploadfile

hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

第四步:编写代码。


代码如下:

hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

第五步:在run configuration里面设置两个参数,并执行。

hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

点击 run configuration

hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

在java application中设置 project和mainclass

hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

arguments 加两个参数/home/cui/xxxx hdf://cui:9000/xxx applay run

第六步:查看结果。

hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

显示运行成功。

hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

在hadoop文件系统中已经看到了hadoop-0.20.2.tar.gz了。

hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

至此文件通过代码上传成功!

将代码打包成jar文件,并测试。

1. hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统在run configurations里面命名为uploadfile。

2. 右击工程,执行export,选择runnable jar file。点击下一步。

hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

3. 选择刚才的configuration uploadfile,选择导出路径/home/cui。命名为upload.jarhadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

点击下一步,导出成功。

4. 通过java命令执行。

hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

5. 通过浏览器查看。

hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统

upload_hdfs.jar 已经存在。