hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统
程序员文章站
2023-11-05 18:05:52
hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统...
第一步:首先搭建java的编译环境。创建一个java project工程,名为upload。
第二步:选中所需的jar包。
选中jre system library 选择buildpath configure build path 选择hadoop相应的jar包。
通过add external jars --〉hadoop-0.20.2下所有的jar包以及lib下所有的jar包。ok。操作步骤如图:
hadoop-0.20.2下所有的jar包。
lib下的所有jar包。
第三步:创建class名为uploadfile
第四步:编写代码。
代码如下:
第五步:在run configuration里面设置两个参数,并执行。
点击 run configuration
在java application中设置 project和mainclass
arguments 加两个参数/home/cui/xxxx hdf://cui:9000/xxx applay run
第六步:查看结果。
显示运行成功。
在hadoop文件系统中已经看到了hadoop-0.20.2.tar.gz了。
至此文件通过代码上传成功!
将代码打包成jar文件,并测试。
1. 在run configurations里面命名为uploadfile。
2. 右击工程,执行export,选择runnable jar file。点击下一步。
3. 选择刚才的configuration uploadfile,选择导出路径/home/cui。命名为upload.jar
点击下一步,导出成功。
4. 通过java命令执行。
5. 通过浏览器查看。
upload_hdfs.jar 已经存在。