Hadoop多Job并行处理的实例详解

hadoop多job并行处理的实例详解

有关hadoop多job任务并行处理，经过测试，配置如下：

首先做如下配置：

1、修改mapred-site.xml添加调度器配置：

<property>
 <name>mapred.jobtracker.taskscheduler</name>
 <value>org.apache.hadoop.mapred.fairscheduler</value>
</property>

2、添加jar文件地址配置：

<property>
 <name>hadooptest.jar</name>
 <value>所生成jar的地址</value>
</property>

java基本代码如下：

// 获取各个job，有关job的创建，这里就不贴上来了。
job job_base = (job) 。。。;
job job_avg = (job) 。。。;
job job_runcount = (job) 。。。;
job job_activeuser = (job) ....;


job_base.setjarbyclass(capusedatetimertask.class);
job_avg.setjarbyclass(capusedatetimertask.class);
job_runcount.setjarbyclass(capusedatetimertask.class);
job_activeuser.setjarbyclass(capusedatetimertask.class);


// 执行完job_base才开始并行以下三个job；
if (job_base.waitforcompletion(true)) {
fileutil.hdfsfilehandle(jobbase);


// 并行job
job_avg.submit();
job_runcount.submit();
job_activeuser.submit();
}

boolean bln1 = job_avg.iscomplete();
boolean bln2 = job_runcount.iscomplete();
boolean bln3 = job_activeuser.iscomplete();


// 计算job是否完成
while (!bln1 || !bln2 || !bln3) {
bln1 = job_avg.iscomplete();
bln2 = job_runcount.iscomplete();
bln3 = job_activeuser.iscomplete();
}

最后将这些代码组装至main方法，使用hadoop执行命令运行：

hadoop jar jar包名称  方法入口所在的类

如：

hadoop jar hadooptest.jar ch03.test test

可以通过50030端口来监控job的并行状态，这里就不多说了！！

解释：

1、配置jar地址可以解决打包所生成的jar包后，运行时出现classnotfound的问题；

2、给多个job设定setjarbyclass，经测试，如果不设定此类，运行时会出现classnotfound错误，其中capusedatetimertask为main方法所在的类名；

3、waitforcompletion与submit方法是有区别的，waitforcompletion是串行，而submit是并行，正是因为submit是并行所以后续的代码操作需要取其执行是否完成的状态来做判断处理即：iscomplete()；

4、以上job采用的是：org.apache.hadoop.mapreduce.job

以上代码操作在单机/集群上测试都通过！

如有疑问请留言或者到本站社区交流讨论，感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！