Oozie 自动retry和跳节点运行
对于一些Job,可能是由于临时的环境依赖关系,导致的调度失败。
比如说调用远程的WebService接口,Restful接口等。
或者是同步远程数据发生网络异常,这种情况,应该予以自动重跑。
在Oozie下面,是支持这样的操作的:
<workflow-app xmlns="uri:oozie:workflow:0.3" name="wf-name"> <action name="a" retry-max="3" retry-interval="1"> </action>
注意,这里的schema版本是0.3
retry-max 是最大尝试的次数,但是oozie本身有个最大可尝试的限额,以oozie本身的配置为主。
另外,
retry-interval 是每次尝试间隔的时间,单位是分钟,例子上面是失败后每1分钟尝试一次。
这里甚至可以配置Error Code,就是满足一定的错误条件才会进行自动重试。这里略过。
详情:http://oozie.apache.org/docs/3.1.3-incubating/DG_WorkflowReRun.html
----------分割线-------------------
oozie 的Coordinator里面,会产生很多的Action。
这些Action的本质,其实是一个workflow。
点开这些Action,在job id 上面可以找到对应的workflow。
使用这些workflow,就可以对现有的action进行按节点重跑。
#rerun workflow 必须指定 [oozie.wf.rerun.skip.nodes (逗号分隔符) OR oozie.wf.rerun.failnodes (true或false)] oozie job -oozie http://xxxx:8080/oozie -config ./eshop_full2.properties -rerun 0000011-131209095421299-oozie-oozi-W -doas hduser -D oozie.wf.rerun.failnodes=false -D oozie.coord.application.path=
可以手工指定跳过某些节点 如:
-D oozie.wf.rerun.skip.nodes=ahhs_media_source_info,ahhs_product_info,city_info_table
Coordinator需要指定对应的oozie应用所在的hdfs路径:
oozie.coord.application.path=hdfs://127.0.0.1:9000/xxx/path/
Workflow也需要指定路径:
oozie.wf.application.path=hdfs://127.0.0.1:9000/xxx/path/
在运行job的时候,上面2个必须只能存在一个。
否则会报错:
protected static void ValidateAppPath(String wfPath, String coordPath, String bundlePath) throws XServletException { int n = 0; if (wfPath != null) { n ++; } if (coordPath != null) { n ++; } if (bundlePath != null) { n ++; } if (n == 0) { throw new XServletException(HttpServletResponse.SC_BAD_REQUEST, ErrorCode.E0302, "a workflow, coordinator, or bundle app path is required"); } if (n != 1) { throw new XServletException(HttpServletResponse.SC_BAD_REQUEST, ErrorCode.E0302, "Multiple app paths specified, only one is allowed"); } }
源码如上:
所以,需要在提交job命令的时候,对另外一个路径进行覆盖:
使用
-D <property=value> set/override value for given property
注意:
由于使用workflow的重跑机制,由Coordinator生成的参数会失效。
所以需要手工用-D 的方式手工指定日期参数或者路径参数。
下一篇: Freemarker 手册中文翻译出炉
推荐阅读