什么是Azkaban?

Azkaban是什么

      Azkaban是由Linkedin开源的做批量工作流任务的调度器。在一个工作流内按照特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的相互依赖关系，并且提供了一个易于使用的web用户界面维护与跟踪你的工作流。

 

Azkaban的功能特点：

      web用户界面                                     

      方便上传工作流

      方便设置任务之间的关系

      工作流调度

      认证/授权

      能够杀死并重新启动工作流

      模块化与可插拔的插件机制

      项目工作区

     工作流与任务的日志记录和审计

 

Azkaban的核心架构体系

                         

 

       1）MySQL实例--Azkaban使用MySQL来存储项目和执行（暂只支持MySQL数据库，未来可能会支持更多的数据库）

      2）Azkaban Web服务器--Azkaban使用Jetty作为Web服务器，用作控制器和提供Web界面（为什么不同Tomcat？由于Tomcat比较重量级，需要单独部署，这里没有必要）

      3）Azkaban执行服务器--Azkaban执行服务器执行提交工作流

 

 

Azkaban的三种运行模式

        1）solo server mode（这种模式不会用到，了解即可）

           H2（存储用H2数据库）

           web server和executor server运行在一个进程里

        2）two server mode （重点掌握）

               MySQL(主从结构，为了避免单点故障)

           web server和executor server运行在不同的进程

       3）multiple executor mode

            MySQL(主从结构)

            web server和executor server运行在不同的进程

            executor server有多个（避免一个executor server负载过多）