etl作业部署与调度—taskctl管理概述 etl作业调度Kettle自动化运维大数据数据库

 

 本文主要内容：

• TASKCTL是什么；
• TASKCTL可以做什么；
• 组件&架构；
• 100+个主要功能点;
• 八大技术应用特征；
• 三大产品优势
• TASKCTL是什么？

TASKCTL是一款功能全面的作业自动化调度技术管理工具。所谓作业，是指部署在网络中不同计算机上的各种程序或系统命令。通过TASKCTL，可以快速将这些作业组织起来，并进行有效的管理以及各种参数化运行控制。在业界，普遍将这种技术称为作业调度，其技术本质是作业运行管理的自动化控制。

TASKCTL可以做什么？

可以成为您IT工作中的一款常伴工具。TASKCTL作为一款作业自动化调度控制工具，可广泛应用于各种IT应用建设、实施各种IT设施维护管理中。其中大数据领域ETL以及批量作业自动化调度，是TASKCTL最典型的应用之一。

典型应用场景-大数据领域批量作业调度应用

大数据时代的今天，大量系统的建设与应用都离不开作业自动化调度技术的支撑。通过这种技术，使我们可以有效管控大量数据的批量进出、存放、加工、转换等一些列复杂的调度处理过程。

更多的IT作业调度自动化应用场景。

1 系统部署自动化

通过TASKCTL作业自动化无代理调度技术，可以快速实现成百上千台机器的多种应用部署。

2 自助式运维自动化

在IT运维过程当中，各种复杂的需求与应用场景，会催生大量碎片化的基于作业自动化的运维管理流程需求。TASKCTL是一款简单灵活的作业自动化工具，以自助方式，可以快速应对这些碎片化的运维流程需求。

3 更多自动化特色应用

实际上，作业流程自动化，是IT的常态技术。比如测试、机器巡检等，其技术核心，都离不开作业的自动化。深入理解TASKCTL的技术本质、合理利用TASKCTL这一款技术工具，你会发现，它可以轻松应用于你大量IT自动化处理当中，使TASKCTL成为你工作中的一款常伴工具。

组件&架构

(一) 总体架构

1. 整个体系采用客户端、服务端CS模式。
2. 服务端通过代理模式、无代理模式，使调度服务器可以远程调度控制更多的业务主机
3. 调度服务器采用主备单活模式，实现服务高可靠
4. 服务端代理采用主从模式，实现业务主机集群控制。
5. 客户端应用体系分桌面客户端、BS模式应用端、以及微信应用端（暂不提供）
6.  BS模式只提供监控应用服务
7. 微信模式只提供消息通知与消息相关的信息联动服务

(二) 具体典型应用架构以及适应场景

1. 广泛使用的经典最简架构

如果是一台机器的调度需求，请采用最简架构部署。实际上，这种部署适应大部分调度应用需求。对于用户来说，掌握了最简部署，就可快速实现其它更多、更复杂的调度部署。

2. 多项目多代理应用架构

如果你需要同时协同批量调度多台不同业务服务器，请采用多代理应用架构部署。

3. 业务主机集群应用架构

如果您的业务应用服务器，是集群模式，请采用集群架构部署。（目前不支持互联网集群分片调度机制）

 

4. 无代理远程控制架构

实际上，无代理远程架构与最简部署架构一致。只需在一台机器上部署TASKCTL， 即可控制网络中更多的机器。

TASKCTL的100+个功能要点

支撑您各种调度及管理需求。以下通过核心功能、应用功能、扩展功能三个维度，分别为你列举各种功能。

(一) 核心功能

所谓核心功能，主要指TASKCTL可以调度哪些类型的作业，可以实现什么样的自动化控制调度，并以什么样的方式控制庞大的网络远程调度。

(二) 应用功能

应用功能主要指我们通过界面怎么管理TASKCTL调度平台、怎么设计作业流程信息、怎么监控查询统计分析调度状况等。

1 平台管理

平台管理功能主要包括：

• 平台代理主机维护管理；
• 作业类型维护管理；
• 用户（组)权限维护管理；
• 调度节点并发度维护管理；
• 作业&流程定义信息导入导出等。

2 作业流程调度设计

独立的IDE开发设计环境程序Designer，可以让你快速友好地设计流程信息。

主要功能包括：

• 作业流程资源树管理；
• 图形拖拽方式设计；
• 代码文本方式设计；
• 图文联动设计；
• 联机\脱机设计；
• 设计信息实时自动检查；
• 设计信息编译深度检查；
• 信息全局搜索&替换

3 运维监控管理

运维监控管理主要通过组件monitor实现

cs版主界面

bs版主界面

(三) 扩展功能

扩展功能主要包括：

(1)作业类型插件扩展

通过统一作业类型扩展机制，用户可以通过开发自己驱动插件，让TASKCTL支持您基于不同技术平台（各种数据库、ETL工具、语言、以及大数据平台等），不同应用规则的作业类型。

(2)应用API扩展

TASKCTL提供一套完整基于JAVA的二次开发接口，可以实现企业个性化的调度监控管理应用平台。

八大技术应用特征

创新不是目的，而是为了更好的应用

1.精简的技术体系

TASKCTL服务核心是业界唯一不采用数据库、任何第三方中间件构建的调度技术平台。

目前，整个业界的调度系统设计，主要是基于数据库、通信等各种第三方中间件基础上构建各自的调度技术平台。唯有TASKCTL无论是数据存储访问、网络通信，还是数据队列、数据一致性等底层技术，都采用独立自主的技术。这种方式在构建之初，为系统设计带来成倍的难度，但一旦建设完成，这种完全独立自主的体系，为系统各方面的高度融合，变得更轻松、更快捷。

2.高效的计算引擎

高效的计算引擎，无需特别的硬件资源要求。

由于TASKCTL采用全独立自主的技术体系，使计算机制与算法的全面优化变为可能。其主要采用独特消息机制、全方位的内存计算以及组件化的计算引擎，使TASKCTL调度吞吐效率与业界相比，拥有数量级的绝对优势。

3.准语言级的控制设计

准语言级的控制表达方式，不仅使调度控制表达信息更简洁、更易懂；同时，在面对各种更为复杂的自动化控制需求时，TASKCTL变得更具有灵活性。

在传统记录化特征的基础上，将控制逻辑信息规则一定语法化，设计一套相应的语法规则，并吸取了大量语言的表达特征，以XML语言为载体并以文本代码方式进行表达。这种具有一定语言思想的表达方法，使你的设计更快捷、更简洁，也更灵活。

4. 完整的设计环境

TASKCTL-Designer客户端组件是调度业界唯一趋于完整的设计环境，使您整个调度设计过程，变得更轻松、更愉悦、更高效！

结合自己语言特征、表达特征、编辑特征，独立设计了一套与之匹配的完整的IDE环境-Designer组件，彻底摆脱了记录式表达的单一特征，使整个信息管理、表达与设计，更形象、更立体、更流畅、也更高效。

5.全方位的消息通知平台

消息通知，才是监控最直接、最便捷的手段。

目前，TASKCTL按异常、警告、预警以及提醒进行分类，为用户提供20+种实时通知消息。

6.灵活的插件扩展

插件扩展，让TASKCTL用户，不用担心作业类型的变化与发展。

用户可以通过开发自己驱动插件，让TASKCTL支持您基于不同技术平台（各种数据库、ETL工具、语言、以及大数据平台等），不同应用规则的作业类型。

7.无代理远程调度

一机简单部署，全网轻松受控。

相对于代理模式来讲，无代理由于无需在受控目标机器部署相应的软件，即可调度控制相应的作业程序。这种变化，让调度控制空间格局，得到彻底的延展变化，极大拓展了调度的应用场景。这种场景，特别适合运维管理自动化。

无代理技术，使TASKCTL实现了”一机简单部署，全网轻松受控”。

8.系统级的权限管理机制

TASKCTL提供了一套类似操作系统般的权限管理机制，通过用户、用户组的思想，为每个流程对象赋予读、写、执行三种权限。这种思想，即简单，又熟悉，还可灵活实现各种角色的权限管理。

三大主要优势

(一) 坚定不移的产品理念

聚焦的方向、坚定的信念、持续的付出，决定未来一切

TASKCTL是由一群坚定的作业自动化调度技术爱好者开创，发展，并创办公司经营。作业自动化技术应用是公司唯一的业务，TASKCTL是公司唯一的核心产品，举全公司之力，长期发展TASKCTL，是公司不变的策略。

(二) 快速的产品升级迭代

产品没有最好，只有更好。只有不断发展的产品，才具有更强的生命力。

公司专业、专注的产品战略，是产品不断迭代发展完善的重要保证。为了保证产品的快速迭代，公司不断加强互联网经营策略，以便建立产品的快速用户反馈机制，以及快速发布渠道。

目前，TASKCTL拥有业界作业调度最大的技术交流群体，并通过互联网、公司热线与我们核心技术服务支持团队，长期保持实时互动，共同推动着TASKCTL不断向前发展。

(三) 最走心的技术服务体系

只有优质的产品与服务，才有用户更好的应用效果

提升技术服务质量，不再是一句口号。我们结合产品自身应用场景特性以及最流行的互联网通道，像产品一样精心设计的技术支持体系，以更低的成本，为用户提供更快捷、更高效、更精准的技术服务支持。