欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

etl作业部署与调度—taskctl管理概述 etl作业调度Kettle自动化运维大数据数据库 

程序员文章站 2022-05-29 13:14:00
...

 

 本文主要内容:

  • TASKCTL是什么;
  • TASKCTL可以做什么;
  • 组件&架构;
  • 100+个主要功能点;
  • 八大技术应用特征;
  • 三大产品优势
  • TASKCTL是什么?

TASKCTL是一款功能全面的作业自动化调度技术管理工具。所谓作业,是指部署在网络中不同计算机上的各种程序或系统命令。通过TASKCTL,可以快速将这些作业组织起来,并进行有效的管理以及各种参数化运行控制。在业界,普遍将这种技术称为作业调度,其技术本质是作业运行管理的自动化控制。

TASKCTL可以做什么?

可以成为您IT工作中的一款常伴工具。TASKCTL作为一款作业自动化调度控制工具,可广泛应用于各种IT应用建设、实施各种IT设施维护管理中。其中大数据领域ETL以及批量作业自动化调度,是TASKCTL最典型的应用之一。

典型应用场景-大数据领域批量作业调度应用

大数据时代的今天,大量系统的建设与应用都离不开作业自动化调度技术的支撑。通过这种技术,使我们可以有效管控大量数据的批量进出、存放、加工、转换等一些列复杂的调度处理过程。

更多的IT作业调度自动化应用场景。

系统部署自动化

通过TASKCTL作业自动化无代理调度技术,可以快速实现成百上千台机器的多种应用部署。

自助式运维自动化

在IT运维过程当中,各种复杂的需求与应用场景,会催生大量碎片化的基于作业自动化的运维管理流程需求。TASKCTL是一款简单灵活的作业自动化工具,以自助方式,可以快速应对这些碎片化的运维流程需求。

更多自动化特色应用

实际上,作业流程自动化,是IT的常态技术。比如测试、机器巡检等,其技术核心,都离不开作业的自动化。深入理解TASKCTL的技术本质、合理利用TASKCTL这一款技术工具,你会发现,它可以轻松应用于你大量IT自动化处理当中,使TASKCTL成为你工作中的一款常伴工具。

组件&架构

(一) 总体架构

etl作业部署与调度—taskctl管理概述
            
    
    
        etl作业调度Kettle自动化运维大数据数据库 

  1. 整个体系采用客户端、服务端CS模式。
  2. 服务端通过代理模式、无代理模式,使调度服务器可以远程调度控制更多的业务主机
  3. 调度服务器采用主备单活模式,实现服务高可靠
  4. 服务端代理采用主从模式,实现业务主机集群控制。
  5. 客户端应用体系分桌面客户端、BS模式应用端、以及微信应用端(暂不提供)
  6.  BS模式只提供监控应用服务
  7. 微信模式只提供消息通知与消息相关的信息联动服务

(二) 具体典型应用架构以及适应场景

1. 广泛使用的经典最简架构

如果是一台机器的调度需求,请采用最简架构部署。实际上,这种部署适应大部分调度应用需求。对于用户来说,掌握了最简部署,就可快速实现其它更多、更复杂的调度部署。

etl作业部署与调度—taskctl管理概述
            
    
    
        etl作业调度Kettle自动化运维大数据数据库 

2. 多项目多代理应用架构

如果你需要同时协同批量调度多台不同业务服务器,请采用多代理应用架构部署。

etl作业部署与调度—taskctl管理概述
            
    
    
        etl作业调度Kettle自动化运维大数据数据库 

3. 业务主机集群应用架构

如果您的业务应用服务器,是集群模式,请采用集群架构部署。(目前不支持互联网集群分片调度机制)

 

etl作业部署与调度—taskctl管理概述
            
    
    
        etl作业调度Kettle自动化运维大数据数据库 

4. 无代理远程控制架构

实际上,无代理远程架构与最简部署架构一致。只需在一台机器上部署TASKCTL, 即可控制网络中更多的机器。

etl作业部署与调度—taskctl管理概述
            
    
    
        etl作业调度Kettle自动化运维大数据数据库 

TASKCTL的100+个功能要点

支撑您各种调度及管理需求。以下通过核心功能、应用功能、扩展功能三个维度,分别为你列举各种功能。

(一) 核心功能

所谓核心功能,主要指TASKCTL可以调度哪些类型的作业,可以实现什么样的自动化控制调度,并以什么样的方式控制庞大的网络远程调度。

etl作业部署与调度—taskctl管理概述
            
    
    
        etl作业调度Kettle自动化运维大数据数据库 

(二) 应用功能

应用功能主要指我们通过界面怎么管理TASKCTL调度平台、怎么设计作业流程信息、怎么监控查询统计分析调度状况等。

平台管理

etl作业部署与调度—taskctl管理概述
            
    
    
        etl作业调度Kettle自动化运维大数据数据库 

平台管理功能主要包括:

  • 平台代理主机维护管理;
  • 作业类型维护管理;
  • 用户(组)权限维护管理;
  • 调度节点并发度维护管理;
  • 作业&流程定义信息导入导出等。

作业流程调度设计

独立的IDE开发设计环境程序Designer,可以让你快速友好地设计流程信息。

etl作业部署与调度—taskctl管理概述
            
    
    
        etl作业调度Kettle自动化运维大数据数据库 

主要功能包括:

  • 作业流程资源树管理;
  • 图形拖拽方式设计;
  • 代码文本方式设计;
  • 图文联动设计;
  • 联机\脱机设计;
  • 设计信息实时自动检查;
  • 设计信息编译深度检查;
  • 信息全局搜索&替换

运维监控管理

运维监控管理主要通过组件monitor实现

etl作业部署与调度—taskctl管理概述
            
    
    
        etl作业调度Kettle自动化运维大数据数据库 

cs版主界面

etl作业部署与调度—taskctl管理概述
            
    
    
        etl作业调度Kettle自动化运维大数据数据库 

bs版主界面

(三) 扩展功能

扩展功能主要包括:

etl作业部署与调度—taskctl管理概述
            
    
    
        etl作业调度Kettle自动化运维大数据数据库 

(1)作业类型插件扩展

通过统一作业类型扩展机制,用户可以通过开发自己驱动插件,让TASKCTL支持您基于不同技术平台(各种数据库、ETL工具、语言、以及大数据平台等),不同应用规则的作业类型。

(2)应用API扩展

TASKCTL提供一套完整基于JAVA的二次开发接口,可以实现企业个性化的调度监控管理应用平台。

八大技术应用特征

创新不是目的,而是为了更好的应用

1.精简的技术体系

TASKCTL服务核心是业界唯一不采用数据库、任何第三方中间件构建的调度技术平台。

目前,整个业界的调度系统设计,主要是基于数据库、通信等各种第三方中间件基础上构建各自的调度技术平台。唯有TASKCTL无论是数据存储访问、网络通信,还是数据队列、数据一致性等底层技术,都采用独立自主的技术。这种方式在构建之初,为系统设计带来成倍的难度,但一旦建设完成,这种完全独立自主的体系,为系统各方面的高度融合,变得更轻松、更快捷。

2.高效的计算引擎

高效的计算引擎,无需特别的硬件资源要求。

由于TASKCTL采用全独立自主的技术体系,使计算机制与算法的全面优化变为可能。其主要采用独特消息机制全方位的内存计算以及组件化的计算引擎,使TASKCTL调度吞吐效率与业界相比,拥有数量级的绝对优势。

3.准语言级的控制设计

准语言级的控制表达方式,不仅使调度控制表达信息更简洁、更易懂;同时,在面对各种更为复杂的自动化控制需求时,TASKCTL变得更具有灵活性。

在传统记录化特征的基础上,将控制逻辑信息规则一定语法化,设计一套相应的语法规则,并吸取了大量语言的表达特征,以XML语言为载体并以文本代码方式进行表达。这种具有一定语言思想的表达方法,使你的设计更快捷、更简洁,也更灵活。

4. 完整的设计环境

TASKCTL-Designer客户端组件是调度业界唯一趋于完整的设计环境,使您整个调度设计过程,变得更轻松、更愉悦、更高效!

结合自己语言特征、表达特征、编辑特征,独立设计了一套与之匹配的完整的IDE环境-Designer组件,彻底摆脱了记录式表达的单一特征,使整个信息管理、表达与设计,更形象、更立体、更流畅、也更高效。

5.全方位的消息通知平台

消息通知,才是监控最直接、最便捷的手段。

目前,TASKCTL按异常、警告、预警以及提醒进行分类,为用户提供20+种实时通知消息。

6.灵活的插件扩展

插件扩展,让TASKCTL用户,不用担心作业类型的变化与发展

用户可以通过开发自己驱动插件,让TASKCTL支持您基于不同技术平台(各种数据库、ETL工具、语言、以及大数据平台等),不同应用规则的作业类型。

7.无代理远程调度

一机简单部署,全网轻松受控。

相对于代理模式来讲,无代理由于无需在受控目标机器部署相应的软件,即可调度控制相应的作业程序。这种变化,让调度控制空间格局,得到彻底的延展变化,极大拓展了调度的应用场景。这种场景,特别适合运维管理自动化。

无代理技术,使TASKCTL实现了”一机简单部署,全网轻松受控”。

8.系统级的权限管理机制

TASKCTL提供了一套类似操作系统般的权限管理机制,通过用户、用户组的思想,为每个流程对象赋予读、写、执行三种权限。这种思想,即简单,又熟悉,还可灵活实现各种角色的权限管理。

三大主要优势

(一) 坚定不移的产品理念

聚焦的方向、坚定的信念、持续的付出,决定未来一切

TASKCTL是由一群坚定的作业自动化调度技术爱好者开创,发展,并创办公司经营。作业自动化技术应用是公司唯一的业务,TASKCTL是公司唯一的核心产品,举全公司之力,长期发展TASKCTL,是公司不变的策略。

(二) 快速的产品升级迭代

产品没有最好,只有更好。只有不断发展的产品,才具有更强的生命力。

公司专业、专注的产品战略,是产品不断迭代发展完善的重要保证。为了保证产品的快速迭代,公司不断加强互联网经营策略,以便建立产品的快速用户反馈机制,以及快速发布渠道。

目前,TASKCTL拥有业界作业调度最大的技术交流群体,并通过互联网、公司热线与我们核心技术服务支持团队,长期保持实时互动,共同推动着TASKCTL不断向前发展。

(三) 最走心的技术服务体系

只有优质的产品与服务,才有用户更好的应用效果

提升技术服务质量,不再是一句口号。我们结合产品自身应用场景特性以及最流行的互联网通道,像产品一样精心设计的技术支持体系,以更低的成本,为用户提供更快捷、更高效、更精准的技术服务支持。

etl作业部署与调度—taskctl管理概述
            
    
    
        etl作业调度Kettle自动化运维大数据数据库