批量kettle作业调度工具 Taskctl 调度任务监控视图 taskctl大数据处理自动化运维etl
软件安装: 去公众号 "taskctl" 回复内容 "软件" 或 "领取" 即可;
TASKCTL 在线应用简介:
Taskctl在线应用版V1.2相比C/S应用端功能完整,并精简部分操作逻辑,适合初学者体验 taskctl 产品,也能作为中小项目生产应用。
实时监控 Monitor
监控概况
通过监控概况页面,您可以实时了解到整个平台作业运行统计情况,调度控 制节点资源的消耗情况,我的消息,上次作业排程分布,业务流程的运行及统计 情况,以及对平台调度器,平台作业流提供了更直观的监控界面。如下图所示:
视图监控
“视图监控”是调度监控运维管理中重要的功能。采用不同状态的作业图标 标注了指定模块的作业实时运行情况,也清楚地展示了作业节点之间的串并关系, 以及模块之间的引用关系等。通过“视图监控”,可以快速定位正在运行的作业 节点。也可以运用作业节点搜索器在图形上快速定位指定作业节点,并对其进行
维护操作。“视图监控”分为流程视图和定时器视图。在页面布局及操作体验上 略有不同,下面将分别介绍:
视图监控整体布局
作业状态面板
点击模块视图显示区中作业节点,将显示“作业运行状态”面板。在“作业运行 状态”面板中可以查看当前选中的作业运行信息,以及内置了“作业操作面板”。
流程图监控
流程图从 begin 节点开始到 end 节点方向,直观展示了一个模块中作业执行顺 序流向。具有以下特征:
- 自动规则展示:TASKCTL 控制容器图采用自动排列方式,图形不会出现线条 交叉的情况,并清楚地展示了作业节点之间的串并关系。
- 钻取展示方式:某些大控制容器难免会出现子模块数量多,层次深的情况。 可以通过双击 include 模块节点下钻到子模块,或通过右键菜单快速返回到 “主模块”、“上级模块”以及“子模块”。
- 节点描述中英文*切换:在控制容器开发的时候,通常是采用一定规则的 英文字符来描述节点名称。而在正式监控维护生成环境中,这种描述方式给 国人带来了一定程度的理解障碍。Taskctl-web-application 在图形监控中提供 了“英文节点名称”与“中文节点描述”之间相互转换的功能。您可以使用 图形监控窗口工具栏中所特有的“ ”图标按钮来进行切换。
- 不同类型作业图标自定义:为了更清楚地表达节点的性质,加大节点类型之 间的对比度,提高控制容器图的可读性。TASKCTL 提供了节点图标自定的功能。您可以在 TASKCTL—ADMIN 初始化部署平台自定义作业节点图标。
- 图形节点搜索定位:在“作业节点搜索框”输入节点名称关键词(支持不区 分大小写的模糊匹配),系统自动弹出所匹配的节点列表。点击列表项后将 自动定位到指定作业节点位置。
- 正执行作业节点快速定位:在控制容器执行监控过程中,我们往往对正在执 行的作业最为关注,但作业节点的状态将是动态改变的。如果长时间不关注 图形监控界面,正执行的作业节点将很容易失去跟踪。TASKCTL 提供了“正 执行作业节点快速定位”功能,您可以点击“ ”快速定位到下一个正执 行的作业节点。除了正执行作业外,还支持自动定位到“异常节点”和“选 中节点”
- 图形位置拖拽显示:在面对大量作业组成的流程图中,一副页面并不能完全 显示,传统页面模式中,可以采用拖动横纵向滚动条的方式来显示。 TASKCTL 提供了图形整体拖拽的方式来显示遮盖区域的作业。这比拖拉滚动条的方式更加方便快捷。
定时器监控
定时器视图由多个定时器组卡片构成。每个组卡片中并排了一个或多个作业 节点。每个作业节点中展示了其下次运行时间、运行信息和用不同的背景色展示 了运行状态。如:红色代表运行错误,绿色代表执行成功。
调度激活 调度激活提供主控制容器(定时器、主流程)批量激活与停止,如下图所示
工程统计
工程口径统计监控是以“工程”为观察角度,按照作业状态为切面条件实时统计每个“工程”下作业不同执行状态的数量以及汇总情况。是 TASKCTL 最上 级层次的作业统计方式。
控制容器统计
控制容器口径统计监控是以“控制容器”为观察角度,按照作业状态为切面 条件实时统计每个“控制容器”下作业不同执行状态的数量以及汇总情况。
模块统计
模块口径统计监控是以“模块”为观察角度,按照作业状态为切面条件实时 统计每个“模块”下作业不同执行状态的数量以及汇总情况。如下图所示:
作业列表
作业列表展示了作业的详细信息列表。如下图所示:
历史记录
历史记录主要反应一段时期内作业开始结束时间、运行耗时、运行代理等信 息,同时还可以快速定位到相应的运行日志。
排程分布图
该功能展示了某天各个时段(每 2 小时)下作业运行数信息,以及作业运行高峰期时段。参考此图,为合理编排流程的运行时段提供理论支撑。
长时作业分析
当流程运行一段时间后,每个批次会有相对稳定的时间窗口,包括运行时长, 运行起止时间。“长时作业分析”顾名思义展示了整体平台运行时间较长的作业。 通过参考该信息,可对调度流程的运行瓶颈有直观的了解,为优化流程运行的时 间窗口提供了可能。
异常作业分析
该功能展示了调度平台整体的异常作业次数统计情况。异常作业是影响批量 系统稳定性最关键的因素。
节点拓扑图
该功能展示了调度平台整体的网络架构拓扑图,并展示了各个节点的健康程 度,以及各个节点资源利用率。
操作记录
记录用户在平台进行人工操作的各种信息,如启停流程,中断作业、编辑编 译调度信息等。