PBIRS: 实现SSIS作业实时监控
程序员文章站
2022-03-21 08:03:32
本文将会分享一个我在过去做的一个ETL作业实时监控的报表项目,它利用Power BI Report Server (PBIRS) 直连 SQL Server 中的 SSIS数据库,实现对SSIS作业流的监控与管理。下文分享了项目的大体流程和现成代码。效果预览此处提供一个脱敏截图,仅供参考。你可以在此报表查询到最近所有的SSIS包任务的执行情况(你可以在SSMS修改SSIS数据库的历史数据记录范围),包括SSIS项目根目录,连接字符串,执行时间等等,你还可以像上图一样筛选出当日所有报错的任务,在左侧选...
本文将会分享一个我在过去做的一个ETL作业实时监控的报表项目,它利用Power BI Report Server (PBIRS) 直连 SQL Server 中的 SSIS数据库,实现对SSIS作业流的监控与管理。下文分享了项目的大体流程和现成代码。
效果预览
此处提供一个脱敏截图,仅供参考。
你可以在此报表查询到最近所有的SSIS包任务的执行情况(你可以在SSMS修改SSIS数据库的历史数据记录范围),包括SSIS项目根目录,连接字符串,执行时间等等,你还可以像上图一样筛选出当日所有报错的任务,在左侧选择对应的包任务,右侧就可以展示该包的执行过程,这方便ETL开发者迅速找到报错的步骤以及原因,同时也便于开发者进行项目的调优。
实现方式
实现的过程并不复杂,关键是需要弄清楚SSIS数据库的字段逻辑。经过我此前的整理,在此整理出四段SQL查询,它们分别对应Power BI内不同的表。
1. Executions
主表,记录了所有包任务的执行情况。
SELECT A0.[execution_id]
,[folder_name]
,[project_name]
,[package_name]
,CONVERT(VARCHAR(12),A1.[start_time],114) AS [Start Time]
,CONVERT(VARCHAR(12),A1.[end_time],114) as [End
本文地址:https://blog.csdn.net/qq_44794714/article/details/107181318
推荐阅读
-
Python 基于Python结合pykafka实现kafka生产及消费速率&主题分区偏移实时监控
-
Python pyinotify模块实现对文档的实时监控功能方法
-
shell awk实现实时监控网卡流量脚本(常见应用二)
-
实时监控input框,实现输入框与下拉框联动的实例
-
HTML5-WebSocket实现对服务器CPU实时监控
-
ffmpeg推流实现实时播放监控画面(rtsp to rtmp)
-
python实现人脸实时监控识别程序 face_recognition
-
.NetCore使用skywalking实现实时性能监控
-
改造断路器集群监控Hystrix Turbine实现自动注册消费者、实时监控多个服务
-
Asp.Net 5分钟实现网页实时监控