DS测试
1,创建用户和租户
-
输入前端登录网址 : http://192.168.xx.xx:12345/dolphinscheduler/ui/view/login/index.html
输入用户名:admin
密码:dolphinscheduler123
登录进入安全中心
-
创建租户
特别注意:租户编码对应的是linux上的用户,用来任务提交的,比如说你需要hdfs用户来提交作业,那租户编码则设置为hdfs
-
创建用户
-
设置告警
如果要走邮件告警,首先是需要在 安全中心->用户管理 下编辑admin用户的邮件,默认是aaa@qq.com
如果要是告警多个人,则需要,创建若干用户,并正确设置其邮箱,而后给告警组添加用户
- 使用普通用户登录,并创建项目
点击 项目管理 -> 创建项目
点击所创建的项目,进行流程开发
2,基本流程测试
普通用户登录 -> 项目管理 -> 工作流定义 -> 创建工作流,如下图所示:
第一个任务是SHELL任务,拖拽任务到画布上,如下图所示,填写节点名称和脚本
然后 确认添加,之后 继续拖动三个任务节点,并将其连线
之后 保存
之后 添加 即可
随后在流程定义列表中,会有一条流程定义,如下图:
之后 将流程定义上线
运行
然后 运行流程定义,提示 success
点击 工作流实例
点击 工作流名称,如图所示,都是成功状态
然后 点击任意一个任务节点 ,如下图所示
点击 查看日志
如果以上的各个步骤没有报错,证明,大流程是通的
3,SQL任务节点
数据源中心 -> 创建数据源
创建数据源并测试连接
提示 success
参照 基本流程测试的详细步骤,启动SQL任务,如果收到邮件,则表示SQL任务节点基本流程没有问题
4,MR任务测试
先将 lib/bigdata-1.0-SNAPSHOT.jar 通过资源中心,将资源上传到HDFS上
根据任务实例的host,登录 Linux机器上,找到 DS 日志下,看worker日志 dolphinscheduler-worker.log,如下,有YARN状态的判断
[INFO] 2019-12-18 18:26:28.753 - [taskAppId=TASK-6-39-92]:[432] - find app id: application_1561170418823_0419
[INFO] 2019-12-18 18:26:28.753 - [taskAppId=TASK-6-39-92]:[236] - yarn log url:application_1561170418823_0419
[INFO] 2019-12-18 18:26:29.280 - [taskAppId=TASK-6-39-92]:[397] - appId:application_1561170418823_0419, final state:SUCCESS
[INFO] 2019-12-18 18:26:29.286 org.apache.dolphinscheduler.server.worker.runner.TaskScheduleThread:[156] - task instance id : 92,task final status : SUCCESS
流程实例和任务实例都是成功的状态
查看HDFS执行结果
[aaa@qq.com ~]# hdfs dfs -cat /journey/mr/*
lisi 1
renzhengfei 1
wangwu 1
liuqiangdong 1
mahuateng 1
mayu 1
mayun 1
qiaozhanwei 2
zhangsan 1
zhaoliu 1
5,告警
1,流程告警
流程定义,点击 运行 按钮,如下
通知策略设置为:成功或失败都发,收件人填写正确的邮箱地址
2,容错告警
SELECT * FROM t_ds_process_instance WHERE state=1
查询正在运行的流程实例,如果为0条,则没有正在运行的流程实例
重新执行 sh install.sh
验证点:
- 查看t_ds_alert表,是不是有插入容错信息,如下图:
- 收到节点告警邮件