欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

DS测试

程序员文章站 2024-02-27 20:31:27
...

1,创建用户和租户

  • 输入前端登录网址 : http://192.168.xx.xx:12345/dolphinscheduler/ui/view/login/index.html
    DS测试

​ 输入用户名:admin

​ 密码:dolphinscheduler123

登录进入安全中心
DS测试

  • 创建租户

    特别注意:租户编码对应的是linux上的用户,用来任务提交的,比如说你需要hdfs用户来提交作业,那租户编码则设置为hdfs
    DS测试

  • 创建用户
    DS测试

  • 设置告警

如果要走邮件告警,首先是需要在 安全中心->用户管理 下编辑admin用户的邮件,默认是aaa@qq.com
DS测试

如果要是告警多个人,则需要,创建若干用户,并正确设置其邮箱,而后给告警组添加用户
DS测试

  • 使用普通用户登录,并创建项目

点击 项目管理 -> 创建项目
DS测试

点击所创建的项目,进行流程开发
DS测试

2,基本流程测试

普通用户登录 -> 项目管理 -> 工作流定义 -> 创建工作流,如下图所示:
DS测试

第一个任务是SHELL任务,拖拽任务到画布上,如下图所示,填写节点名称和脚本
DS测试

然后 确认添加,之后 继续拖动三个任务节点,并将其连线
DS测试

之后 保存
DS测试

之后 添加 即可

随后在流程定义列表中,会有一条流程定义,如下图:
DS测试

之后 将流程定义上线
DS测试

运行
DS测试

DS测试

然后 运行流程定义,提示 success

点击 工作流实例
DS测试

点击 工作流名称,如图所示,都是成功状态
DS测试

然后 点击任意一个任务节点 ,如下图所示
DS测试

点击 查看日志
DS测试

如果以上的各个步骤没有报错,证明,大流程是通的

3,SQL任务节点

数据源中心 -> 创建数据源
DS测试

创建数据源并测试连接
DS测试

提示 success

DS测试

参照 基本流程测试的详细步骤,启动SQL任务,如果收到邮件,则表示SQL任务节点基本流程没有问题
DS测试

4,MR任务测试

先将 lib/bigdata-1.0-SNAPSHOT.jar 通过资源中心,将资源上传到HDFS上
DS测试

DS测试

DS测试

根据任务实例的host,登录 Linux机器上,找到 DS 日志下,看worker日志 dolphinscheduler-worker.log,如下,有YARN状态的判断

[INFO] 2019-12-18 18:26:28.753  - [taskAppId=TASK-6-39-92]:[432] - find app id: application_1561170418823_0419
[INFO] 2019-12-18 18:26:28.753  - [taskAppId=TASK-6-39-92]:[236] - yarn log url:application_1561170418823_0419
[INFO] 2019-12-18 18:26:29.280  - [taskAppId=TASK-6-39-92]:[397] - appId:application_1561170418823_0419, final state:SUCCESS
[INFO] 2019-12-18 18:26:29.286 org.apache.dolphinscheduler.server.worker.runner.TaskScheduleThread:[156] - task instance id : 92,task final status : SUCCESS

流程实例和任务实例都是成功的状态

查看HDFS执行结果

[aaa@qq.com ~]# hdfs dfs -cat /journey/mr/*
lisi	1
renzhengfei	1
wangwu	1
liuqiangdong	1
mahuateng	1
mayu	1
mayun	1
qiaozhanwei	2
zhangsan	1
zhaoliu	1

5,告警

1,流程告警

流程定义,点击 运行 按钮,如下

DS测试

通知策略设置为:成功或失败都发,收件人填写正确的邮箱地址

DS测试

2,容错告警

SELECT * FROM t_ds_process_instance WHERE state=1

查询正在运行的流程实例,如果为0条,则没有正在运行的流程实例

重新执行 sh install.sh

验证点:

  • 查看t_ds_alert表,是不是有插入容错信息,如下图:

DS测试

  • 收到节点告警邮件

DS测试

相关标签: 调度