欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Oozie安装及使用

程序员文章站 2022-06-27 21:02:46
Oozie安装及使用部署 Hadoop(CDH 版本的)1.修改 Hadoop 配置重启 Hadoop 集群部署 Oozie在 Mysql 中创建 Oozie 的数据库初始化 OozieOozie 的启动与关闭访问 Oozie 的 Web 页面部署 Hadoop(CDH 版本的)1.修改 Hadoop 配置core-site.xmlhadoop.proxyuser....

部署 Hadoop(CDH 版本的)

1.修改 Hadoop 配置

core-site.xml

<!-- Oozie Server 的 Hostname -->
<property>
<name>hadoop.proxyuser.atguigu.hosts</name>
<value>*</value>
</property>
<!-- 允许被 Oozie 代理的用户组 -->
<property>
<name>hadoop.proxyuser.atguigu.groups</name>
<value>*</value>
</property>

mapred-site.xml

<!-- 配置 MapReduce JobHistory Server 地址 ,默认端口 10020 -->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>hadoop102:10020</value>
</property>
<!-- 配置 MapReduce JobHistory Server web ui 地址, 默认端口 19888 -->
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>hadoop102:19888</value>
</property>

yarn-site.xml

<!-- 任务历史服务 -->
<property> 
<name>yarn.log.server.url</name> 
<value>http://hadoop102:19888/jobhistory/logs/</value> 
</property>

完成后:记得 scp 同步到其他机器节点

重启 Hadoop 集群

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
[atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh
[atguigu@hadoop102 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

注意:需要开启 JobHistoryServer, 最好执行一个 MR 任务进行测试。

部署 Oozie

解压 Oozie

[atguigu@hadoop102 software]$ tar -zxvf /opt/software/cdh/oozie-4.0.0-cdh5.3.6.tar.gz -C ./

在 oozie 根目录下解压 oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz 
-C ../

完成后 Oozie 目录下会出现 hadooplibs 目录。

在 Oozie 目录下创建 libext 目录

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ mkdir libext/

拷贝依赖的 Jar 包
1)将 hadooplibs 里面的 jar 包,拷贝到 libext 目录下:

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -ra 
hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/* libext/

2)拷贝 Mysql 驱动包到 libext 目录下:

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -a 
/opt/software/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar ./libext/

将 ext-2.2.zip 拷贝到 libext/目录下
ext 是一个 js 框架,用于展示 oozie 前端页面:

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -a /opt/software/cdh/ext-2.2.zip libext/

修改 Oozie 配置文件
oozie-site.xml

#JDBC 的驱动
	<property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    #oozie 所需的数据库地址
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <value>jdbc:mysql://hadoop102:3306/oozie</value>
    </property>
    #数据库用户名
    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <value>root</value>
    </property>
    #数据库密码
    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>123456</value>
    </property>
    #让 Oozie 引用 Hadoop 的配置文件
    <property>
        <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
        <value>*=/opt/bigdata/hadoop2.7.2/etc/hadoop/</value>
    </property>

在 Mysql 中创建 Oozie 的数据库

进入 Mysql 并创建 oozie 数据库:

service mysql start

mysql -uroot -p123456
mysql> create database oozie;

初始化 Oozie

  1. 上传 Oozie 目录下的 yarn.tar.gz 文件到 HDFS:
    提示:yarn.tar.gz 文件会自行解压
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie-setup.sh sharelib create -fs 
hdfs://hadoop102:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz

执行成功之后,去 50070 检查对应目录有没有文件生成。

  1. 创建 oozie.sql 文件
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/ooziedb.sh create -sqlfile oozie.sql -run
  1. 打包项目,生成 war 包
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie-setup.sh prepare-war

Oozie 的启动与关闭

启动命令如下:

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh start

关闭命令如下:

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh stop

访问 Oozie 的 Web 页面

http://hadoop102:11000/oozie/

本文地址:https://blog.csdn.net/cai_and_luo/article/details/107167897