如何监听对 HIVE 元数据的操作

目录

• hive 基本操作
• 监听对 hive 元数据的操作

简介

公司有个元数据管理平台，会定期同步 hive 中的元数据。但这样做有个问题，就是如果在 hive 中插入了一张新表或者新库等 hive 元数据变更的操作，元数据管理平台不能及时与 hive 表中的数据进行同步。因此需要调研下 hive 中有没有类似的监听机制，可以实现 hive 中有元数据更改时，能及时发通知给 元数据平台。整体的需求图如下所示

由于公司使用的 hive 版本是 1.2.1，本文也会以此版本进行说明。如果您使用的是其他 hive 版本，无法就文章中的问题进行对应，请自行查阅 hive 官方文档。先来看下 hive 的基本操作。

hive 基本操作

获取 hive 源码

$ git clone https://github.com/apache/hive.git

切换到 hive-1.2 分支

git checkout -b branch-1.2 origin/branch-1.2

切换到 hive 1.2.1 tag

git checkout release-1.2.1

编译 hive 源码

hive 1.2.1 版本既支持 hadoop 1 ，也支持 hadoop2 ，可通过 mvn 编译时属性指定。编译 hadoop 2 版本时，命令如下

mvn clean install -dskiptests -phadoop-2
cd itests
mvn clean install -dskiptests -phadoop-2

如果在 itests 中编译失败，可忽略错误，不影响对正常代码的编译

启动 hive

nohup hive --service metastore  2>&1 & 
nohup  hive --service hiveserver2   2>&1 & 

停止 hive

1. 获取 hive 进程 id

   ps -ef |grep hive

2. kill 掉对应进程

监听对 hive 元数据的操作

经过调研， hive 中存在一个事件监听抽象类 metastoreeventlistener ，具体 package 为 org.apache.hadoop.hive.metastore , 在 hive 源码的 metastore 模块下，包含常用的 create table, drop table, create database, drop database 等操作。

public abstract class metastoreeventlistener implements configurable {

...
  public void oncreatetable (createtableevent tableevent) throws metaexception {
  }

  public void ondroptable (droptableevent tableevent)  throws metaexception {
  }

  public void onaltertable (altertableevent tableevent) throws metaexception {
  }

  public void onalterpartition (alterpartitionevent partitionevent)  throws metaexception {
  }

  public void oncreatedatabase (createdatabaseevent dbevent) throws metaexception {
  }

  public void ondropdatabase (dropdatabaseevent dbevent) throws metaexception {
  }

而且这个抽象类在 hive-site.xml 中关联的配置是

    <property>
        <name>hive.metastore.event.listeners</name>
        <value/>
        <description/>
    </property>

只要实现了这个抽象类，将编译的 jar 包放在 ${hive_home}/lib 目录下，并配置好 hive-site.xml 文件的 hive.metastore.event.listeners 选项，重启即可生效。

开发这个插件时使用的 maven 依赖为

        <dependency>
            <artifactid>hive-exec</artifactid>
            <groupid>org.apache.hive</groupid>
            <version>1.2.1</version>
        </dependency>
        <dependency>
            <groupid>org.apache.hadoop</groupid>
            <artifactid>hadoop-common</artifactid>
            <version>2.6.5</version>
        </dependency>

参考文档

• hivedeveloperfaq