欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

ES复杂类型数据同步到HIVE数仓

程序员文章站 2022-06-03 17:57:22
...

数仓中重要的一个数据同步环节是将ES的数据同步到hive数仓中进行分析,对于普通的平级没有嵌套的数据来说很容易同步,但是对于嵌套类型需要考虑的点就多了,以下是一些干货,在此记录一下。

1、环境说明
  • ES Version: 7.2.1

  • Hadoop Version: 3.0.0

  • elasticsearch-hadoop-7.2.1.jar

  • ES的数据示例

 		"time" : "2020-06-28T00:24:55+0800",
          "documentId" : "d458d964-1b92-45da-8aff-0ae57331310d",
          "lessonUid" : "c4a6d717bb464e00a0d3fdf79fd6dfc7",
          "serviceType"