ES复杂类型数据同步到HIVE数仓
程序员文章站
2022-06-03 17:57:22
...
数仓中重要的一个数据同步环节是将ES的数据同步到hive数仓中进行分析,对于普通的平级没有嵌套的数据来说很容易同步,但是对于嵌套类型需要考虑的点就多了,以下是一些干货,在此记录一下。
1、环境说明
-
ES Version: 7.2.1
-
Hadoop Version: 3.0.0
-
elasticsearch-hadoop-7.2.1.jar
-
ES的数据示例
"time" : "2020-06-28T00:24:55+0800",
"documentId" : "d458d964-1b92-45da-8aff-0ae57331310d",
"lessonUid" : "c4a6d717bb464e00a0d3fdf79fd6dfc7",
"serviceType"