欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

基于 Hudi 和 Kylin 构建准实时高性能数据仓库

程序员文章站 2022-03-24 09:01:48
在近期的 Apache Kylin × Apache Hudi Meetup 直播上,Apache Kylin PMC Chair 史少锋和 Kyligence 解决方案工程师刘永恒就 Hudi + Kylin 的准实时数仓实现进行了介绍与演示。本文是分享现场的回顾。 ......

在近期的 apache kylin × apache hudi meetup 直播上,apache kylin pmc chair 史少锋和 kyligence 解决方案工程师刘永恒就 hudi + kylin 的准实时数仓实现进行了介绍与演示。下文是分享现场的回顾。

我的分享主题是《基于 hudi 和 kylin 构建准实时、高性能数据仓库》,除了讲义介绍,还安排了 demo 实操环节。下面是今天的日程:
基于 Hudi 和 Kylin 构建准实时高性能数据仓库

 

01 数据库、数据仓库

先从基本概念开始。我们都知道数据库和数据仓库,这两个概念都已经非常普遍了。数据库 database,简称 db,主要是做 oltp(online transaction processing),也就是在线的交易,如增删改;数据仓库 data warehouse,简称 dw,主要是来做olap(online analytics processing),也就是在线数据分析。oltp 的典型代表是 oracle、mysql,olap 则像 teradata、greenplum,近些年有 clickhouse、kylin 等。
基于 Hudi 和 Kylin 构建准实时高性能数据仓库
数据库和数据仓库两者在存储实现上是不一样的,数据库一般是按行存,这样可以按行来增加、修改;数据仓库是按列来存储,是为了分析的时候可以高效访问大量的数据,同时跳过不需要的列;这种存储差异导致两个系统难以统一,数据从数据库进入到数据仓库需要一条链路去处理。

 

02 数据湖

近些年出现了数据湖(data lake)的概念,简单来说数据湖可以存储海量的、不同格式、汇总或者明细的数据,数据量可以达到 pb 到 eb 级别。企业不仅可以使用数据湖做分析,还可以用于未来的或未曾预判到的场景,因此需要的原始数据存储量是非常大的,而且模式是不可预知的。数据湖产品典型的像 hadoop 就是早期的数据湖了,现在云上有很多的数据湖产品,比方 amazon  s3,azure  blob  store,阿里云 oss,以及各家云厂商都有自己的存储服务。有了数据湖之后,企业大数据处理就有了一个基础平台,非常多的数据从源头收集后都会先落到数据湖上,基于数据湖再处理和加载到不同的分析库去。
基于 Hudi 和 Kylin 构建准实时高性能数据仓库

但是,数据湖开始设计主要是用于数据的存储,解决的是容量的水平扩展性、数据的持久性和高可用性,没有太多考虑数据的更新和删除。例如 hdfs 上通常是将文件分块(block)存储,一个 block 通常一两百兆;s3 同样也是类似,大的 block 可以节省管理开销,并且这些文件格式不一,通常没有高效的索引。如果要修改文件中的某一行记录,对于数据湖来说是非常难操作的,因为它不知道要修改的记录在哪个文件的哪个位置,它提供的方式仅仅是做批量替换,代价比较大。

基于 Hudi 和 Kylin 构建准实时高性能数据仓库
(0)
打赏 基于 Hudi 和 Kylin 构建准实时高性能数据仓库 微信扫一扫

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

基于 Hudi 和 Kylin 构建准实时高性能数据仓库
验证码: 基于 Hudi 和 Kylin 构建准实时高性能数据仓库
Copyright © 2017-2022  保留所有权利. 粤ICP备17035492号-1
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com