数据治理的王者——Apache Atlas
程序员文章站
2022-11-07 07:55:46
一、Atlas是什么? 在当今大数据的应用越来越广泛的情况下,数据治理一直是企业面临的巨大问题。 大部分公司只是单纯的对数据进行了处理,而数据的血缘,分类等等却很难实现,市场上也急需要一个专注于数据治理的技术框架,这时Atlas应运而生。 Atlas官网地址: "https://atlas.apac ......
一、atlas是什么?
在当今大数据的应用越来越广泛的情况下,数据治理一直是企业面临的巨大问题。
大部分公司只是单纯的对数据进行了处理,而数据的血缘,分类等等却很难实现,市场上也急需要一个专注于数据治理的技术框架,这时atlas应运而生。
atlas官网地址:
atlas是hadoop的数据治理和元数据框架。
atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效,高效地满足hadoop中的合规性要求,并允许与整个企业数据生态系统集成。
apache atlas为组织提供了开放的元数据管理和治理功能,以建立其数据资产的目录,对这些资产进行分类和治理,并为数据科学家,分析师和数据治理团队提供围绕这些数据资产的协作功能。
atlas支持各种hadoop和非hadoop元数据类型
提供了丰富的rest api进行集成
对数据血缘的追溯达到了字段级别,这种技术还没有其实类似框架可以实现
-
对权限也有很好的控制
二、架构原理
atlas包括以下组件:
- 采用hbase存储元数据
- 采用solr实现索引
- ingest/export 采集导出组件 type system类型系统 graph engine图形引擎 共同构成atlas的核心机制
- 所有功能通过api向用户提供,也可以通过kafka消息系统进行集成
- atlas支持各种源获取元数据:hive,sqoop,storm。。。
- 还有优秀的ui支持
三、效果图
更多大数据,atlas,es,kafka等技术博文,欢迎关注实时流式计算:
本文由博客一文多发平台 openwrite 发布!
下一篇: 汉文帝想让亲舅舅自杀,背后原因是什么?