数据仓库逻辑分层(2020版)
程序员文章站
2022-06-27 20:23:07
一、分层必要性清晰数据结构:每一个数据分层都有它的作用域,这样我们在使用表的时候能更方便地定位和理解脏数据清洗:屏蔽原始数据的异常屏蔽业务影响:不必改一次业务就需要重新接入数据数据血缘追踪:简单来讲可以这样理解,我们最终给业务呈现的是能直接使用的一张业务表,但是它的来源有很多,如果有一张来源表出问题了,我们希望能够快速准确地定位到问题,并清楚它的危害范围。减少重复开发:规范数据分层,开发一些通用的中间层数据,能够减少极大的重复计算。把复杂问题简单化。将一个复杂的任务分解成多个步骤来完成,每一....
一、分层必要性
清晰数据结构:每一个数据分层都有它的作用域,这样我们在使用表的时候能更方便地定位和理解
脏数据清洗:屏蔽原始数据的异常
屏蔽业务影响:不必改一次业务就需要重新接入数据
数据血缘追踪:简单来讲可以这样理解,我们最终给业务呈现的是能直接使用的一张业务表,但是它的来源有很多,如果有一张
来源表出问题了,我们希望能够快速准确地定位到问题,并清楚它的危害范围。
减少重复开发:规范数据分层,开发一些通用的中间层数据,能够减少极大的重复计算。
把复杂问题简单化。将一个复杂的任务分解成多个步骤来完成,每一层只处理单一的步骤,比较简单和容易理解。便于维护数据的准确性,当数据出现问题之后,可以不用修复所有的数据,只需要从有问题的步骤开始修复。
二、逻辑分层
数仓分层,一般按ods->dw->dm
整体架构。不同的企业,不同的业务场景,有衍生出不同的分层架构模式。例如经典四层架构:ods->dwd->dws-ads
,bdl->fdl->gdl->adl等。
本文地址:https://blog.csdn.net/ZZQHELLO2018/article/details/107358716
上一篇: 什么是服务熔断
下一篇: 大话编程之-设计模式篇(简介)