当前位置:网站首页>【数仓设计】企业数仓为什么要进行分层?(六大好处)
【数仓设计】企业数仓为什么要进行分层?(六大好处)
2022-08-10 14:36:00 【清平乐的技术专栏】
一、数据仓库要不要分层?
数据仓库既然是数据存储计算的地方,那么为什么需要分层呢?同样也是数据规模,业务场景决定。可以说很多公司数据仓库建设刚起步时,大部分的数据都是经过粗暴的数据接入,进行ETL后就直接对接业务,生成报表或者导入业务系统直接使用。
后来随着公司业务的发展,数据的沉淀,数据仓库发展到一定阶段,发现数据的使用杂乱无章,各种业务都是从原始数据直接计算而得。造成各种重复计算(可能两张表只差了几个字段,但每个人都跑了一次),严重浪费了计算资源和存储资源,企业负担成本极大。这个时候大家就要想着如何规范化存储和计算了,如何最大化降低企业成本。尤其数据规模越大的公司,需求越强烈。
当然你公司数据规模小,非不分层可不可以,当然可以。也没必要搞那么规范,规范的不好之处就是要付出很大的人力成本去实施规范,监督规范的实施。最终的选择要结合你们企业的成本去考量,一切都要结合实际。
二、数仓分层的好处
1、清晰数据结构:
每一个数据分层都有它的作用域,这样我们在使用表的时候能更方便地定位和理解。
2、数据血缘追踪:
简单来讲可以这样理解,我们最终给业务诚信的是一能直接使用的张业务表,但是它的来源有很多,如果有一张来源表出问题了,我们希望能够快速准确地定位到问题,并清楚它的危害范围。
3、减少重复开发:
边栏推荐
- Websocket realizes real-time change of chart content
- In the second half of 2012 system architecture designers afternoon paper II
- 机器学习总结(一)
- 线上线下课程教学培训小程序开发制作功能介绍
- [JS Advanced] Creating sub-objects and replacing this_10 in ES5 standard specification
- laravel 抛错给钉钉
- 力扣解法汇总640-求解方程
- usb转rs485测试软件,usb转rs485「建议收藏」
- 【Gazebo入门教程】第三讲 SDF文件的静/动态编程建模
- 王学岗—————————哔哩哔哩直播-手写哔哩哔哩硬编码录屏推流(硬编)(26节课)
猜你喜欢
[Gazebo Introductory Tutorial] Lecture 3 Static/Dynamic Programming Modeling of SDF Files
BCG库简介
字节终面:CPU 是如何读写内存的?
AWS Security Fundamentals
Classifying irises using decision trees
1W字详解线程本地存储 ThreadLocal
IT小白怎么系统的php学习
线上线下课程教学培训小程序开发制作功能介绍
Do not access Object.prototype method ‘hasOwnProperty‘ from target object....
使用mysq语句操作数据库
随机推荐
BCG库简介
富爸爸穷爸爸之读书笔记
使用决策树对鸢尾花进行分类
Summary of Force Buckle Solution 640 - Solving Equations
Mysql语句分析、存储引擎、索引优化等详情
网络安全(加密技术、数字签名、证书)
等保2.0一个中心三重防护指的是什么?如何理解?
2012年下半年 系统架构设计师 下午试卷 II
MySQL 原理与优化:Update 优化
Analysys and the Alliance of Small and Medium Banks jointly released the Hainan Digital Economy Index, so stay tuned!
【MinIO】Using tools
【MindSpore易点通机器人-02】设计与技术选型
重要通知 | “移动云杯”算力网络应用创新大赛初赛延期!!
无线网络、HTTP缓存、IPv6
强意识 压责任 安全培训筑牢生产屏障
List集合
CSP-J1 CSP-S1 初赛 第1轮(2022.08.09)
每个月工资表在数据库如何存储?求一个设计思路
IT小白怎么系统的php学习
fatal error C1083 无法打开包括文件'io.h' No such file