当前位置:网站首页>【数仓设计】企业数仓为什么要进行分层?(六大好处)
【数仓设计】企业数仓为什么要进行分层?(六大好处)
2022-08-10 14:36:00 【清平乐的技术专栏】
一、数据仓库要不要分层?
数据仓库既然是数据存储计算的地方,那么为什么需要分层呢?同样也是数据规模,业务场景决定。可以说很多公司数据仓库建设刚起步时,大部分的数据都是经过粗暴的数据接入,进行ETL后就直接对接业务,生成报表或者导入业务系统直接使用。
后来随着公司业务的发展,数据的沉淀,数据仓库发展到一定阶段,发现数据的使用杂乱无章,各种业务都是从原始数据直接计算而得。造成各种重复计算(可能两张表只差了几个字段,但每个人都跑了一次),严重浪费了计算资源和存储资源,企业负担成本极大。这个时候大家就要想着如何规范化存储和计算了,如何最大化降低企业成本。尤其数据规模越大的公司,需求越强烈。
当然你公司数据规模小,非不分层可不可以,当然可以。也没必要搞那么规范,规范的不好之处就是要付出很大的人力成本去实施规范,监督规范的实施。最终的选择要结合你们企业的成本去考量,一切都要结合实际。
二、数仓分层的好处
1、清晰数据结构:
每一个数据分层都有它的作用域,这样我们在使用表的时候能更方便地定位和理解。
2、数据血缘追踪:
简单来讲可以这样理解,我们最终给业务诚信的是一能直接使用的张业务表,但是它的来源有很多,如果有一张来源表出问题了,我们希望能够快速准确地定位到问题,并清楚它的危害范围。
3、减少重复开发:
边栏推荐
- Send a post request at the front desk can't get the data
- 《论文阅读》PLATO: Pre-trained Dialogue Generation Model with Discrete Latent Variable
- PHP judges whether the file has content, and if there is no content, copy another file to write
- 容器化 | 在 S3 实现定时备份
- 图式图例规范尺寸
- @RequestBody的使用[通俗易懂]
- 符合信创要求的堡垒机有哪些?支持哪些系统?
- Pagoda panel open Redis to specify the network machine
- 数学建模学习视频及资料集(2022.08.10)
- usb转rs485测试软件,usb转rs485「建议收藏」
猜你喜欢
随机推荐
Mysql语句分析、存储引擎、索引优化等详情
【MindSpore易点通机器人-02】设计与技术选型
符合信创要求的堡垒机有哪些?支持哪些系统?
司空见惯 - 股市狠狠下跌后,何時能反弹?
老板加薪!看我做的WPF Loading!!!
2022年网络安全培训火了,缺口达95%,揭开网络安全岗位神秘面纱
阿里五位MySQL封神大佬耗17个月总结出53章性能优化法则
High-paid programmers & interview questions series 135 How do you understand distributed?Do you know CAP theory?
【有限元分析】异型密封圈计算泄漏量与参数化优化过程(带分析源文件)
How does IT Xiaobai learn PHP systematically
产品使用说明书小程序开发制作说明
网络初识(二)
机器学习总结(一)
BCG库简介
解读STEAM教育中的表现性评价
自定义picker滚动选择器样式
awk的简单使用
numpy.meshgrid()理解
Websocket realizes real-time change of chart content
CSP-J1 CSP-S1 初赛 第1轮(2022.08.09)








