当前位置:网站首页>【数仓设计】企业数仓为什么要进行分层?(六大好处)
【数仓设计】企业数仓为什么要进行分层?(六大好处)
2022-08-10 14:36:00 【清平乐的技术专栏】
一、数据仓库要不要分层?
数据仓库既然是数据存储计算的地方,那么为什么需要分层呢?同样也是数据规模,业务场景决定。可以说很多公司数据仓库建设刚起步时,大部分的数据都是经过粗暴的数据接入,进行ETL后就直接对接业务,生成报表或者导入业务系统直接使用。
后来随着公司业务的发展,数据的沉淀,数据仓库发展到一定阶段,发现数据的使用杂乱无章,各种业务都是从原始数据直接计算而得。造成各种重复计算(可能两张表只差了几个字段,但每个人都跑了一次),严重浪费了计算资源和存储资源,企业负担成本极大。这个时候大家就要想着如何规范化存储和计算了,如何最大化降低企业成本。尤其数据规模越大的公司,需求越强烈。
当然你公司数据规模小,非不分层可不可以,当然可以。也没必要搞那么规范,规范的不好之处就是要付出很大的人力成本去实施规范,监督规范的实施。最终的选择要结合你们企业的成本去考量,一切都要结合实际。
二、数仓分层的好处
1、清晰数据结构:
每一个数据分层都有它的作用域,这样我们在使用表的时候能更方便地定位和理解。
2、数据血缘追踪:
简单来讲可以这样理解,我们最终给业务诚信的是一能直接使用的张业务表,但是它的来源有很多,如果有一张来源表出问题了,我们希望能够快速准确地定位到问题,并清楚它的危害范围。
3、减少重复开发:
边栏推荐
- 缺少比较器,运放来救场!(运放当做比较器电路记录)
- High-paid programmers & interview questions series 135 How do you understand distributed?Do you know CAP theory?
- MySQL - storage engine for databases
- 领域驱动模型设计与微服务架构落地-从项目去剖析领域驱动
- 无线网络、HTTP缓存、IPv6
- 使用决策树对鸢尾花进行分类
- systemui状态栏添加新图标
- Existing in the rain of PFAS chemical poses a threat to the safety of drinking water
- 阿里五位MySQL封神大佬耗17个月总结出53章性能优化法则
- epoll学习:思考一种高性能的服务器处理框架
猜你喜欢

关于已拦截跨源请求CORS 头缺少 ‘Access-Control-Allow-Origin‘问题解决

Lack of comparators, op amps come to the rescue!(Op amp is recorded as a comparator circuit)

MySQL 原理与优化:Update 优化

数学建模学习视频及资料集(2022.08.10)

使用mysq语句操作数据库

蓝帽杯半决赛火炬木wp

写不完的数学试卷-----试卷生成器(Qt含源码)

线上线下课程教学培训小程序开发制作功能介绍

物资采购小程序开发制作功能介绍

PyTorch multi-machine multi-card training: DDP combat and skills
随机推荐
TestLink导出用例转换工具
使用决策树对鸢尾花进行分类
从全球价值链视角看,京东云数智供应链对未来经济有何影响?
How is the monthly salary table stored in the database?Ask for a design idea
E. Cross Swapping(并查集变形/好题)
MySQL - storage engine for databases
中学数学建模书籍及相关的视频等(2022.08.09)
[JS Advanced] Creating sub-objects and replacing this_10 in ES5 standard specification
vue 怎么清除tab 切换缓存问题 ?
等保2.0一个中心三重防护指的是什么?如何理解?
波士顿房价预测
WSL 提示音关闭
BCG库简介
$‘\r‘: command not found
老板加薪!看我做的WPF Loading!!!
2012年下半年 系统架构设计师 下午试卷 II
兆骑科创创业赛事活动发布平台,创业赛事,项目路演
CSP-J1 CSP-S1 初赛 第1轮(2022.08.09)
基于 Azuki 系列:NFT估值分析框架“DRIC”
awk的简单使用