当前位置:网站首页>OLTP和OLAP问题的个人总结
OLTP和OLAP问题的个人总结
2022-08-08 04:24:00 【我爱肉肉】
Hbase
Hbase具体原理可见前文记录
Hbase 是面向oltp的数据库,通过LSM机制来平衡写和读的性能。但是要注意Hbase的思想是oltp,所以注定重点是写,要牺牲读,更适合多写少读的场景。但是实际情况下大多数读写场景通过Hbase就可以完全满足,为什么呢?因为LSM和其他一套组合拳也大量提升了读的性能
最重要的就是LSM机制
为什么写快:
LSM机制本身的设计意义就是写数据直接先入内存中,不用立刻写磁盘。通过牺牲读来提高写
为什么读性能依然不算很差:
1 LSM批量写,存储延迟,复用磁盘寻址空间
多写少读的场景下,常规的B树为了维护本身数据结构会导致分裂等情况。
批量写入会将多次单页写变成单次多页写,复用磁盘寻址空间,提高性能
2 读数据可以获得更多的IO使用权
因为批量写的原因,大大减小的写磁盘的IO使用权,读取就可以获得更多的IO使用权,从而也提高了读性能5-10倍左右
3 LSM数据内存排序,可以通过索引二分查找提高读性能
4 查询磁盘前,增加布隆过滤器的判断
5 Compact 机制,LSM Tree的合并,优化读性能
等等,可以具体再看前文Hbase文章
OLAP
clickhouse等
属于rolap,ROLAP 是指关系数据的关系在线分析处理。
面向数据的分析,注重读,不在于写。Hbase适合多写的点查询,clickhouse用于数据的及时查询
clickhouse 有列式存储引擎。不仅有基于分区的过滤,还有基于列级别的稀疏索引
Hbase则是LSM数据结构的面向列族的存储数据库,不算列式存储。再Hbase不能满足实时的读数据要求时则考虑olap引擎
kylin等
属于molap,MOLAP 被称为多维在线分析处理,它通过多个数据维度来实现。
通过提前预先计算好各个维度的数据,来提高查询效率
HOLAP
ROLAP和MOLAP的混合
大量数据处理能力取自 ROLAP,
查询速度方法取自 MOLAP,MOLAP 提供给作为标准化模型的 HOLAP
边栏推荐
- leetcode: 455. 分发饼干
- 数据库篇复习篇
- 【图基础】如何定义异质图上的小样本学习:Heterogeneous Graph Few-Shot Learning
- leetcode: 322.零钱兑换
- NetCore uses Dapper to query data
- XDR technology
- 使用ffmpeg解码音频sdl(push)播放
- This article will give you a thorough understanding of synchronized and Lock
- 2022-08-07 mysql/stonedb slow SQL-subquery-semi-join
- egg-session stores data to redis
猜你喜欢

leetcode 112.路经总和 递归

【模板引擎】velocity

类似Bugfree的9大在线缺陷管理软件

vulnhub-DC-3 drone penetration record

使用 Presto 和 Alluxio 在 AWS 上搭建高性能平台来支持实时游戏服务

After being unemployed for 6 months at home, I bought a house with full payment through outsourcing: the industries you look down on are often very profitable

fail-fast 和 fail-safe 快速学习

Shell 脚本 — 多行注释、开启子/不开启子进程执行、转义带颜色输出、读取键盘输入、输入输出重定向、单双引号、命令替换、读取变量、系统变量、正则过滤、算术运算、一行多条命令、字符串比较

Monitoring tool Prometheus and project summary, 220805,,

【直播回顾】昇思MindSpore易用性SIG2022上半年回顾总结
随机推荐
Basic introduction to NLP
How does JS use hexadecimal to save 100-bit state
easypoi custom template export
Research on Blind Recognition of Digital Modulated Signal Based on MindSpore Framework
07查询表达式 及 page分页、order 排序《ThinkPHP6 入门到电商实战》
32. 你知道Redis的字符串是怎么实现的吗?
【模板引擎】velocity
MindFusion.WPF Pack 2022.R1
【图基础】如何定义异质图上的小样本学习:Heterogeneous Graph Few-Shot Learning
KMP和EXKMP(Z函数)
MySQL from entry to entry [20W word collection]
Qt 日志模块的个性化使用
ES6剩余参数的使用
项目分析(嵌入式产品Web化)
leetcode 112. Path sum recursion
The storage principle of NorFlash
New retail project and offline warehouse core interview,, 220807,,
农产品直播带货持续升温,经济日报:冲流量勿忘质量
类似Bugfree的9大在线缺陷管理软件
MySql入门教程