当前位置:网站首页>SQL Runtime SLX中的优化设计有哪些?
SQL Runtime SLX中的优化设计有哪些?
2022-08-11 11:36:00 【阿里云问答】
SQL Runtime SLX中的优化设计有哪些?
采纳答案1:
- 框架结构合理划分: Runtime Streamline 和 Fuxi SDK 解耦,Runtime 负责数据处理逻辑,Fuxi SDK 负责底层数据流传输。代码可维护性,功能可扩张性,性能调优空间都显著增强;
- 支持 GraySort 模式: Streamline Writer 端只分组不排序,逻辑简单,省去数据内存拷贝开销以及相关耗时操作,Reader 端对全量数据排序。整体数据处理流程 Pipeline 更加高效,性能显著提升;
- 支持 Adaptive 模式: StreamlineReader 支持不排序和排序模式切换,来支持一些 AdaptiveOperator 的需求,并且不会产生额外的 IO 开销,回退代价小,Adaptive 场景优化效果显著;
- CPU 计算效率优化: 对耗时计算模块重新设计 CPU 缓存优化的数据结构和算法,通过减少 cache miss,减少函数调用开销,减少 cpu cache thrashing,提升 cache 的有效利用率等手段,来提升运算效率;
- IO 优化:支持多种压缩算法和 Adaptive 压缩方式,并重新设计 Shuffle 传输数据的存储格式,有效减少传输的 IO 量。 6. 内存优化: 对于 Streamline Writer 和 Reader 内存分配更加合理,会根据实际数据量来按需分配内存,尽可能减少可能产生的 Dump 操作。
以上内容摘自《“伏羲”神算》电子书,点击https://developer.aliyun.com/topic/download?id=873
边栏推荐
猜你喜欢
如何用100元制作一块全志V853的AI 开发板
Go编译原理系列10(逃逸分析)
如何设计一组会出现死锁(Deadlock)的ABAP程序
Small target stunt | Complete the small target detection upgrade of Yolov5 in the easiest way!
Network Security - nmap
Five minutes to teach you intranet penetration
Configuring vim(12) from scratch - theme configuration
分布式时间槽elastic timeslot架构设计
「开源推荐」一个通用的后台管理系统
参与openEuler社区不到1年,我成为了Maintainer……
随机推荐
Kubernetes应用发布思路分析
fiddler双向认证
TX12 + ExpressLRS 915MHz RC控制链路配置及问题汇总
39页智慧粮库解决方案
简化供采交易路径,B2B电子交易系统实现钢铁行业全链路数字化
[10点公开课]:AV1编码器的优化及其在流媒体和实时通讯中的应用
简单记录openguass_exporter对接prometheus通过grafanai来实现可视化监控
反射获取DLL中的字段、属性、方法、泛型方法(C#)
黑马瑞吉外卖之公共字段自动填充
从零开始配置 vim(12)——主题配置
云原生 · 镜像详解
Go编译原理系列10(逃逸分析)
Through the thermal lens focus on different types of gaussian model
什么是架构基本概念和架构本质
通过热透镜聚焦不同类型的高斯模式
【医学统计学】二项分布
pgr_createTopology
Network Security - nmap
PM2之自动部署
自动售货机