当前位置:网站首页>OpenMLDB v0.5.0 发布 | 性能、成本、灵活性再攀高峰
OpenMLDB v0.5.0 发布 | 性能、成本、灵活性再攀高峰
2022-08-11 05:25:00 【第四范式开发者社区】
OpenMLDB v0.5.0 于近期正式发布,性能和功能实现重大优化更新和升级。
三大核心升级带来性能、成本、灵活性的全面优化:
在线性能数量级提升:引入预聚合技术,优化长窗口实时处理效率
低成本落地选择:线上引擎引入基于外存的存储引擎
使用场景灵活性扩展:支持用户自定义函数(UDF)开发
升级一:预聚合技术,优化长窗口实时处理效率
应用场景:一个时间窗口内包含上百万条记录的业务场景(比如横跨数年的长时间窗口),基于纯计算的特征生成方式会带来较高的延迟,并且可能包含了大量的重复计算。
版本升级:OpenMLDB v0.5.0 版本引入全新的预聚合技术,在数据到达时,由数据驱动计算,实时更新预聚合表,大幅节省实时计算时的工作量,部分场景实现超10倍的性能提升。
升级二:线上引擎引入基于外存的存储引擎
应用场景:对于成本较为敏感,但是可以容忍一定性能下降的场景(OpenMLDB 的线上引擎默认使用自研的高性能内存时序数据存储引擎。基于内存的存储引擎虽然带来了极致的存取性能,但是当数据量较大时,内存会带来显著的成本开销)。
版本升级:OpenMLDB v0.5.0 引入了基于外存的存储引擎作为一个额外的选择,使用基于 HDD/SSD 的存储引擎,可将 OpenMLDB 整体的使用成本降低75%以上。
升级三:支持用户自定义函数(UDF)开发
应用场景:非常复杂的应用场景(OpenMLDB 虽然提供了扩展的 SQL 用于特征开发,但是对于非常复杂的场景,依然可能存在表达能力不足的情况,导致用户场景无法上线)。
版本升级:OpenMLDB v0.5.0 版本开放了基于 C/C++ 的用户自定义函数(UDF)的功能,并且支持动态注册。用户的复杂场景可轻松通过 UDF 扩展实现,突破原有 SQL 表达能力的限制。
预告 | 测试报告
OpenMLDB 第一版官方性能基准测试报告将于近期发布,带你详细了解不同场景下 OpenMLDB 的预期性能表现,敬请关注~
预告 | OpenMLDB Kafka Connector
OpenMLDB Kafka Connector已完成开发,原理及操作指南也将于近期发布,欢迎关注~
相关链接:
OpenMLDB 官网:OpenMLDB - 生产级特征开发全栈解决方案
OpenMLDB v 0.5.0:Release v0.5.0 · 4paradigm/OpenMLDB · GitHub
边栏推荐
猜你喜欢
Safety helmet recognition system
STM32F4-正点原子探索者-SYSTEM文件夹下的delay.c文件内延时函数详解
stm32-WS2812 PWM+DMA(自己写库函数)
NUC980-镜像烧录
自定义形状seekbar学习
STM32F407-浅~~析UART异步通信&USART_Init函数入口参数
Maykel Studio - Django Web Application Framework + MySQL Database Third Training
关于openlayer中swipe位置偏移的问题
OpenPCDet installs the latest version: spconv in one step
Safety helmet recognition - construction safety "regulator"
随机推荐
The kernel communicates with user space through character devices
ActiveReports报表分类之页面报表
Toward a Unified Model
CMT2380F32模块开发3-GPIO例程
Maykle Studio - HarmonyOS Application Development Third Training
EMQX企业版试用笔记
STM32学习总结(一)——时钟RCC
论文解读TransFG: A Transformer Architecture for Fine-grained Recognition
Typescript学习日记,typescript从基础到进阶(第一章)
Zhejiang University School of Software 2020 Guarantee Research Computer Real Question Practice
STM32学习笔记(白话文理解版)—按键控制
产品版本号是如何确定的
Diagnostic Log and Trace——为应用程序和上下文设置日志级别的方法
目标检测思维导图
Reconstruction and Synthesis of Lidar Point Clouds of Spray
CMT2380F32模块开发7-reset例程
STM32F4-正点原子探索者-SYSTEM文件夹下的delay.c文件内延时函数详解
CMT2380F32模块开发9-可编程计数阵列 PCA例程
STM32F407-浅~~析UART异步通信&USART_Init函数入口参数
产品如何拟定优化方案?