当前位置:网站首页>Apache DolphinScheduler 3.0.0 正式版发布!
Apache DolphinScheduler 3.0.0 正式版发布!
2022-08-10 19:08:00 【InfoQ】
- 更快:重构了 UI 界面,新 UI 不仅用户响应速度提高数十倍,开发者构建速度提高数百倍;
- 更强:带来了许多振奋人心的新功能,如数据质量保证、自定义时区、新增多个任务支持和多个告警插件;
- 更现代化:新 UI 除了更快外,大到页面布局,细到图标样式都更加现代化;
- 更易维护:后端服务拆分更加符合容器化和微服务化的发展趋势,还能明确各个服务的职责,让维护更加简单。
新功能和新特性
AWS 支持
- 针对Amazon EMR,我们创建了一个新的任务类型,并提供了其 Run Job Flow 的功能,允许用户向 Amazon EMR 提交多个 steps 作业,并指定使用的资源数量。
- 对于Amazon Redshift,我们目前在 SQL 任务类型中扩展了对 Amazon Redshift 数据源的支持,现在用户可以在 SQL 任务中选择 Redshift 数据源来运行 Amazon Redshift 任务。
- 对于Amazon S3,我们扩展了 Apache DolphinScheduler 的资源中心,使其不仅能支持本地资源、HDFS 资源存储,同时支持 Amazon S3 作为资源中心的储存。详情可见:https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/guide/resource.html中的 `resource.storage.type`
服务拆分
- master-server: master服务
- worker-server: worker服务
- api-server: API服务
- alert-server: 告警服务
- standalone-server: standalone用于快速体验 dolphinscheduler 功能
- ui: UI资源
- bin: 快速启动脚本,主要是启动各个服务的脚本
- tools: 工具相关脚本,主要包含数据库创建,更新脚本
`bin/dolphinscheduler-daemon.sh`
数据质量保证
任务组
自定义时区
任务定义列表
新告警类型支持
Python API 新功能
# environment variable
export PYDS_JAVA_GATEWAY_ADDRESS="192.168.1.1"
export PYDS_WORKFLOW_USER="custom-user"
# file change
Directly change ~/pydolphinscheudler/config.yaml
# CLI
pydolphinscheduler config --set java_gateway.address 192.168.1.1
pydolphinscheduler config --set java_gateway.address 192.168.1.1 --set java_gateway.port 25334
# version
pydolphinscheduler verison
# 3.0.0
# config
pydolphinscheduler config --get java_gateway.address --get java_gateway.port
# The output look like below:
# java_gateway.address = 127.0.0.1
# java_gateway.port = 25333
pydolphinscheduler config --set java_gateway.address 192.168.1.1 --set java_gateway.port 25334
此前版本未公布的功能和特性更新
新增 Zepplin 任务类型
Bash 传参功能
lines_num=$(wget https://raw.githubusercontent.com/apache/dolphinscheduler/dev/README.md -q -O - | wc -l | xargs)echo "#{setValue(set_val_var=${lines_num})}"
允许用户上传没有后缀的文件
其他功能增强
- 任务后端插件优化,新插件只需要修改插件自带的模块
- 在工作流下提交/创建 cron 时验证结束时间和开始时间
- Dependent 添加依赖时可以选择全局项目
- AlertSender 优化及关闭优化,如 MasterServer
- 增加 slot 条件查询数据库, 减少返回数据记录
- 通过将 python gatewar 迁移到 apiserver 来精简 dist 包
- [python] 将 pythonGatewayServer 迁移到 api 服务器
- [python] 添加缺失的配置和连接远程服务器文档
- [Master/Worker] 将任务 ack 更改为运行回调
- [Master] 添加任务事件线程池
- 修复使用 S3a Minio 创建租户失败的问题
- 修复文本文件 busy 的问题
- 修复项目授权时生成一个重复授权项目的问题
- 修复因无法连接到 postgresql 而启动服务器失败的问题
- 修复消息显示找不到数据源插件“Spark”的问题
- 修复 MapReduce 生成的命令内置参数位置错误的问题
- 解决更改参数用户,队列在 ProcessDefinition 中失效的问题
- 解决使用依赖组件的进程无法在测试和生产环境之间迁移
- 解决了资源文件删除条件的问题
- 修复编辑复制节点的表单时影响原始节点数据的问题
- 解决了 Worker 资源耗尽并导致停机的问题
- 解决了某些类型的警报无法显示项目名称的问题
- 3.0.0 各个部署方式出现的问题
- 任务组为空时页面报错问题
- treemap 视图深度错误问题
- 告警信息不明确问题:告警组为空时报错信息不明确,批量删除工作流有异常时报错信息不明确,租户内容错长的错误提示,删除
- 参数校验问题:数据源中心的参数校验问题,修改密码时密码不一致提示,发告警前校验 alert scriptb
- Python api:不能设置 release state 问题,本地参数有值但是校验失败问题
- token 查询不遵循时区问题
- 修复 HTTPS 和 HTTP 字符串识别问题
- 修复 alert server 健康监测失效问题
- 修复 condition 任务分支失败问题
- 修复 docker 镜像不支持多平台问题
- 修复带有任务组优先级的工作流创建时不能正确写数据库的问题
- master 任务的失效问题
- 修复串行等待不运行的问题
- 时区问题:调度时区错误问题,日志增加时区支持
- 重新运行、暂停工作流实例失败问题
- 资源中心实例化失败问题
- 修复邮件告警模板分隔线问题
- 修复Standalone模式下数据初始化问题
- 修复监控中心DB不存在时的页面展示问题
- 修复创建工作流参数无效问题
- 修复K8S部署时zookeeper端口异常问题
- 修复Standalone模式下服务启动失败问题
- 修复LDAP登录失败问题
- Python api: 修复同一个项目下不同工作流的任务组件名称不支持重名问题
- Python api: 修复SQL任务组件SQL类型错误问题
- 修复资源文件重命名表单异常问题
- 修复根据定时设置获取工作流可执行时间错误问题
- 升级了Logback、Log4j等模块依赖
- 修复任务失败问题
- 修复好HDFS NPE 问题
- 修复任务组异常导致master死锁问题
- 修复一些列稳定性问题
文档修改
- 更正部署文档
- 修复、更新部分使用文档:WebexTeams 中文文档,本地参数、全局参数文档,Kubernetes FAQ 文档,Spark 注意事项文档,DataX 使用文档,删除 Flink API 文档,修复 open-api 的错误,修复数据质量中的错误文档;新增 stand-alone 切换数据库文档;新增 shell 中判断 Yarn 运行状态文档;新增更新系统截图; 参数传递、全局参数、参数优先级文档,告警组件向导、Telegram、钉钉告警文档,告警FAQ文档,Shell组件文档,Switch任务组件文档,资源中心配置详情文档,工作流定义补数文档
- 更正部分开发文档:明确支持的操作系统,修复开发环境搭建文档,新增自己构建 docker 镜像文档
Release note
边栏推荐
- 【LeetCode】42、接雨水
- 血红素-金纳米颗粒(Heme-AuNP)复合纳米酶|金纳米颗粒核多孔空心碳纳米球壳([email protected])纳米酶
- [Natural Language Processing] [Vector Representation] PairSupCon: Pairwise Supervised Contrastive Learning for Sentence Representation
- 运维面试题(每日一题)
- 1D Array Dynamics and Question Answers
- Multifunctional Nanozyme Ag/PANI | Flexible Substrate Nano ZnO Enzyme | Rhodium Sheet Nanozyme | Ag-Rh Alloy Nanoparticle Nanozyme | Iridium Ruthenium Alloy/Iridium Oxide Biomimetic Nanozyme
- “蔚来杯“2022牛客暑期多校训练营7 F
- (十)图像数据的序列与反序列化
- Transferrin-modified osthole long-circulating liposomes/PEG-PLGA nanoparticles loaded with notoginsenoside R1 ([email prot
- 2022 Hangdian Multi-School Seven Black Magic (Sign-in)
猜你喜欢
优化是一种习惯●出发点是'站在靠近临界'的地方
FEMRL: A Framework for Large-Scale Privacy-Preserving Linkage of Patients’ Electronic Health Rec Paper Summary
电脑开不了机是什么原因?
铱钌合金/氧化铱仿生纳米酶|钯纳米酶|GMP-Pd纳米酶|金钯复合纳米酶|三元金属Pd-M-Ir纳米酶|中空金铂合金纳米笼核-多空二氧化硅壳纳米酶
《分布式微服务电商》专题(一)-项目简介
【知识分享】在音视频开发领域中SEI到底是个啥?
Pt/CeO2 monatomic nanoparticles enzyme | H - rGO - Pt @ Pd NPs enzyme | carbon nanotube load platinum nanoparticles peptide modified nano enzyme | leukemia antagonism FeOPtPEG composite nano enzyme
常见端口及服务
uni-app 数据上拉加载更多功能
Keras深度学习实战(17)——使用U-Net架构进行图像分割
随机推荐
opengrok搭建[通俗易懂]
About npm/cnpm/npx/pnpm and yarn
[Go WebSocket] 你的第一个Go WebSocket服务: echo server
【C#】WCF和TCP消息通信练习,实现群聊功能
报错:runtime error: reference binding to null pointer of type ‘std::vector<int, std::allocator<int>>‘
[CNN] Brush SOTA's trick
优雅退出在Golang中的实现
代理模式的使用总结
一维数组动态和问题答记
[教你做小游戏] 只用几行原生JS,写一个函数,播放音效、播放BGM、切换BGM
flask生成路由的2种方式和反向生成url
(10) Sequence and deserialization of image data
洛谷 P1629 邮递员送信 (三种最短路)
怎么完全卸载赛门铁克_Symantec卸载方法,赛门铁克卸载「建议收藏」
杭电多校七 1003-Counting Stickmen(组合数学)
铁蛋白颗粒Tf包载多肽/凝集素/细胞色素C/超氧化物歧化酶/多柔比星(定制服务)
电脑如何去掉u盘写保护的状态
Hangdian Multi-School Seven 1003-Counting Stickmen (Combination Mathematics)
uni-app 数据上拉加载更多功能
『牛客|每日一题』岛屿数量