当前位置:网站首页>Flink on Yarn
Flink on Yarn
2022-08-09 17:16:00 【锋火连天】
Flink on Yarn
Flink提供了两种在yarn上运行的模式,分别为Session-Cluster和Per-Job-Cluster模式。
1) Session-cluster 模式

Session-Cluster模式需要先启动集群,然后再提交作业,接着会向yarn申请一块空间后,资源永远保持不变。如果资源满了,下一个作业就无法提交,只能等到yarn中的其中一个作业执行完成后,释放了资源,下个作业才会正常提交。所有作业共享Dispatcher和ResourceManager;共享资源;适合规模小执行时间短的作业。
在yarn中初始化一个flink集群,开辟指定的资源,以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中,除非手工停止。
2) Per-Job-Cluster 模式:

一个Job会对应一个集群,每提交一个作业会根据自身的情况,都会单独向yarn申请资源,直到作业执行完成,一个作业的失败与否并不会影响下一个作业的正常提交和运行。独享Dispatcher和ResourceManager,按需接受资源申请;适合规模大长时间运行的作业。
每次提交都会创建一个新的flink集群,任务之间互相独立,互不影响,方便管理。任务执行完成之后创建的集群也会消失。
边栏推荐
猜你喜欢
随机推荐
AI基础环境搭建和设置总文
低代码平台和专业开发人员——完美搭档?
ceph集群部署
Discuz! Forum program installation + template configuration tutorial
d中简单禁止垃集
MySQL索引的B+树到底有多高?
苦日子快走开
最强分布式锁工具:Redisson
虚拟修补:您需要知道的一切
怎样选择一个好的SaaS知识库工具?
方舟开服务器Vmware虚拟机安装不上?
动态RDLC报表(三)
解决启动项目初始化报错required a bean of type ‘int‘ that could not be found.的问题
方舟单机/管理员特殊物品指令代码大全
怎样选择一个好的SaaS知识库工具?
How to play with container local storage through open-local? | Dragon Lizard Technology
最新!2022版新员工基础安全知识教育培训PPT,企业拿去直接用
十七、一起学习Lua 错误处理
leetcode/链表中环的入口节点
C#介绍及基本数据类型








