Distributed timing task technology selection

1、The current schedule of tasks

JavaMost use in developmentSpring-Scheduler,只需要在Spring中的beanThe corresponding method is [email protected] can complete our timed task,But just using this annotation is far from guaranteeing that the scheduled task will be executed multiple times,We need some other means of reassurance,In general, the methods may be nothing more than the following（都是基于Spring的项目来说）：

• 一台机器,We can assign some less important timed tasks,Can be hosted using a dedicated service desk,Then use a single machine to run,Even if it hangs, we can restore it within an acceptable time,Our business will not be affected.
• 多台机器,加分布式锁,As long as we first acquire a distributed lock when we execute the task,如果获取失败那么久证明有其他服务已经再运行,如果获取成功那么证明没有服务在运行定时任务,那么就可以执行.
• 多台机器,利用ZooKeeper对LeaderMachines perform timed tasks,There are many businesses that already use itZK,那么执行定时任务的时候判断自己是否是Leader,如果不是则不执行,如果是则执行,这样也能达到我们的目的.

2、遇到的问题

• Currently we use timed tasks,If you want it to be executed immediately,At this time, you may need to write another oneRestinterface or write a separate oneJob.
• Another is that we need to change the execution time of the scheduled task,For example, there is now a demand from every12Executed once per hour becomes every6小时执行一次,We have to modify the code again,提交SVN,然后打包上线,It takes us a lot of time to just modify one time.
• There is no way to pause our cron task,There may be some problems with our timed tasks,For example, some timing alarm requirements,When the alarm suddenly becomes a lot,At this time, you need to pause for a while to stop sending alarms,At this time, we may be able to use some distributed configuration switches to do it,In the logic, it is judged whether the timed task switch is turned on,然后来做.It's simpler to do so,But we need to add some new logic that is not related to the task.
• Lack of monitoring of timed tasks,The developer has no way of knowing after a mission failure

3、常见的开源方案

3.1 elastic-job

elastic-job 是由当当网基于quartz 二次开发之后的分布式调度解决方案 , 由两个相对独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成 .

Elastic-Job-Lite定位为轻量级无中心化解决方案,使用jar包的形式提供分布式任务的协调服务.

Elastic-Job-Cloud使用Mesos + Docker(TBD)的解决方案,额外提供资源治理、应用分发以及进程隔离等服务

亮点：

1. 基于quartz 定时任务框架为基础的,因此具备quartz的大部分功能
2. 使用zookeeper做协调,调度中心,更加轻量级
3. 支持任务的分片
4. 支持弹性扩容 , 可以水平扩展 , 当任务再次运行时,会检查当前的服务器数量,重新分片,分片结束之后才会继续执行任务
5. 失效转移,容错处理,当一台调度服务器宕机或者跟zookeeper断开连接之后,会立即停止作业,然后再去寻找其他空闲的调度服务器,来运行剩余的任务
6. 提供运维界面,可以管理作业和注册中心.

elastic-job结合了quartz非常优秀的时间调度功能,并且利用ZooKeeper实现了灵活的分片策略.除此之外,还加入了大量实用的监控和管理功能,

以及其开源社区活跃、文档齐全、代码优雅等优点,是分布式任务调度框架的推荐选择.

由于elastic-job-lite Adding jobs dynamically is not supported,Paste here onlyelastic-job-Cloud架构图：

官方文档地址：https://shardingsphere.apache.org/elasticjob/current/cn/overview/

3.2 xxl-job

由个人开源的一个轻量级分布式任务调度框架 ,主要分为 调度中心和执行器两部分 , 调度中心在启动初始化的时候,会默认生成执行器的RPC代理对象（http协议调用）, 执行器项目启动之后, 调度中心在触发定时器之后通过jobHandle 来调用执行器项目里面的代码,核心功能和elastic-job差不多,同时技术文档比较完善,系统架构图如下：

官方文档地址：分布式任务调度平台XXL-JOB

3.3 quartz

quartz 的常见集群方案如下,通过在数据库中配置定时器信息, 以数据库悲观锁的方式达到同一个任务始终只有一个节点在运行,

优点：

1. 保证节点高可用 （HA）, 如果某一个几点挂了, 其他节点可以顶上

缺点：

1. 同一个任务只能有一个节点运行,其他节点将不执行任务,性能低,资源浪费
2. 当碰到大量短任务时,各个节点频繁的竞争数据库锁,节点越多这种情况越严重.性能会很低下
3. quartz 的分布式仅解决了集群高可用的问题,并没有解决任务分片的问题,不能实现水平扩展

3.4 Saturn

Saturn是唯品会在github开源的一款分布式任务调度产品.它是基于当当elastic-job 1.0版本来开发的,其上完善了一些功能和添加了一些新的feature.

亮点：

1. 支持多语言开发 python、Go、Shell、Java、Php.
2. 管理控制台和数据统计分析更加完善

缺点：

1. 技术文档较少 , 该框架是2016年由唯品会的研发团队基于elastic-job开发而来的

3.5 opencron

一个功能完善真正通用的linux定时任务调度定系统,满足多种场景下各种复杂的定时任务调度,同时集成了linux实时监控,webssh,提供一个方便管理定时任务的平台

缺点：仅支持 kill任务, 现场执行,查询任务运行状态 等, 主要功能是着重于任务的修改和查询上. 不能动态的添加任务以及任务分片.

3.6 antares

优点：

1. 一个任务仅会被服务器集群中的某个节点调度,调度机制基于成熟的 quartz
2. 并行执行 , 用户可通过对任务预分片,有效提升任务执行效率
3. 失效转移
4. 弹性扩容,在任务运行时,可以动态的加机器
5. 友好的管理控制台

缺点：

1. 不能动态的添加任务,仅能在控制台对任务进行触发,暂停,删除等操作
2. 文档不多,开源社区不够活跃

系统架构图如下：

4、Comparison of several open source solutions

 If you know other distributed timing task middleware,欢迎评论给出,相互交流,一起成长！