XXL-JOB详细说明

2023-11-15

XXL-JOB

常见任务调度

单机:Timer、ExectorService、spring@scheduled

分布式:xxl-job、quartz、elastic-job

原生定时任务的先天缺陷

XXL-JOB简介

由调度中心和执行器组成,调度中心提供一个web管理配置任务和执行器,调度中心通过rpc触发执行器

1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;

2、动态:支持动态修改任务状态、启动/停止任务,以及终止运行中任务,即时生效;

3、路由策略:执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等;

4、故障转移:任务路由策略选择”故障转移”情况下,如果执行器集群中某一台机器故障,将会自动Failover切换到一台正常的执行器发送调度请求。

5、任务超时控制:支持自定义任务超时时间,任务运行超时将会主动中断任务

6、一致性:“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行

7、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件;

8、任务进度监控:支持实时监控任务进度;

架构图

集成XXL-JOB配置

xxl-job调度中心配置内容说明:

### 调度中心JDBC链接:链接地址
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root_pwd
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
### 报警邮箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
spring.mail.username=xxx@qq.com
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory
### 调度中心通讯TOKEN [选填]:非空时启用;
xxl.job.accessToken=
### 调度中心国际化配置 [必填]: 默认为 "zh_CN"/中文简体, 可选范围为 "zh_CN"/中文简体, "zh_TC"/中文繁体 and "en"/英文;
xxl.job.i18n=zh_CN
## 调度线程池最大线程配置【必填】
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
### 调度中心日志表数据保存天数 [必填]:过期日志自动清理;限制大于等于7时生效,否则, 如-1,关闭自动清理功能;
xxl.job.logretentiondays=30

执行器配置:

### 调度中心部署根地址 [选填]:如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调";为空则关闭自动注册;
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### 执行器通讯TOKEN [选填]:非空时启用;
xxl.job.accessToken=
### 执行器AppName [选填]:执行器心跳注册分组依据;为空则关闭自动注册
xxl.job.executor.appname=xxl-job-executor-sample
### 执行器注册 [选填]:优先使用该配置作为注册地址,为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
xxl.job.executor.address=
### 执行器IP [选填]:默认为空表示自动获取IP,多网卡时可手动设置指定IP,该IP不会绑定Host仅作为通讯实用;地址信息用于 "执行器注册" 和 "调度中心请求并触发任务";
xxl.job.executor.ip=
### 执行器端口号 [选填]:小于等于0则自动获取;默认端口为9999,单机部署多个执行器时,注意要配置不同执行器端口;
xxl.job.executor.port=9999
### 执行器运行日志文件存储磁盘路径 [选填] :需要对该路径拥有读写权限;为空则使用默认路径;
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### 执行器日志文件保存天数 [选填] : 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能;
xxl.job.executor.logretentiondays=30

组件:

    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        logger.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppname(appname);
        xxlJobSpringExecutor.setAddress(address);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
        return xxlJobSpringExecutor;
    }

阻塞处理策略

1.单机串行(默认)

调度请求进入单机执行器后,调度请求进入队列并以串行方式运行(上一次还没执行完毕,后面的排队等待)

2.丢弃后续调度(推荐)

调度请求进入单机执行器后,发现执行器存在运行的调度任务,本次请求将会被丢弃并标记为失败

3.覆盖之前的调度(不推荐)

调度请求进入单机执行器后,发现执行器存在运行的调度任务,将会终止运行中的调度任务并清空队列,然后运行本地调度任务

超时时间

如果任务执行的时间超过了设置的超时时间,那么任务会被打断,停止执行

路由策略

路由策略,核心就是xxljob 到底去哪台服务器找任务执行

第一个

当选择该策略时,会选择执行器注册地址的第一台机器执行,如果第一台机器出现故障,则调度任务失败。

使用注册地址列表中的第一个address

最后一个

当选择该策略时,会选择执行器注册地址的最后一台机器执行,如果机器出现故障,则调度任务失败。

轮询

当选择该策略时,会按照执行器注册地址轮询分配任务,如果其中一台机器出现故障,调度任务失败,任务不会转移

一致性HASH

分组下机器地址相同,不同JOB均匀散列在不同机器上,保证分组下机器分配JOB平均;且每个JOB固定调度其中一台机器;

当选择该策略时,每个任务按照Hash算法固定选择某一台机器。如果那台机器出现故障,调度任务失败,任务不会转移。

最不经常使用

对每一个使用的地址进行保存次数,之后按照次数进行从小到大的排序,取出次数小的进行使用,再给当前次数加一,一直这样操作

最近最久未使用

将好久不使用的排到最前面

故障转移

当选择该策略时,按照顺序依次进行心跳检测,如果其中一台机器出现故障,则会转移到下一个执行器,若心跳检测成功,会选定为目标执行器并发起调度

忙碌转移

当要执行的机器正忙(无可执行线程/需要排队),则使用下一个address执行。

当选择该策略时,按照顺序依次进行空闲检测,如果其中一台机器出现故障,则会转移到下一个执行器,若空闲检测成功,会选定为目标执行器并发起调度。

分片广播

这个模式下会对所有的执行器广播这个任务,所有的节点都会接收到调用请求,每个节点可以根据总分片数和当前任务的索引进行相关业务处理

    @XxlJob("testDemo2")
    public ReturnT testDemo2() {
        //index:当前分片序号(从0开始),执行器集群列表中当前执行器的序号
        int index = XxlJobHelper.getShardIndex();
        //total:总分片数,执行器集群的总机器数量
        int total = XxlJobHelper.getShardTotal();
        List<User> dates = query();
        for (User user : dates) {
            if (user.getId().hashCode() % total == index) {
                log.info("当前分片机器序号:{},处理的数据:{}", index, JSONObject.toJSONString(user));
            }
        }
        //返回参数  可用于查看结果、执行成功数等
        XxlJobHelper.handleSuccess("成功");
        return ReturnT.SUCCESS;
    }

调度过期策略

间隔多长时间查询一次数据库合适?

当有查询出了可调度的定时任务时,如果执行了调度且调度时间小于1s时,就会等待1s再执行下一次循环,如果没有执行调度,则等待5s

一个任务下一次执行的时间已经在数据库了,代码拿出来这个值,加5秒,然后和当前时间的秒数进行比较,如果当前时间的秒数 比 下一次执行的时间加5秒还多,那么就是当前任务过期了,既然过期了,那么就要对这个任务做出判断,到底是立即执行,还是忽略

父子任务

父子任务,是指父任务执行后会自动调用子任务,完成一种类似于链式的调用,在使用时只需要配置子任务的ID即可

效果图:

参数传递

    @XxlJob("paramTask")
    public ReturnT paramTask() {
        XxlJobHelper.log(" paramTask的定时任务开始");
        //单个参数
        String param = XxlJobHelper.getJobParam();
        if (StringUtils.isNotBlank(param)) {
            log.info("单个参数:{}", param);
            //多个参数
            String[] params = param.split(",");
            log.info("第一个参数:{}", params[0]);
            log.info("第二个参数:{}", params[1]);
        }
        //返回参数  可用于查看结果、执行成功数等
        XxlJobHelper.handleSuccess("成功");
        return ReturnT.SUCCESS;
    }

日志回调

指执行器在执行任务时可以将执行日志传递给调度中心,即使任务没有执行完成,调度中心也可以看到回调的调度日志内容。更细化的分析任务执行情况

     @XxlJob("logbackTask")
    public ReturnT logbackTask() throws InterruptedException {
        XxlJobHelper.log("当前程序执行到了:{}行", 156);
        Thread.sleep(5000);
        XxlJobHelper.log("当前程序执行到了:{}行", 200);
        Thread.sleep(5000);
        XxlJobHelper.log("当前程序执行完成");
        XxlJobHelper.handleSuccess("成功");
        return ReturnT.SUCCESS;
    }

任务的生命周期

xxl-job支持在调用任务时,第一次调用时先执行指定的方法,然后在执行具体的任务,当执行器停止时会执行指定的方法


    @XxlJob(value="lifeCycleTask",init = "startInit",destroy = "destroy")
    public ReturnT lifeCycleTask() throws InterruptedException {
        log.info("==============生命周期演示============");
        XxlJobHelper.handleSuccess("成功");
        return ReturnT.SUCCESS;
    }
    public void startInit(){
        log.info("第一次调用当前任务时,才会执行,预处理");
    }

    public void destroy(){
        log.info("当执行器停止时才会执行");
    }

XXL-JOB缺点

“调度中心”通过DB锁的形式来保证集群分布式调度的一致性,如果耗时较小的短调度任务很多,随着调度中心集群数量增加,会增大DB的压力,数据库的锁竞争会比较厉害,造成数据库压力,性能下降。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

XXL-JOB详细说明 的相关文章

  • 将链接对象转换为流或集合

    我想迭代堆栈跟踪 堆栈跟踪由可抛出对象组成 其 getCause 返回下一个可抛出对象 最后一次调用 getCause 返回 null 示例 a gt b gt null 我尝试使用 Stream iterable 这会导致 NullPoi
  • Java 创建浮雕(红/蓝图像)

    我正在编写一个 Java 游戏引擎 http victoryengine org http victoryengine org 并且我一直在尝试生成具有深度的 3D 图像 您可以使用那些红色 蓝色眼镜看到 我正在使用 Java2D 进行图形
  • 通过 InjectMocks Spy 注入对象

    我需要对一个类运行一系列单元测试 该类具有 Autowired Logger 实现 实现的基本思想是 Mock Logger logger InjectMocks TestedClass tested 但我想保存日志输出功能 Mockito
  • 如何解决 onEditCommit 事件上的类型不匹配错误?

    我在 Fxml 中使用 onEditCommit 事件在用户编辑数据后检索数据 FXML 代码
  • Spring Stomp over Websocket:流式传输大文件

    我的SockJs客户端在网页中 发送帧大小为16K的消息 消息大小限制决定了我可以传输的文件的最大大小 以下是我在文档中找到的内容 Configure the maximum size for an incoming sub protoco
  • 如何将 XMP XML 块序列化为现有的 JPEG 图像?

    我有许多 JPEG 图像 其中包含损坏的 XMP XML 块 我可以轻松修复这些块 但我不确定如何将 固定 数据写回图像文件 我目前正在使用 JAVA 但我愿意接受任何能让这项任务变得容易的事情 这是目标关于 XMP XML 的另一个问题
  • Java替换特定字符

    这是我在这个网站上的第一个问题 所以我会尽量不要成为一个十足的菜鸟 我目前正在用java 创建刽子手游戏 所以我问你的问题是我们是否被赋予了 幽灵 这个词 并将 Ghost 替换为 hiddenWord ghost length for i
  • cucumber-junit-platform-engine 中的功能文件发现

    In cucumber junit我使用的库 CucumberOptions定义功能文件位置 package com mycompany cucumber import cucumber api CucumberOptions import
  • 尝试在没有 GatewayIntent 的情况下访问消息内容

    我希望每当我写一条打招呼的消息时 机器人都会在控制台中响应一条消息 但它只是给我一个错误 JDA MainWS ReadThread WARN JDA Attempting to access message content without
  • tomcat 过滤所有 web 应用程序

    问题 我想对所有网络应用程序进行过滤 我创建了一个过滤器来监视对 apache tomcat 服务器的请求 举例来说 它称为 MyFilter 我在 netbeans 中创建了它 它创建了 2 个独立的目录 webpages contain
  • jmap - 组织和堆操作会给 jvm 带来开销吗?

    正如标题所述 需要多少开销jmap histo and jmap heap分别带到jvm 如果一个内存敏感的 Java 进程处于OutOfMemory 例如 大约 96 的堆已满 并且无法通过 full gc 清除 其中一项操作是否有可能将
  • OpenJDK 版本控制

    上下文 我想确保我们系统上安装的 Java 不受 CVE 2022 21449 的影响 java version 给出 openjdk version 11 0 7 2020 04 14 LTS OpenJDK Runtime Enviro
  • 从 Stax XMLStreamReader 读取以解组部分

    我正在使用 Stax 游标 API 从大型 xml 文件中提取数据 当前 我转到特殊标签的开头并使用 JAXB 解组该标签 这对于格式良好的 xml 文件效果很好 但不久前我有一个文档 其中数十万个标签中有一个未关闭 JAXB 使用 XML
  • 使用 Java 从 S3 上的文件在 S3 上创建 zip 文件

    我在 S3 上有很多文件 需要对其进行压缩 然后通过 S3 提供压缩文件 目前 我将它们从流压缩到本地文件 然后再次上传该文件 这会占用大量磁盘空间 因为每个文件大约有 3 10MB 而且我必须压缩多达 100 000 个文件 所以一个 z
  • 来自客户端的超时 Web 服务调用

    我正在使用 RestEasy 客户端调用网络服务 一项要求是 如果调用运行时间超过 5 秒 则中止 超时调用 我如何使用 RestEasy 客户端实现这一目标 我只看到服务器端超时 即如果在一定时间内未完成请求 Rest Easy 网络服务
  • 如何移动图像(动画)?

    我正在尝试在 x 轴上移动船 还没有键盘 我如何将运动 动画与boat png而不是任何其他图像 public class Mama extends Applet implements Runnable int width height i
  • struts 教程或示例

    我正在尝试在 Struts 中制作一个登录页面 这个想法是验证用户是否存在等 然后如果有错误 则返回到登录页面 错误显示为红色 典型的登录或任何表单页面验证 我想知道是否有人知道 Struts 中的错误管理教程 我正在专门寻找有关的教程 或
  • 如何将实例变量传递到 Quartz 作业中?

    我想知道如何在 Quartz 中外部传递实例变量 下面是我想写的伪代码 如何将 externalInstance 传递到此作业中 public class SimpleJob implements Job Override public v
  • 为什么 BufferedWriter 不写入文件?

    我有这个代码 String strings Hi You He They Tetrabenzene Caaorine Calorine File file new File G words txt FileWriter fWriter Bu
  • 使用 eclipse IDE 配置 angularjs

    我想开始使用 AngularJs 和 Java Spring 进行开发 我使用 Eclipse 作为 IDE 我想配置我的 Eclipse 以使这些框架无缝工作 我知道我可能要求太多 但相信我 我已经做了很多研究 你们是我最后的选择 任何帮

随机推荐

  • 20210429# Python解释器的下载和安装

    backTo 20210428 工具使用 https blog csdn net qq 17079255 article details 115357016 目录 目标 一 解释器的作用 二 下载Python解释器 三 安装Python解释
  • 华为OD机试 - 数字字符串组合倒序(Java)

    题目描述 对数字 字符 数字串 字符串 以及数字与字符串组合进行倒序排列 字符范围 由 a 到 z A 到 Z 数字范围 由 0 到 9 符号的定义 作为连接符使用时作为字符串的一部分 例如 20 years 作为一个整体字符串呈现 连续出
  • 精选案例

    顺应 十四五 规划中关于 加快金融机构数字化转型 要求 中国人民银行印发了 金融科技发展规划 2022 2025年 近几年来 金融行业牢牢占据着国内产业数字化转型市场投入的榜首位置 IDC调查显示 2022上半年 中国金融云市场规模达到34
  • 实现内存的整页分配

    1 位图和内存池 位图 位图中的一位表示物理内存中的一页是否被分配 API见blog 位图API 内存池 建立内存池对位图进行操作 分配页内存 在分页机制下有虚拟和物理两种地址 分别为了管理 需要创建虚拟内存地址池和物理内存地址池 内存池
  • 2022蓝桥杯省赛b组补题[九进制转十进制],[顺子日期],[刷题统计],[ 修剪灌木]

    九进制转十进制 九进制转十进制 蓝桥云课 lanqiao cn 代码 include
  • RTMP/RTP/RTSP/RTCP的区别

    简介 用一句简单的话总结 RTSP发起 终结流媒体 应用层 RTP传输流媒体数据 传输层 RTCP对RTP进行控制 同步 传输层 之所以以前对这几个有点分不清 是因为CTC标准里没有对RTCP进行要求 因此在标准RTSP的代码中没有看到相关
  • lapack c语言,Visual C ++ 2010和Lapack,Blas库(Visual C++ 2010 and Lapack, Blas libraries)

    Visual C 2010和Lapack Blas库 Visual C 2010 and Lapack Blas libraries 我想使用Blas和Lapack库来使用一些rutines 但我不知道如何在Visual C 2010使用它
  • word2016如何插入目录以及页码

    不废话 直接写入步骤 具体步骤如下 插入目录 第一步 切换到视图 在视图页面点击大纲视图 第二步 左上角设置各个标题的级别 如下 分别点击引用 目录 选择一个即可设置好目录 第二步的图片 从第二页插入页码 双击调出页眉页脚 设置页码格式 起
  • 刃边法计算MTF(ESF、LSF、PSF)

    MTF 调制传递函数 评价一个成像系统目前主流的办法主要有三种TV line检测 MTF检测 和SFR检测 MTF是Modulation Transfer Function的英文简称 中文为调制传递函数 是指调制度随空间频率变化的函数称为调
  • 自学网络安全究竟该从何学起?

    一 为什么选择网络安全 这几年随着我国 国家网络空间安全战略 网络安全法 网络安全等级保护2 0 等一系列政策 法规 标准的持续落地 网络安全行业地位 薪资随之水涨船高 未来3 5年 是安全行业的黄金发展期 提前踏入行业 能享受行业发展红利
  • IDEA旗舰版安装与概述

    1 IDEA介绍 IDEA 全称 IntelliJ IDEA 是java编程语言开发的集成环境 IntelliJ在业界被公认为最好的java开发工具 尤其在智能代码助手 代码自动提示 重构 JavaEE支持 各类版本工具 git svn等
  • Cobalt Strike Malleable C2

    郑重声明 本笔记编写目的只用于安全知识提升 并与更多人共享安全知识 切勿使用笔记中的技术进行违法活动 利用笔记中的技术造成的后果与作者本人无关 倡导维护网络安全人人有责 共同维护网络文明和谐 Cobalt Strike Malleable
  • 代码技巧——如何关闭订单?延迟任务的实现方案【建议收藏】

    先思考个问题 为什么要关闭订单 业务上 1 提供待付款时间 而不是简单的 一次付款机会 提高业务指标之一的成单率 成单率 成功下单的人数 发起支付的人数 2 下单成功意味着这个商品被当前订单占用 库存已经预扣减 如果迟迟不支付则需要回收库存
  • ‘WiFi‘ was not declared in this scope报错处理方法

    造成原因 文件头没有定义相应的函数或变量 处理办法 文件头添加以下代码 include
  • java 对称的二叉树

    1 对称的二叉树 1 题目描述 请实现一个函数 用来判断一颗二叉树是不是对称的 注意 如果一个二叉树同此二叉树的镜像是同样的 定义其为对称的 2 解题思路 可以按照类似层次遍历 来判断是否是堆成二叉树 首先根节点以及其左右子树 左子树的左子
  • SpringBoot 防止XSS攻击和SQL攻击拦截器(Filter)

    什么是SQL攻击 什么是XSS攻击 SQL 攻击 把SQL命令插入到Web表单并提交 欺骗服务器执行恶意的SQL命令 XSS 攻击 向有XSS漏洞的网站中输入 传入 恶意的HTML代码 当其它用户浏览该网站时 这段HTML代码会自动执行 从
  • SpringBoot整合ElasticSearch(二)

    文章目录 es的批量操作 es的重中之重 查询 es与springboot集成 es的批量操作 bulk批量操作 导入数据 分析与创建索引 PUT goods mappings properties title type text anal
  • 如何渲染精美3D PCB图

    简介 现在网上大部分PCB渲染方法都比较麻烦 并且会有丝印不清晰 或者走线与铜皮不显现问题 现在分享一种简单有效的PCB渲染方法 图为渲染效果图 工具或材料 AD keyshot 一个带3D封装图的PCB文件 具体步骤 1 AD端操作 在P
  • 写出你所知道的测试工具,并写出他们的用途和优缺点

    写出你所知道的测试工具 并写出他们的用途和优缺点 Jmeter Apache JMeter是Apache组织开发的基于Java的压力测试工具 Apache jmeter 可以用于对静态的和动态的资源 文件 Servlet Perl脚本 ja
  • XXL-JOB详细说明

    XXL JOB 常见任务调度 单机 Timer ExectorService spring scheduled 分布式 xxl job quartz elastic job 原生定时任务的先天缺陷 XXL JOB简介 由调度中心和执行器组成