程序员经验分享-hwhale

Airflow task 指定执行的worker节点

2023-05-16

1、airflow.cfg：executor = CeleryExecutor

2、启动worker时添加-q 队列名：airflow celery worker -q kettle_carte

shell = BashOperator(
    task_id = 'shell',
    queue = '队列名',
    bash_command = 'date ',
    dag = dag)

worker可以指定一个或多个任务队列。启动工作程序时（使用命令airflow worker），可以指定一组用逗号分隔的队列名称（例如airflow worker -q spark）。然后，此worker将仅执行指定队列的任务。

也就是说我们在启动这个节点上的worker的时候，加一个参数 -q test_spark，但是在airflow.cfg中不做修改，被标志test_spark的任务将会在这个节点上执行，并且在元数据中，queue列也会显示test_spark，而其他没有定义队列的task，将会按照airflow.cfg中default_queue参数配置进行，也就是说并不是这个worker打了test_spark的标签就只能执行带有test_spark队列标签的任务，只是这样的任务一定会在这个worker执行，其他task会按照airflow.cfg中定义的进行。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Airflow task 指定执行的worker节点 的相关文章

随机推荐

  • Jupyter Notebook介绍、安装及使用教程

    目录 一 什么是Jupyter Notebook xff1f 1 简介 Jupyter Notebook是基于网页的用于交互计算的应用程序 其可被应用于全过程计算 xff1a 开发 文档编写 运行代码和展示结果 Jupyter Notebo

  • Python读取XML

    From http www cnblogs com fnng p 3581433 html 关于python读取xml文章很多 xff0c 但大多文章都是贴一个xml文件 xff0c 然后再贴个处理文件的代码 这样并不利于初学者的学习 xf

  • matlab解决中文显示乱码

    matlab很多函数在读取中文后显示乱码 xff0c 为了显示中文 xff0c 应改为UTF 8方式或其他支持中文的编码方式 xff0c 这在Matlab中的操作为 xff1a slCharacterEncoding 39 UTF 8 39

  • Matlab写TIFF格式文件（多于3波段）

    1 起因 通常情况下 xff0c 使用MATLAB做图像处理后 xff0c 使用下面的命令就可以保存处理结果为图片 imwrite im 39 im bmp 39 而如果需要保存的图像为single或者double类型 xff0c 或保存的

  • Python包设置清华源（pip, anaconda等）

    pip设置清华源 pypi 镜像每 5 分钟同步一次 临时使用 pip install i https pypi tuna tsinghua edu cn simple some package 注意 xff0c simple 不能少 是

  • shapefile字符集编码设置

    http zhihu esrichina com cn article 3 在 ArcGIS Desktop ArcMap ArcCatalog and ArcToolbox 中 xff0c 有编码页转换功能 xff08 CODE PAGE

  • pyhton 遍历文件夹，筛选文件

    如果我们需要遍历一个文件夹下的所有文件 xff0c 子文件夹里的内容 xff0c 用Python来实现 xff0c 很方便 xff0c 主要使用os walk folder xff0c 其中folder 是文件夹的路径 xff1a 先看代码

  • VINS 详解

    VINS是视觉与IMU融合SLAM的代表 xff0c 其实现了一个较为完整的SLAM工作 xff0c 开源地址为 xff1a GitHub HKUST Aerial Robotics VINS Mono A Robust and Versa

  • Python OS 文件/目录方法

    From http www runoob com python os file methods html os 模块提供了非常丰富的方法用来处理文件和目录 常用的方法如下表所示 xff1a 序号方法及描述1 os access path m

  • Python 异常处理

    From http www runoob com python python exceptions html python提供了两个非常重要的功能来处理python程序在运行中出现的异常和错误 你可以使用该功能来调试python程序 异常处

  • deeplabV3+源码分解学习

    From horsetif https www jianshu com p d0cc35b3f100 github上deeplabV3 43 的源码是基于tensorflow xff08 slim xff09 简化的代码 xff0c 是一款

  • 常用颜色名称与RGB数值对照表

    From http xh 5156edu com page z1015m9220j18754 html 颜色名 中文名称 Hex RGB 十进制 Decimal LightPink 浅粉红 FFB6C1 255 182 193 Pink 粉

  • c#调用C++DLL EntryPointNotFoundException 找不到入口点

    From http www voidcn com article p kqogmify rh html c 程序调用C 43 43 的dll的时候 xff0c 经常出现这样的问题 xff1a System EntryPointNotFoun

  • 混洗numpy.random.shuffle()与numpy.random.permutation()的区别

    参考API xff1a https docs scipy org doc numpy reference routines random html 1 numpy random shuffle API中关于该函数是这样描述的 xff1a M

  • 以time/gettimeofday系统调用为例分析ARM64 Linux 5.4.34

    目录 1 准备工作 2 触发系统调用 2 1依据 amp 分析 2 2构造代码 2 3触发系统调用 3 分析系统调用 3 1中断处理分析 xff08 保存现场 xff09 3 2内核堆栈pt regs xff08 保存现场 xff09 3

  • Kettle连接Access抽取数据到MS SQLServer

    软件准备 xff1a kettle5 1 access xff08 32位 xff09 jdk1 7 xff08 32位 xff09 软件位数需要一致 xff0c 不要求操作系统位数 搭建流程 xff1a 1 access新建表 2 准备a

  • python2 linux 解析文本乱码或UnicodeDecodeError: ‘ascii’ codec can’t decode byte

    linux乱码 xff0c 加下面两行 reload sys sys setdefaultencoding 39 utf 8 39 open 加参数errors 61 39 ignore 39 file init 61 io open fi

  • doris stream load

    package uhp import java io IOException import java nio charset StandardCharsets import org apache commons codec binary B

  • windows11安装卡TPM2.0的解决方案——待测试

    windows11安装卡TPM2 0的解决方案 下载官方win10镜像 xff0c 解压后找到sources文件夹 里的appraiserres dll文件 xff0c 然后复制给win11镜像 相同目录 查到的方法 xff0c 尚未测试

  • Airflow task 指定执行的worker节点

    1 airflow cfg xff1a executor 61 CeleryExecutor 2 启动worker时添加 q 队列名 xff1a airflow celery worker q kettle carte shell 61 B

热门标签