Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
如何动态创建 Luigi 任务
我正在为 Luigi Tasks 构建一个包装器 但遇到了一个障碍Register http luigi readthedocs io en stable modules luigi task register html Register该
python
pickle
luigi
如何忽略在另一个任务的 run() 内触发的 Luigi 任务的失败
考虑以下任务 import luigi class YieldFailTaskInBatches luigi Task def run self for i in range 5 yield FailTask i j for j in ra
python
ETL
luigi
Python脚本仅在Docker中产生僵尸进程
我有相当复杂的设置 Luigi https github com spotify luigi https github com spotify luigi https github com kennethreitz requests htm
python
Googlechrome
Docker
zombieprocess
luigi
如何在 Luigi 中启用动态需求?
我在 Luigi 中构建了一个任务管道 由于该管道将在不同的上下文中使用 因此可能需要在管道的开头或结尾包含更多任务 甚至任务之间的依赖关系完全不同 就在那时我想 嘿 为什么要在我的配置文件中声明任务之间的依赖关系 所以我在 config
python
python3x
luigi
使用Luigi,如何读取PostgreSQL数据,然后将这些数据传递到工作流程中的下一个任务?
Using Luigi https github com spotify luigi 我想定义一个具有两个 阶段 的工作流程 第一个从 PostgreSQL 读取数据 第二个对数据做了一些事情 因此我从子类化开始luigi contrib
python
postgresql
luigi
Luigi:如何将不同的参数传递给叶任务?
这是我第二次尝试了解如何在 Luigi 中将参数传递给依赖项 第一个是here https stackoverflow com questions 64837259 luigi how to pass arguments to depend
python
ETL
pipeline
luigi
AWS Step Functions 与 Luigi 的编排对比
我的团队有一个针对小型项目的整体服务 但为了重新架构和扩展 我们计划迁移到 Amazon AWS 的云服务 并评估编排是否将 Luigi 作为容器任务运行或使用 AWS Step Functions 我对他们中的任何一个都没有任何经验 尤其
amazonwebservices
awsstepfunctions
luigi
orchestration
如何使用 Spark-Submit 和 pyspark 运行 luigi 任务
我有一个luigipython 任务 其中包括一些 pyspark 库 现在我想用spark submit在mesos上提交这个任务 我应该做什么来运行它 下面是我的代码框架 from pyspark sql import function
python
apachespark
PySpark
luigi
python luigi 意外死亡,退出代码为 -11
我有一个数据管道luigi如果我让 1 名工人来完成这项任务 效果就非常好 但是 如果我放置 gt 1 个工作线程 那么它会在具有 2 个依赖项的阶段中死亡 意外地退出代码为 11 代码相当复杂 因此很难给出最小的示例 问题的要点是我正在做
python
textmining
gensim
luigi
如何使用Luigi持续更新目标文件?
我最近开始玩Luigi 我想了解如何使用它不断地将新数据附加到现有的目标文件中 想象一下 我每分钟都会 ping 一个 api 来检索新数据 因为一个Task仅在以下情况下运行Target尚不存在 一个简单的方法是通过当前参数来参数化输出文
python
luigi
Luigi Pipeline 从 S3 开始
我的初始文件位于AWS S3 有人能指出我如何在一个Luigi Task 我查看了文档并发现luigi S3但我不清楚该怎么办 然后我在网上搜索 只得到链接mortar luigi并在 luigi 之上实施 UPDATE 按照为 matag
python
amazons3
luigi
无法 pickle
:abc 上的属性查找 class_name 失败
当我尝试根据字典 cmdList 中定义的依赖关系创建依赖关系 子任务 时 出现上述错误 例如 BDX010 是 BDX020 的依赖项 我使用的是 Python 3 7 请参阅底部的堆栈跟踪以获取确切的错误消息 import luigi
python
luigi
Luigi - 覆盖任务需要/输入
我正在使用 luigi 执行一系列任务 如下所示 class Task1 luigi Task stuff luigi Parameter def output self return luigi LocalTarget test json
python
pipeline
luigi