Azure 数据工厂 - 多个文件/blob 上基于事件的触发器

2024-04-23

当在 Blob 容器内的文件夹中创建新文件/Blob 时,我将通过基于事件的触发器调用 ADF V2 管道。

Blob 容器结构:

Blob 容器 -> 文件夹名称 ->

-> 文件1.csv

-> 文件2.csv

-> 文件3.csv

我使用以下配置创建了触发器:

集装箱名称:斑点容器

Blob 路径开头为:文件夹名称/

Blob 路径结尾为:.csv

已检查事件:已创建 Blob

触发截图 https://i.stack.imgur.com/ykrSB.png

Problem:文件夹中临时创建了三个 csv 文件。调用管道的触发器运行 3 次(可能是因为创建了 3 个 blob)。管道实际上将文件移动到另一个 Blob 容器中。因此,第一个触发器运行成功,其余 2 个触发器运行失败,因为文件已被移动。但是,如何配置触发器,使其仅在每个文件夹中运行一次,即使在其中创建了 3 个文件?

由于这些文件是一起生成的,因此我需要使用 ADF 将它们一起移动到新位置。


您的 blobEventTrigger 触发了每个文件的管道,为此,您可以使用“查找活动”来获取文件名,然后使用过滤器活动,该活动过滤所需的文件名并提供可以在 IF 活动中检查的 filterdItemCounts 属性。当没有文件时,filterdItemCounts 返回“0”并且您的管道不会触发。

概括- 查找活动 -> 筛选活动 -> IF 活动 -> 您的管道

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Azure 数据工厂 - 多个文件/blob 上基于事件的触发器 的相关文章

  • 在 CloudBlobContainer 中找不到 Listblob()

    在我的应用程序中 我想要容器的所有 blob 但在我的代码中 如下所示 CloudBlobContainer 变量容器中没有 Listblob 方法 我错过了什么吗 var credentials new StorageCredential
  • 如何在活动之前增加 Azure 数据工厂中的参数?

    我正在访问一个 RESTful API 该 API 使用 HTTP 连接器以 50 组为一组进行分页 REST 连接器似乎不支持客户端证书 因此我无法在其中使用分页 我有一个名为的管道变量SkipIndex默认为 0 在 Until 循环内
  • 如何从 Azure 数据工厂连接到 Firebird/InterBase (Syntess) 数据库?

    在 ADF 中 我创建了一个管道 源是 ODBC 表或查询 下一步是创建链接服务 集成运行时已创建并选择 如下所示 现在问题来了 我应该输入什么连接字符串 尝试与Server 192 168 1 35 Database dbname DSN
  • Azure 存储 SAS 身份验证失败

    我有一个私有的 azure 存储容器 并且正在尝试 azure 存储 SAS 以便我可以上传和下载文件 我能够生成签名 但它总是向我抛出身份验证失败错误 AuthenticationFailed服务器无法验证请求 确保授权标头的值格式正确
  • Azure Databricks:访问防火墙后面的 Blob 存储

    我正在从 Azure Databricks 笔记本读取 Azure Blob 存储帐户 第 2 代 上的文件 两项服务均位于同一地区 西欧 一切正常 除非我在存储帐户前面添加防火墙 我选择允许 受信任的 Microsoft 服务 但是 现在
  • Azure Blob 存储 blob 到索引

    是否可以将文档上传到 Blob 存储并执行以下操作 获取文档内容并添加到索引 从第 1 点的内容中抓取关键短语并添加到索引中 我希望关键短语可以被搜索 我有代码可以将文档上传到 blobstorage 效果非常好 但获得此索引的唯一方法 据
  • SharedKeyCredential 不是构造函数。 Azure存储反应应用程序

    我正在尝试使用以下代码将 blockblob 上传到反应应用程序中的 Azure 存储 但是 我收到以下错误 类型错误 SharedKeyCredential 不是构造函数 有任何想法吗 azure 电子邮件受保护 cdn cgi l em
  • 启用 MFA 的 Azure AD B2C 注册-登录策略 - 自定义登录页面

    我有一个通过 Azure AD B2C 租户进行身份验证的 asp net Web 应用程序 我有一个注册登录策略 登录使用用户名而不是电子邮件 并启用了 MFA 我还在策略指向的存储 blob 中设置了自定义 UI 登录页面 unifie
  • Azure 数据工厂 V2 中的分页规则值(适用于 Rest API)

    我正在尝试填写Value分页规则内的框解释于本文 https sqlkover com azure data factory and the exact online rest api dealing with pagination 最近发
  • Polybase CREATE EXTERNAL TABLE 跳过标头

    我是 Azure 和 Polybase 的新手 我正在尝试将 CSV 文件读入 SQL 外部表 我注意到 不可能跳过第一行 即我读过的一些论坛上的标题 我希望相反 你能帮我吗 我使用的代码如下 提前致谢 CREATE EXTERNAL TA
  • 尝试 Azure 与 Unity 连接时出现“NotImplementedException”(c#)

    我使用的是Unity 2019 3 6f1 我创建了一个简单的 DLL 用于连接到 Azure 并上传文件 但是 当我调用此 DLL 来尝试连接到 Azure blob 存储时 我得到以下堆栈跟踪 NotImplementedExcepti
  • 在 databrick 上运行时将 PySpark 标准输出和标准错误日志保存到云对象存储

    我正在标准 databricks 集群上运行 PySpark 数据管道代码 我需要保存所有 Python PySpark 标准输出和标准错误消息存储到 Azure BLOB 帐户中的文件中 当我在本地运行 Python 代码时 我可以在终端
  • Azure 数据工厂 v2:活动执行管道输出

    有没有办法在活动 执行管道 中引用已执行管道的输出 即 主管道按顺序执行2个管道 第一个管道生成一个自己创建的 run id 需要将其作为参数转发到第二个管道 我已阅读文档并检查主管道是否记录了第一个管道的输出 但看起来这不可能直接实现 到
  • 能否在上传 Azure CloudBlockBlob 的同时在其上设置元数据?

    我目前使用以下方式上传 CloudBlockBlob CloudBlockBlob UploadFromStreamAsync 然后我立即在上面设置了一堆用户元数据 问题是 我有一个事件网格事件 该事件在上传 blob 时触发 但事件处理程
  • 设置 Azure 中 BLOB 存储的保留期

    我想手动设置保留期 以便在保留期结束后我可以删除存档数据 请向我建议任何可以帮助我的链接或方式 请建议我如何在我的门户中编码来设置它 我已经成功配置了生命周期管理政策 https learn microsoft com en us azur
  • 使用 oauth azure 数据工厂进行分页

    在 Azure 数据工厂内 我通过 REST 复制活动调用 microsoft graph 利用 REST 来获取服务的访问令牌 Graph api 最多返回 200 个结果 因此我有兴趣使用可以在源中创建的分页规则 在邮递员中我可以看到我
  • 如何以编程方式将数据写入Azure Blob存储?

    我正在使用下面的 PowerShell 脚本通过 REST API 调用从源读取 JSON 数据 现在我想将 Result 的数据加载到 Azure Blob 存储中 有什么想法吗 Params URI https 3ea5e53b 817
  • 将 CryptoStream 解密为 MemoryStream

    我编写了一个过程 其中文件被加密并上传到 Azure 然后必须解密下载过程 这会失败并出现 填充无效且无法删除 错误 或 要解密的数据长度为无效的 错误 我在网上尝试了很多解决方案 包括C 使用 RijndaelManaged 和 Cryp
  • 使用 BlobOutputStream 在 Azure 中上传 blob

    我正在尝试直接从流上传 blob 因为我不知道我决定尝试的流的长度这个答案 https stackoverflow com a 24621538 3695939 这不起作用 即使它从流中读取并且不会抛出任何异常 内容也不会上传到我的容器 我
  • 如何在Web Activity中使用数据集和linkedServices?

    有人能给我一个关于使用这两个属性的完整示例吗 而且里面有一些奇怪的东西官方示例 https learn microsoft com en us azure data factory control flow web activity bod

随机推荐