程序员经验分享-hwhale

Azure 数据工厂管道“发生故障”

2023-12-23

我正在设置 ADF 管道以将 blob 复制到 Azure SQL DB 中。我的管道中有一个迭代活动，其中我设置了一个计数器，仅当 blob 存在时才进行循环和复制。

This works great except for some random PK violations, which I will have to check manually. So I edited my pipeline to log the error, and continue. So I set up the pipeline as such. re If the copy activity fails due to Primary Key Violation, (for now) ignore, but log the details using a stored procedure and continue as usual i.e. update the loop counter to get the next folder.

不幸的是，success日志失败不执行“设置变量”活动。因此它会进入无限循环，不断返回相同的异常，但存储过程活动本身正在正确记录错误消息。

如果我创建一个新的“设置变量”并完全执行 SetLoopVariable 的操作，则似乎没问题。但这意味着我必须复制此后的每个活动以获得两个单独的路径。我觉得这是多余的。

背景：我的文件结构是容器/YYYY/MM/dd/HH/mm，每小时至少有一个文件，但不是一天中的每一分钟，所以我在尝试复制之前检查该文件夹是否存在。


这是设计使然。仅当复制数据成功时才会调用 SetVariableand失败，因为数据工厂 V2 活动依赖关系是逻辑 AND https://datasavvy.me/2018/10/02/data-factory-v2-activity-dependencies-are-a-logical-and/.

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Azure

azuredatafactory

Azure 数据工厂管道“发生故障” 的相关文章

随机推荐

  • 线程完成工作后如何返回值？

    假设我们有一个简单的例子 public Example extends Thread String temp public Example Override public void run temp a value public stati

  • 鞍点的位置

    我有以下问题 假设我们有一个9 8的矩阵 如果矩阵位于某个位置 则称其具有 鞍点 是其行中的最小值和其列中的最大值 在符号 中 a i j 是鞍点 如果 a i j min a i k max a k k 1 lt k lt 8 1 lt

  • 使用Python的正则表达式将浮点数替换为“dot”

    我想替换 出现在我的字符串中带有 点 的浮点数中 反之亦然 Example t I am coder I work in Google I earn 98748 85 Expected output I am coder I work in

  • R 中的字符编码

    我正在尝试阅读csv由 Sql Server Management Studio 生成并编码为的文件UTF 8 我保存时选择了该选项 到R版本 3 0 1 x64 至read csv2 我无法让 R 正确显示特殊字符 如果我设置fileEn

  • 从字符串中获取整数月份值

    我正在解析来自 AWS 的 cron 字符串 如下所示cron 0 7 13 November 2019 有没有一种干净的方式可以从November回到11使用 Go 的内置类型 这time Month类型允许映射int to string

  • 从亚马逊 s3 存储桶子文件夹获取文件

    我正在尝试从亚马逊 S3 存储桶子文件夹中获取所有文件 并使它们可以在网页中下载 我有一个名为图像的桶 在那个桶里我还有一些其他文件夹 现在我试图获取该子文件夹内的所有文件并将其显示在页面中 S3 桶 图片 图像 测试1 图像 测试2 图像

  • SQL 声明变量

    谁能看一下我的发言 DECLARE tblName varchar MAX strSQL varchar MAX SET tblName SELECT DISTINCT o name as TableName FROM sysobjects

  • 如何将 SQL Server 2005 数据传输或导出到 Excel

    我有一个简单的 SQL 选择 查询 我想将结果转储到 Excel 文件中 我只能另存为 csv 并转换为 xls 会产生一些超级丑陋的输出 无论如何 据我所知 使用谷歌 这似乎并不那么简单 任何帮助将不胜感激 SSIS 做这样的事情是轻而易

  • 如何更改 NsdManager 使用的 Android 设备名称？

    我正在使用 NsdManager 在本地网络上注册 Web 服务 我的问题是设备名称称为 android 因此我可以从笔记本电脑上以 android local 身份访问手机 我怎样才能改变这个名字 我想要一些更独特的东西 您无法更改此设置

  • 使用 www::mechanize 时的 Iconv::IllegalSequence

    我正在尝试做一些网络抓取 但 WWW Mechanize gem 似乎不喜欢编码并且崩溃 post 请求导致 302 重定向 机械化遵循 到目前为止一切顺利 并且生成的页面似乎使其崩溃 我用谷歌搜索了很多 但到目前为止还没有找到如何解决这个

  • 如何更改 QPlainTextEdit 中选项卡的宽度

    When using the QPlaintextEdit in PyQt5 if I press the Tab button on my keyboard I get a tab space which is equal to size

  • Django 管理员未对用户密码进行哈希处理

    我在用AbstractBaseUser and UserCreationForm与我的 Django 应用程序 通过我的应用程序注册用户时 密码以哈希格式保存并保存在数据库中 但是当我尝试使用 Django 管理站点执行相同的操作时 密码会

  • 使用多个 Docker 容器 VS 标准 Node 集群时的性能和可靠性

    使用多个 Docker 容器 VS 标准 Node 集群时的性能和可靠性 您好 我有一个关于我遇到的两种设置的性能 可靠性和增长潜力的问题 我距离 Docker 或集群专家还很远 所以任何建议或提示将不胜感激 The app Typical

  • PhoneGap Build 中 Android 的横向启动屏幕

    我应该输入什么config xml或者我一般应该做什么 才能让 PhoneGap Build 应用程序的启动屏幕在横向模式下在 Android 设备上正确显示 PhoneGap Build 用于编译 docs https build pho

  • 使用 cProfile 对其他完美工作的多处理 python 脚本进行分析时出错 [重复]

    这个问题在这里已经有答案了 我写了一个小的 python 脚本 使用multiprocessing See https stackoverflow com a 41875711 1878788 https stackoverflow com

  • 如何在 SwiftUI 中编写分数

    我正在制作一个小应用程序来帮助孩子们学习数学 但是 我不知道如何在 SwiftUI 中编写分数 I would like something like this 1 2 感谢您的帮助 更新 Xcode 13 4 iOS 15 5 现在完全动

  • 如何分离uWSGI的日志？

    我想将 uwsgi 的日志 如访问日志 请求日志 错误日志 分离到各个文件中 目前这些都在同一个文件中并且格式不正确 有配置指令可以为请求和所有其他消息指定不同的记录器 logger and req logger 例子 uwsgi ini

  • 使用 AutoLayout 在 UIScrollView 底部查看

    我正在使用自动布局在滚动视图中设置内容 滚动视图中的对象从上到下固定到前一个对象 以便它们位于另一个之下 我在这些对象下方的末尾添加了一个页脚视图 这里有一个问题 当内容很少时 contentView 将小于屏幕高度 因此页脚视图将出现在屏

  • Kafka Streams 可以配置为等待 KTable 加载吗？

    我正在使用物化 KTable 与我的 KStream 进行左连接 而流位于左侧 但是 它似乎立即处理 无需等待当前版本的 KTable 加载 我的 KTable 源主题中有很多值 当我启动应用程序时 很多连接失败 好吧 不是真的 因为它是左

  • Azure 数据工厂管道“发生故障”

    我正在设置 ADF 管道以将 blob 复制到 Azure SQL DB 中 我的管道中有一个迭代活动 其中我设置了一个计数器 仅当 blob 存在时才进行循环和复制 This works great except for some ran

热门标签