Azure 数据工厂检查复制记录的行数

2024-04-10

我正在设计一个 ADF 管道,用于将 SQL 表中的行复制到 Azure Data Lake 中的文件夹。之后 SQL 中的行应该被删除。但是对于发生的删除操作,我想知道复制的行数是否与我在管道开头选择的行数相同。 有没有办法获取复制操作的行计数并在另一个操作中使用它(例如查找)

编辑后续问题: 肖波的回答是可以的。但接下来我有一个后续问题。在复制活动之后,我放置了一个带有以下表达式的 If 条件:

@activity('LookUpActivity').output.firstRow.RecordsRead ==      @{activity('copyActivity').output.rowsCopied

但随后我收到错误: @activity('LookUpActivity').output.firstRow.RecordsRead == @{activity('copyActivity').output.rowsCopied

是否可以比较两个活动的输出参数来看看这是否正确?

额外编辑:我刚刚发现这段代码中有一个错误。我忘记了代码开头的“{”。但代码仍然是错误的。要比较早期活动的两个输出,代码必须是:

@equals(activity('LookUpActivity').output.firstRow.RecordsRead,activity('copyActivity').output.rowsCopied)

您可以在活动输出中找到复制的行,如下图所示。

您可以像这样使用输出值:

@activity('copyActivity').output.rowsCopied
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Azure 数据工厂检查复制记录的行数 的相关文章

  • 如何使用 Azure 数据工厂将 CosmosDb 文档复制到 Blob 存储(每个文档位于单个 json 文件中)

    我正在尝试使用 Azure 数据工厂 v2 备份我的 Cosmos Db 存储 一般来说 它正在完成其工作 但我希望 Cosmos 集合中的每个文档都与 blob 存储中的新 json 文件相对应 通过下一个复制参数 我可以将集合中的所有文
  • 使用 python azure 函数从 azure blob 存储读取文件

    我创建了一个天蓝色函数Python 3 9我将使用执行该功能Http Trigger via Azure data factory 现在 在我的 python azure 函数中 我想从我的存储帐户访问存储容器并从同一容器读取文件 以便对文
  • 获取子文件夹Azure数据工厂中的所有文件名

    我在数据湖中有一个以下文件夹结构 我想从 ParentFolder 目录的所有子文件夹中获取所有 csv 文件名 我的所有文件都是 csv 文件 是否有一种使用元数据活动的简单方法 父文件夹 gt 年 2020 文件夹 2020 10 20
  • Azure数据工厂:处理until/for活动中的内部故障

    我有一个包含 Until 活动的 Azure 数据工厂 v2 管道 在 的里面until是一个复制活动 如果失败 则会记录错误 与本文中完全相同 并且我希望循环继续 Azure 数据工厂管道 发生故障 虽然内部复制活动的错误已得到处理 但u
  • 如何过滤Azure数据工厂数据流中的时间戳列

    我有时间戳列 我在其中编写了以下表达式来过滤该列 contact date gt toTimestamp 2020 01 01 contact date lt toTimestamp 2020 12 31 它不会抱怨语法 但运行后它不会根据
  • Azure 数据工厂 CI npm 验证步骤突然崩溃

    我们一直在使用 Azure 数据工厂的 新 CI CD 设置 如文档页面所述 https learn microsoft com en us azure data factory continuous integration deliver
  • Azure数据工厂数据流静默地将日期列置空

    我正在尝试使用 Azure 数据工厂将 CSV 插入到 Azure SQL 表中 一切看起来都很顺利 直到我检查结果 其中一列是可为空的日期 CSV 包含这样的值1 2 2020 12 00 00 AM 数据流默默地插入一个NULL而不是因
  • 如何在 SQL 中创建临时表以在多个 ADF 活动中使用?

    我需要在执行 Azure 数据工厂管道时在 SQL Server 中创建全局临时表 该表将在多项活动中使用 我已经尝试了几种方法 包括一种使用针对以下目标的存储过程活动sys sp executesqlSP 和CREATE TABLE语句作
  • Azure 数据工厂 - 处理大小为 4194304 的查找活动限制

    我有一个天蓝色数据工厂管道 其中包含检查 JSON 文件的查找活动 天蓝色的尺寸如下所示 Azure 博客大小屏幕截图 当我下载它时 我看到该文件的以下值 因此它并不大于错误指出的值 查找活动结果的大小 5012186 超出了限制 4194
  • Azure-data-Factory 复制数据如果某个文件存在

    我的 blob 容器中有很多文件 但是 我只想仅当 blob 容器上存在某个文件 例如 SRManifest csv 时才运行存储过程 我在数据工厂上使用了获取元数据和 IF 条件 你能帮我写一下动态脚本吗 我试过这个 bool start
  • 在 Azure 数据工厂副本中使用追加 blob 是否有任何解决方法?

    我不希望 ADF 管道中的复制数据活动覆盖 Blob 文件 而是将新数据附加到其中 但 ADF 仅支持 Blockblob 那么有没有办法将数据追加到现有文件中 您可以使用网络活动 https learn microsoft com en
  • 如何使用 Azure Monitor 或 ADF 本身触发 Azure 数据工厂 V2 中长时间运行的进程的警报通知?

    我一直在尝试找到当 ADF 任务 即 CopyActivity 或存储过程任务 运行超过 N 小时时触发警报的最佳方法 我想使用 Azure Monitor 因为它是推荐的通知之一Azure 中的服务 但是我无法找到 正在运行 的标准 因此
  • 创建后如何在 Azure 数据工厂中启用诊断

    我正在尝试在通过 c 自动化应用程序创建 azure 数据工厂后使用 ARM 模板启用诊断 我尝试对非计算资源模板使用此处的步骤 https learn microsoft com en us azure monitoring and di
  • ARM 模板部署不会删除旧管道

    我正在使用 ARM 模板部署我的数据工厂 当我删除管道时 旧版本不会从目标环境中删除 重命名也会发生同样的情况 我的目标环境包含一个具有旧名称的管道和一个具有新名称的管道 如何删除带有 ARM 模板部署的旧管道 注意 我只想删除数据工厂内的
  • 在复制数据中丢失从源到接收器的数据

    在我的 MS Azure 数据工厂中 我有一个到嵌套 JSON 数据集的 REST API 连接 源 预览数据 显示所有数据 网上商店7个订单 在 活动复制数据 中 是菜单选项卡 映射 我在其中将 JSON 字段与接收器 SQL 表列进行映
  • Azure 数据工厂复杂 JSON 源(嵌套数组)到 Azure Sql 数据库?

    我有一个 JSON 源文档 将定期上传到 Azure blob 存储 客户希望使用 Azure 数据工厂将此输入写入 Azure Sql 数据库 然而 JSON 很复杂 有许多嵌套数组 到目前为止我还没有找到一种方法来扁平化文档 也许这不受
  • 如何在活动之前增加 Azure 数据工厂中的参数?

    我正在访问一个 RESTful API 该 API 使用 HTTP 连接器以 50 组为一组进行分页 REST 连接器似乎不支持客户端证书 因此我无法在其中使用分页 我有一个名为的管道变量SkipIndex默认为 0 在 Until 循环内
  • Azure 数据工厂 - 如何触发计划/一次性管道?

    背景 我已安排运行管道以将数据从源复制到目标 该任务计划每天在特定时间运行 问题 管道的输入数据集是外部的 并且在特定时间间隔不可用 这意味着复制活动必须等到管道中提到的计划开始时间才能开始 考虑到数据量 我不想在这里浪费时间 要求 在任何
  • 数据工厂子项修改或创建日期

    我有一个数据工厂 V2 管道 由 获取元数据 和 forEach 活动组成 用于读取文件共享 本地 上的文件列表并将其记录在数据库表中 目前 我只能读取文件名 但还想检索每个文件的修改日期和 或创建日期属性 有什么帮助吗 谢谢 Accord
  • Azure 数据工厂 v2:活动执行管道输出

    有没有办法在活动 执行管道 中引用已执行管道的输出 即 主管道按顺序执行2个管道 第一个管道生成一个自己创建的 run id 需要将其作为参数转发到第二个管道 我已阅读文档并检查主管道是否记录了第一个管道的输出 但看起来这不可能直接实现 到

随机推荐

  • 尝试调整 2fs EB 卷大小失败 [已关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我有一个 200GB 的 EBS 卷 正在尝试增加可用空间 我按照以下说明进行操作 http www hellersoftware com
  • Swift:通过 Twitter 分享文本

    所以基本上我正在制作一个事件应用程序 一切都很顺利 只是将活动分享到了 Twitter 我已经在互联网上搜索过 但我得到的只是使用我不想要的 Twitter 的本机应用程序 我想使用浏览器发推文 我已经实现了这个方法用于FB共享 任何想法都
  • terraform 资源创建 - this 关键字

    我在几个例子中发现了一种模式terraform代码在Github resource aws vpc this 我想知道关键字如何this与命名资源相比 提供了特殊的优势 我找不到哈希公司文档关于this关键词 https github co
  • 正则表达式:仅匹配一次

    我有一个包含多个 IP 地址和一些随机内容的字符串 例如像这样的 21 Jun 2018 01 15 38 0000 188 79 169 152 157 52 69 50 443 GET 157 52 69 30 157 52 69 10
  • C++:删除打印机队列

    我正在尝试从打印机中删除队列中的所有文件 我发现这看起来很简单 我尝试使用下面的代码删除队列 它可以编译 但 SetPrinter 返回 false 我收到的错误消息是 5 我尝试使用该方法将其解码为 正常 错误消息从这个问题 https
  • 是什么导致 Safari 中的音频播放缓慢/延迟?

    var audio new Audio data audio wav base64 UklGRoABAABXQVZFZm10IBAAAAABAAEAiBUAAIgVAAABAAgAZGF0YVwBAACHlqa1xNLg7vv Tk1LSk
  • 按 iframe 内的 Youtube 订阅表单按钮

    我正在搜索如何从 Youtube 订阅表单按下订阅按钮 但我没有找到任何可以帮助我的东西 我是 JS 新手 所以我希望你能帮助我 用于按下订阅按钮here http www youtube com subscribe widget p aa
  • 如何在 JavaScript 中模拟 target="_blank"

    当用户单击链接时 我需要更新数据库中的字段 然后在新窗口中打开请求的链接 更新没问题 但我不知道如何打开新窗口而不要求他们单击另一个超链接 a href http www mydomain com ReportID 1 target bla
  • 如何在 ASP.NET MVC 3 Intranet 应用程序中重新验证用户身份?

    该应用程序已经使用 Windows 集成安全性 而不是 Forms 我想要完成的是所谓的 逐步 身份验证 或针对以下情况的 强制重新身份验证 用户正在浏览网站做一些常见的 琐碎的事情 突然 用户必须执行敏感操作 例如授权 资源分配或确认汽车
  • iPhone开发与越狱

    我是 iPhone 开发新手 我们可以通过以下方式开发iphone应用程序 legal 越狱 如果我越狱了我的iPhone操作系统 之后我可以安装最新版本的iPhone操作系统吗 并从苹果网站再次使其合法 如果我开发越狱应用程序 我可以将其
  • .NET MVC:调用 RedirectToAction 传递模型?

    我有一个观点List aspx与班级绑定的Kindergarten 在控制器中 public ActionResult List int Id Kindergarten k from k1 in kindergartensRepositor
  • Android - 包括 GitHub 库 ActionBar PullToRefresh

    我在包含来自 GitHub 的库时遇到问题 这是图书馆 https github com chrisbanes ActionBar PullToRefresh https github com chrisbanes ActionBar Pu
  • 我正在尝试通过外部 api 从 json 数据获取键值对,并使用 Angular 和 TypeScript 显示它。我怎样才能实现这个目标?

    我想从我的 api 获取结果对象中的每个键值对以显示在我的前端上 即 类别 类型 难度 问题正确答案 我已正确设置服务和组件 我需要做的就是获取 json 并显示每一对 该方法名称称为 fetchQuestions 如下所示 我只需简单地以
  • 是否可以一次性增加 YouTube api 的配额?

    我正尝试将大约 4 000 个视频添加到 YouTube 播放列表中 使用基于成本的配额系统 我每天只能添加大约 200 个 这意味着我需要大约三周的时间来完成这个项目 此外 我需要添加的视频列表将继续增长 直到我最终确定播放列表 因为它在
  • CF10-jpg的文件格式

    在开发一个允许交换多个第三方应用程序的图像并从而为这些应用程序创建单独的 皮肤 的工具时 我偶然发现了一种 jpg 格式 我似乎无法找到任何合适的信息 当在十六进制编辑器中查看它时 它以标签 CF10 开头 搜索互联网只提供了一个能够处理此
  • 如何在 WAI 服务器中执行关闭命令?

    我想为我的 web 应用程序实现一个 正常关闭 命令 与我的第一直觉相反 即只是要求人们终止该进程 我的前两次尝试包括 liftIO exitSuccess E yield responseLBS statusOK G contentTyp
  • 颜色生成功能

    让我们考虑以下场景 一个可以生成从白色到红色 从白色到蓝色 从白色到粉色 从白色到橙色等代码颜色的函数 颜色代码采用 RGB 格式 值从 0 到 255 有任何想法吗 您能给我伪代码或此类算法的链接吗 听起来你在追求线性插值 http en
  • MySQL 行格式:固定和动态之间的区别?

    MySQL 根据列数据类型将表的行格式指定为固定或动态 如果表具有可变长度列数据类型 例如 TEXT 或 VARCHAR 则行格式是动态的 否则 它是固定的 我的问题是 两种行格式有什么区别 其中一个比另一个更有效率吗 这种差异实际上只对
  • 如何将我的 WordPress 帖子分享到 Instagram [关闭]

    Closed 这个问题需要多问focused help closed questions 目前不接受答案 有谁知道如何使用Instagram API将我的 WordPress 网站上的照片分享到我的 Instagram 帐户 根据Insta
  • Azure 数据工厂检查复制记录的行数

    我正在设计一个 ADF 管道 用于将 SQL 表中的行复制到 Azure Data Lake 中的文件夹 之后 SQL 中的行应该被删除 但是对于发生的删除操作 我想知道复制的行数是否与我在管道开头选择的行数相同 有没有办法获取复制操作的行