Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
Azure 数据工厂检查复制记录的行数
我正在设计一个 ADF 管道 用于将 SQL 表中的行复制到 Azure Data Lake 中的文件夹 之后 SQL 中的行应该被删除 但是对于发生的删除操作 我想知道复制的行数是否与我在管道开头选择的行数相同 有没有办法获取复制操作的行
azuredatafactory
Azure 数据工厂 V2 中的分页规则值(适用于 Rest API)
我正在尝试填写Value分页规则内的框解释于本文 https sqlkover com azure data factory and the exact online rest api dealing with pagination 最近发
azuredatafactory
在U-SQL中解析json文件
我正在尝试使用 USQL 解析下面的 Json 文件 但不断收到错误 Json file dimBetType SKey 1 BetType BKey 1 BetTypeName Test1 dimBetType SKey 2 BetTyp
json
Azure
azuredatafactory
azuredatalake
usql
来自 azure 批处理服务的定期 stdout 和 stderr
我正在天蓝色数据工厂中运行管道 并且使用自定义单元来运行天蓝色批处理活动 我运行的天蓝色批处理作业非常大 我想监控我处于该作业的哪个阶段 在远程虚拟机上 我通常使用logging模块输入python 我能够在作业完成时获取作业的状态 即所有
Azure
azuredatafactory
azurebatch
Azure数据工厂自动重新触发失败的管道
我想使用 If Condition Activity 动态内容 自动重新触发失败的管道 过程 管道 1 在计划时间使用触发器 1 运行 有效 如果管道 1 失败 计划触发器 2 将运行管道 2 有效 管道 2 应包含 if 条件来检查管道
Azure
ifstatement
pipeline
azuredatafactory
Azure 数据工厂:查询 CosmosDB 源中的 _ts(纪元)字段
我正在尝试将数据从 Azure CosmosDB 复制到 Azure SQL 数据库 在 Azure CosmosDB 源中 查询如下 select from c where c DefinitionTime gt formatDateTi
Azure
azurecosmosdb
datetimeformat
epoch
azuredatafactory
数据工厂子项修改或创建日期
我有一个数据工厂 V2 管道 由 获取元数据 和 forEach 活动组成 用于读取文件共享 本地 上的文件列表并将其记录在数据库表中 目前 我只能读取文件名 但还想检索每个文件的修改日期和 或创建日期属性 有什么帮助吗 谢谢 Accord
azuredatafactory
Azure 数据工厂 - 如何触发计划/一次性管道?
背景 我已安排运行管道以将数据从源复制到目标 该任务计划每天在特定时间运行 问题 管道的输入数据集是外部的 并且在特定时间间隔不可用 这意味着复制活动必须等到管道中提到的计划开始时间才能开始 考虑到数据量 我不想在这里浪费时间 要求 在任何
Azure
azuredatafactory
具有改进的 CI/CD 的 Azure 数据工厂部署
我正在关注此处发布的为 ADF 设置的新推荐 ci cd https learn microsoft com en us azure data factory continuous integration deployment improv
azuredevops
azuredatafactory
如何使用 Azure 数据工厂管道调用 REST API?
我想使用 ADF Pipeline 执行具有 oauth 身份验证的 REST API 如果没有 oauth2 我可以调用任何 REST API 所以我的问题是 这个 ADF 管道是否支持带有 oauth2 身份验证的 REST API 如
Azure
REST
API
oauth20
azuredatafactory
如何在 Azure 数据工厂中执行查找?
我是一名 SSIS 开发人员 我在 SSIS 中研究了很多 SQL 存储过程查找概念 但是当来到 Azure 数据工厂时 我不知道如何使用 SQL 存储过程执行查找 有人可以指导我吗 提前致谢 杰伊 Azure 数据工厂 ADF 更像是一种
sqlserver
storedprocedures
SSIS
lookup
azuredatafactory
如何从 Azure 数据工厂连接到 Firebird/InterBase (Syntess) 数据库?
在 ADF 中 我创建了一个管道 源是 ODBC 表或查询 下一步是创建链接服务 集成运行时已创建并选择 如下所示 现在问题来了 我应该输入什么连接字符串 尝试与Server 192 168 1 35 Database dbname DSN
ODBC
connectionString
azuredatafactory
firebird
syntess
Azure 数据工厂 - 按日期过滤 Mongodb 源数据集
此场景非常简单 如 ADFv2 文档和示例中所述 我创建了一个复制管道来从 MongoDB 集合获取数据 并将其写入 Azure SQL 数据库 完整的收集数据已成功传输 并且所有映射均已正确设置 当我尝试过滤源数据集以仅获取最后一个数据集
MongoDB
filter
azuredatafactory
如何在活动之前增加 Azure 数据工厂中的参数?
我正在访问一个 RESTful API 该 API 使用 HTTP 连接器以 50 组为一组进行分页 REST 连接器似乎不支持客户端证书 因此我无法在其中使用分页 我有一个名为的管道变量SkipIndex默认为 0 在 Until 循环内
azuredatafactory
在我获取输入数据之前,什么会对其进行重新格式化?
我有一个数据湖存储帐户 我有一个充满包含 JSON 格式数据的文件的目录 其中包括一些包含 ISO 8601 格式时间的字符串值 即 reading time 2008 09 15T15 53 00 91077 现在 当我使用数据工厂创建管
Azure
azuredatafactory
Azure 数据工厂复杂 JSON 源(嵌套数组)到 Azure Sql 数据库?
我有一个 JSON 源文档 将定期上传到 Azure blob 存储 客户希望使用 Azure 数据工厂将此输入写入 Azure Sql 数据库 然而 JSON 很复杂 有许多嵌套数组 到目前为止我还没有找到一种方法来扁平化文档 也许这不受
Azure
azuredatafactory
在 ADF V2 中 - 如何将日期 ("yyyyMMdd")) 动态附加到 S3 数据集的文件名
我目前正在努力自动化 ADFv2 中的管道 其中源数据位于 S3 中 每天创建一个新文件 其结构为 data 20180829 csv 我尝试在复制数据活动的文件名字段中检测动态内容来完成此操作 然而 即使当我尝试像 concat data
azurepipelines
azuredatafactory
如何获取管道运行ID
我是 Azure 新手 我需要使用 C 查找 Azure 中管道的最新活动 RunID 我不想调用管道实例 只想获取最后一个活动的 RunID 当我尝试时 可以调用管道并获取 ID 任何人都可以帮助我吗 我发现执行此操作的方法是查询数据工厂
c
azuredatafactory
如何将 ADF 数据流中的字符串数组连接到简单字符串?
我正在构建一个 Azure 数据工厂 在数据流中 我有一个字符串数组 我希望将字符串数组合并为一个字符串 IE 值1 值2 变为 值1 值2 这可能吗 我在这里找不到任何可以帮助我的功能吗 我希望存在 join 函数或 foreach 但找
Azure
azuredatafactory
如何排除 Azure 数据工厂中复制数据活动中的行?
我已经构建了一个具有复制数据活动的管道 该活动从Azure Data Lake并将其输出到Azure Blob Storage 在输出中 我可以看到我的某些行没有数据 我想将它们从副本中排除 在以下示例中 第二行没有有用的数据 Tenant
Azure
azuredatafactory
«
1
2
3
4
5
6
»