我们如何在azure数据湖中的u-sql中根据时间戳作业执行动态输出文件名

2024-01-12

我们如何根据作业执行时的时间戳在azure数据湖的u-sql中动态输出文件名。谢谢您的帮助。我的代码如下:

 OUTPUT @telDataResult
    TO 
    @"wasb://[email protected] /cdn-cgi/l/email-protection/**yyyymmdd**_TelDataOutput.Csv"

    USING Outputters.Csv(); 

此功能目前正在开发中,但尚未推出。请随时在功能请求中添加您的投票:https://feedback.azure.com/forums/327234-data-lake/suggestions/10550388-support-dynamic-output-file-names-in-adla https://feedback.azure.com/forums/327234-data-lake/suggestions/10550388-support-dynamic-output-file-names-in-adla

一旦可用,您将在 EXTRACT 上执行文件集语法的逆操作。假设您有一个名为eventdate在你的行集中@res。然后是下面的OUTPUT语句将生成文件:

OUTPUT @res
TO "/{eventdate:yyyy}/{eventdate:MM}/{eventdate:dd}/result.csv"
USING Outputters.Csv();
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

我们如何在azure数据湖中的u-sql中根据时间戳作业执行动态输出文件名 的相关文章

  • 如何仅使用 U-SQL 和文件中的某些字段将大文件分区为文件/目录?

    我有一个非常大的 CSV 其中每一行都包含客户和商店 ID 以及交易信息 当前的测试文件约为 40 GB 大约 2 天 因此对于选择查询的任何合理返回时间来说 分区是绝对必须的 我的问题是 当我们收到一个文件时 它包含多个商店的数据 我想使
  • Azure Data Lake 的 Spark 谓词下推、过滤和分区修剪

    我一直在阅读有关 Spark 谓词下推和分区修剪的内容 以了解读取的数据量 我有以下与此相关的疑问 假设我有一个包含列的数据集 年份 Int 学校名称 String 学生 ID Int 主题已注册 String 其中存储在磁盘上的数据按年份
  • 获取文件夹[Azure数据工厂]中最新添加的文件

    在数据湖内部 我们有一个文件夹 基本上包含每天外部源推送的文件 但是 我们只想处理该文件夹中最新添加的文件 有什么方法可以使用 Azure 数据工厂来实现这一目标吗 你可以设置修改日期时间开始和修改日期时间结束在复制活动中使用 ADLS 连
  • databricks dbfs 是否支持文件元数据,例如文件/文件夹创建日期或修改日期

    我正在尝试爬行 databricks 笔记本中的目录以查找最新的镶木地板文件 dbfsutils fs ls 似乎不支持有关文件或文件夹的任何元数据 python 中有其他方法可以做到这一点吗 数据存储在安装到 mnt foo 下的 DBF
  • 调试 u-sql 作业

    我想知道是否有任何提示和技巧来查找数据湖分析工作中的错误 大多数时候错误消息似乎不是很详细 当尝试从 CSV 文件中提取时 我经常收到这样的错误 顶点故障触发作业快速中止 顶点失败 SV1 Extract 0 且 gt 错误 顶点用户代码错
  • 如何在 U-SQL 中实现循环

    无需使用 C 即可在 U SQL 中实现循环 while for 如果没有 任何人都可以共享 c 语法来在 u sql 中实现循环 我正在提取从特定日期到某个日期的文件 但现在我通过手动写入文件路径来提取该文件 DROP VIEW IF E
  • 数据工厂中的 U-SQL 作业失败

    每当我运行时 我总是从数据工厂收到以下错误U SQL作业 Job submission failed the user adla account name does not have permissions to a subfolder i
  • 如何将Azure机器学习批量评分结果写入数据湖?

    我正在尝试将批量评分的输出写入数据湖 parallel step name batchscoring datetime now strftime Y m d H M output dir PipelineData name scores d
  • 直接在 Azure Datalake 中将 Python Dataframe 写入 CSV 文件

    我已将 Excel 文件导入到 pandas 数据框中 并完成了数据探索和清理过程 我现在想要将清理后的数据帧写入 csv 文件回 Azure DataLake 而不先将其保存为本地文件 我正在使用熊猫3 我的代码如下所示 token li
  • 使用 Databricks 将 Google Api 的结果写入数据湖

    我正在通过 Databricks 上的 Python SDK 从 Google 管理报告用户使用情况 Api 获取用户使用情况数据 数据大小约为每天 100 000 条记录 我通过批处理处理了一晚上 API 返回的最大页面大小为 1000
  • Databricks 仅打印大约 280 行数据

    我正在 Databricks 中运行一些大型作业 目前包括盘点数据湖 我正在尝试打印前缀 子文件夹 内的所有 blob 名称 这些子文件夹中有很多文件 我打印了大约 280 行文件名 但随后我看到了以下内容 WARNING skipped
  • 我们如何在azure数据湖中的u-sql中根据时间戳作业执行动态输出文件名

    我们如何根据作业执行时的时间戳在azure数据湖的u sql中动态输出文件名 谢谢您的帮助 我的代码如下 OUTPUT telDataResult TO wasb email protected cdn cgi l email protec
  • 从文件流上传到 ADLS

    我正在 ADF 中进行自定义活动 其中涉及从 Azure 存储 Blob 读取多个文件 对它们进行一些处理 最后将生成的文件写入 Azure Data Lake Store 最后一步是我停止的地方 因为据我所知 NET SDK 只允许从本地
  • 尝试转换列数据时值太长失败

    Scenario 我有一个源文件 其中每个新行都包含 JSON 块 然后 我有一个简单的 U SQL 摘录 如下所示 其中 RawString 表示文件中的每个新行 FileName 定义为 SourceFile 路径中的变量 BaseEx
  • usql 应用程序和脚本的单元测试

    我有一个自定义的 USql 应用程序 它扩展了IApplier class SqlUserDefinedApplier public class CsvApplier IApplier public CsvApplier totalcoun
  • 将 Azure 事件中心与 Data Lake Store 连接

    将数据从事件中心发送到 Data Lake Store 的最佳方式是什么 我假设您希望定期将数据从 EventHub 提取到 Data Lake Store 正如 Nava 所说 您可以使用 Azure 流分析将数据从 EventHub 获
  • 将 CSV 从 Azure Data Lake(第 2 代)加载到 Azure SQL 数据库

    我有一个包含多个容器的 Azure Data Lake Storage 第 2 代 帐户 我想导入salesorderdetail csv文件从 Sales 容器复制到 Azure SQL 数据库中 我已经使用 Azure 数据工厂成功构建
  • 在U-SQL中解析json文件

    我正在尝试使用 USQL 解析下面的 Json 文件 但不断收到错误 Json file dimBetType SKey 1 BetType BKey 1 BetTypeName Test1 dimBetType SKey 2 BetTyp
  • 从 U-SQL 表加载数据时优化器内部错误

    有没有办法解决这个错误 CQO 内部错误 优化器内部错误 断言 a drgcidChild gt CLength UlSafeCLength popMS gt Pdrgcid 在 rlstreamset cpp 499 从分区 U SQL
  • 流分析作业 -> 数据湖输出

    我想使用 StreamAnalytics 作业设置 CI CD ARM 模板 并将输出设置为 DataLake Store https learn microsoft com en us azure templates microsoft

随机推荐