Azure 流分析 - 应用窗口翻滚时自定义“时间戳”出错

2023-12-02

我有一个 json 文件,如下所示:

{“imei”:{“imei”:“358174069248418F”,“imeiBinary”:“NYF0BpJIQY8 =”,“imeiNotEncoded”:“358174069248418”,“有效”:1},“dataPackets”:[[“msy.mxp.datapacket” .AlarmNotification",{"version": 1, "id": 21, "op": 2,"sizeDynamic": 0, "alarmStatus": 4}],["msy.mxp.datapacket.IOStatus",{"版本": 1,"id": 15, "op": 2,"sizeDynamic": 0,"ioStatus": 135,"ioDirections": 120}], ["msy.mxp.datapacket.LogicalStatus",{"版本": 1,"id": 16, "op": 2,"sizeDynamic": 0,"逻辑状态": 5} ],[ "msy.mxp.datapacket.Position", {"版本": 1," id":19,"op":2,"纬度":40.835243,"经度":14.246057,"高度":40,"速度":0,"航向":68,"gpsNumSatellite":5,"glonassNumSatellite" :1,“fixValid”:1,“timeValid”:1,“wgs84degMinFormat”:1,“glonass”:1,“fixMode”:3,“时间戳”:{“timeSecFrom1Gen2000”:925560202,“时间”:1490648755000} , "sizeDynamic": 0} ] ]}

我正在阅读以下查询:

WITH Datapackets AS
(
SELECT imei.imei as imei,
        persistent as persistent,
        [timestamp].[time] as input_time,
        compressed as compressed,
        GetArrayElement(dataPackets, 3) as position
FROM h24
), one as(
SELECT *,
GetRecordPropertyValue (GetArrayElement(position,1), 'timestamp') as position_timestamp --1st
from Datapackets 
), two as (
select
    imei,
    GetRecordPropertyValue (GetArrayElement(position,1), 'op') as position_OP,
    [position_timestamp].[time] as position_time,
    dateadd(S, [position_timestamp].[timeSecFrom1Gen2000], '1970-01-01') as timing,
GetRecordPropertyValue (GetArrayElement(position,1), 'latitude') as position_latitude,
GetRecordPropertyValue (GetArrayElement(position,1), 'longitude') as position_longitude,
GetRecordPropertyValue (GetArrayElement(position,1), 'altitude') as position_altitude,
GetRecordPropertyValue (GetArrayElement(position,1), 'speed') as position_speed
    from one) SELECT * from two

现在我想让窗口按 30 秒滚动分组,如下所示,但我有一个问题,告诉我输入文件“two”不允许使用时间戳属性,这里是我使用的查询

    WITH Datapackets AS
    (
    SELECT imei.imei as imei,
            persistent as persistent,
            [timestamp].[time] as input_time,
            compressed as compressed,
            GetArrayElement(dataPackets, 3) as position
    FROM h24
    ), one as(
    SELECT *,
    GetRecordPropertyValue (GetArrayElement(position,1), 'timestamp') as position_timestamp --1st
    from Datapackets 
    ), two as (
    select
        imei,
        GetRecordPropertyValue (GetArrayElement(position,1), 'op') as position_OP,
        [position_timestamp].[time] as position_time,
        dateadd(S, [position_timestamp].[timeSecFrom1Gen2000], '1970-01-01') as timing,
GetRecordPropertyValue (GetArrayElement(position,1), 'latitude') as position_latitude,
GetRecordPropertyValue (GetArrayElement(position,1), 'longitude') as position_longitude,
GetRecordPropertyValue (GetArrayElement(position,1), 'altitude') as position_altitude,
GetRecordPropertyValue (GetArrayElement(position,1), 'speed') as position_speed
        from one) SELECT imei, System.TimeStamp AS 'start', Avg(position_speed), max(position_latitude)  
FROM two TIMESTAMP BY TIMING GROUP BY imei, TumblingWindow(duration(second, 30))

错误出现在最后两行(FROM two TIMESTAMP BY TIMING),

************** 更新,,经过更多调查后,我发现我只能在输入中使用选项时间戳,并且只有在我要为以下内容制作自定义时间戳时才必须使用它事件。通常,默认情况下它们会带有到达时间的时间戳(https://msdn.microsoft.com/en-us/library/mt573293.aspx)

现在我的问题是如何使用记录在 Json 文件中的第三级数组中的时间字段为我的事件添加时间戳,以便能够进行聚合。

关于如何处理这个问题的任何建议,谢谢


根据https://msdn.microsoft.com/en-us/library/mt598501.aspx TIMESTAMP BY只能用于输入源,因此您需要将其作为第一步的一部分:

WITH Datapackets AS
...
FROM h24 TIMESTAMP BY (expression)
...

此外,来自同一来源,参考System.TimeStamp当与GROUP BY在窗户上:

聚合结果的时间戳是该结果对应的时间窗口的结束时间。

所以当你写的时候System.TimeStamp在决赛中SELECT语句,它指的是当前窗口的结尾。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Azure 流分析 - 应用窗口翻滚时自定义“时间戳”出错 的相关文章

  • 使用 Java 在 GUI 编程中混合 awt 和 swing

    我在 SO 上读到混合 awt 和 swing 对于 Java 中的 GUI 编程来说并不是一个好的方法 但我无法找到任何在使用 swing 时不使用某些 awt 组件的示例 例如 即使使用 swing 我遇到的大多数示例也会使用 awt
  • MySQL:如何查询父子关系?

    假设有如下表记录 TABLE foo foo id foo parent id 1 NULL 2 NULL 3 1 4 2 5 1 6 1 7 2 8 1 9 NULL
  • Log4J 2 查找值在加载/呈现之前在配置中使用

    我正在使用 SystemPropertiesLookup 查找来配置我的 Log4J2 配置 系统属性被设置为我的主要方法中的第一行 问题是 当 Log4J 加载配置时 尚未调用 main 方法 因此系统属性尚未填充 这是我的 log4j2
  • 模板类 - 无法解析的外部符号[重复]

    这个问题在这里已经有答案了 我经常收到这个错误 但我不知道为什么 有人可以帮我找到原因吗 编辑 删除代码 将实现 您的方法定义 与类声明一起放入标头中 请参阅这在 C 常见问题解答中 一些编译器支持 export 关键字来按照您的方式执行此
  • 获取上次打开的 MS Word 文档对象

    我有一个从 MS Word 2003 模板 dot 中的 VBA AutoNew 子函数调用的 python 脚本 因此每次从此 Word 模板创建文档时它都会运行 第三方应用程序从此模板创建文档 第三方应用程序如何设置文档存在许多格式问题
  • 多态类中的虚拟析构函数

    我知道只要有一个多态基类 该基类就应该定义一个虚拟析构函数 这样当一个指向派生类对象的基类指针被删除时 它会先调用派生类的析构函数 如果我在这里错了 请纠正我 另外 如果基类析构函数是非虚拟的 则删除指向派生对象的基类指针将是未定义的行为
  • 如何在 .NET MAUI Flyout Shell 应用程序中自定义标题?

    如何缩小标题间距 当我更改汉堡图标时 其图标颜色始终为白色 怎么了 我可以设置标题字体大小和字体系列吗 在 Android 上可以设置contentInsetLeft contentInsetStart contentInsetStartW
  • 如何在 Python 中对文本文件中的数字求和

    我有一个代码依赖于我读取一个文本文件 在有数字的地方打印数字 在有字符串而不是数字的地方打印特定的错误消息 然后将所有数字相加并打印它们的总和 然后只保存编号到新的文本文件 我已经尝试这个问题几个小时了 我得到了下面写的内容 我不知道为什么
  • PyQt/PySide中连接点击信号时lambda和partial的区别

    当将一组按钮中的多个单击信号连接到带有参数的单个槽函数时 我遇到了信号槽问题 lambda and functools partial可以使用如下 user user button clicked connect lambda callus
  • 如何在 IntelliJ 中调试多线程应用程序?

    我在 IntelliJ IDEA 14 0 2 中遇到了一个关于多线程和断点的奇怪问题 断点之后的代码会在断点处停止之前执行 import java util concurrent atomic AtomicInteger public c

随机推荐

  • 使用 jQuery、JSON 和 AJAX 填充下拉列表

    就像标题所说 我正在尝试使用 jQuery JSON 和 AJAX 创建一个下拉菜单 尽管我熟悉理论但尚未将其付诸实践 任何建议 演示代码片段或教程将不胜感激 因为我希望有一个最好的开始 提前致谢 您需要执行 getJSON 调用以在 do
  • 无法使用 Flask 从下拉列表中获取在 python 中选择的值

    这个问题可能是重复的 但我已经检查了此类相关问题的所有答案 但无法解决 我试图从由数字组成的下拉菜单中获取值 然后我想将数字与值进行比较并根据比较显示文本 Eg if value selected from dropdown gt 3 di
  • 在设定的时间从睡眠中唤醒应用程序

    我想让我的应用程序进入睡眠状态 然后在设定的时间唤醒它 我让它睡觉但不会醒来 这设置了唤醒锁 private void setWakeLock System out println wakelock PowerManager pm Powe
  • ReactJS、event.currentTarget 与 Vanilla Javascript 的行为不同

    我想知道是否有类似的事情event currentTargetReactJS中存 在问题 使用event targetonclick 是我得到的childDiv而不是parentDiv 普通 JavaScript 示例 document g
  • 如何使用 bash 脚本计算单词中最常出现的 3 个字母序列

    我有一个示例文件 例如 XYZAcc ABCAccounting Accounting firm Accounting Aco Accounting Acompany Acoustical consultant 这里我需要 grep 一个单
  • 根据一个向量对多个向量进行排序[重复]

    这个问题在这里已经有答案了 我有四个向量 其中包含圆心的 x y 半径和重量信息 我想按重量顺序对它们进行排序 从最高到最低 但我真的不知道如何或从哪里开始 我可以把所有的向量放在一个Eigen Tensor如果有帮助的话 将收集的数据保存
  • Jqgrid 许可证(具有 MIT/GPL v2)与 Guriddo jqGrid JS(知识共享许可证)

    我在网站应用程序的开发环境中使用 jqGrid 4 5 4 版本 并希望在商业网站上发布应用程序时使用相同的版本 我的疑问是 最近我看到了 Guriddo Jqgrid 4 7 1 的最新版本及其新许可证 知识共享许可 请告诉我现在可以在商
  • 如何使Code Runner在外部终端(命令提示符)中运行?

    所以 基本上Visual Studio Code中的Code Runner可以在集成终端中运行 我怎样才能让它在外部终端中运行 这是命令提示符 因为我需要向我的同学展示我的程序的输出 所以通过集成的终端显示它并不方便 我知道有一个像 Dev
  • C++ 中奇怪的 double 到 int 转换行为

    以下程序显示了我在 C 中看到的奇怪的 double 到 int 转换行为 include
  • Kafka 流过滤:代理端还是消费者端?

    我正在研究卡夫卡流 我想使用选择性非常低 几千分之一 的过滤器来过滤我的流 我正在看这个方法 https kafka apache org 0100 javadoc org apache kafka streams kstream KStr
  • 错误 LNK2001:wdk 中无法解析的外部符号 _fltused

    我试图在 C 代码中定义一个双数据类型变量 该变量将在 Windows 内核中使用 代码可以编译 但在链接时出错 我尝试在源文件中使用 libcntpr lib 并在代码中定义 fltused 变量 但无济于事 如果有人可以帮助我如何使用它
  • 过程控制问题

    为什么循环第一次没有结束collatz 返回 1 def collatz global number if number 2 0 number number 2 print number return number else number
  • 在面板中查找第一个非缺失字符串值并使用值按组转发和回填 (SAS aur PROC SQL)

    我有一个包含不平衡观察面板的数据集 我想在其中使用最新的非缺失字符串向前和向后填充缺失和 或 错误 的股票观察结果 id time ticker have ticker want 1 1 ABCDE YYYYY 1 2 YYYYY 1 3
  • 打印时 Html 表格断行

    我目前正在尝试打印的表格存在一些问题 如果它有多于一页 在分页符上 其中的表格行将被裁剪 我已经尝试过使用table page break inside auto and tr page break inside avoid page br
  • Fastlink 着陆页未呈现

    我正在致力于为我的应用程序实现用于聚合和 IAV 的 Fastlink 2 0 集成 我能够获取聚合和 IAV 的 oauth 令牌 但是当我使用它以及所需的参数来呈现 Fastlink 登录页面时 我得到的响应为 无法获取资源 我遵循的步
  • WPF 语音气泡

    我目前正在创建一个小软件 您可以在其中创建自己的漫画 我目前正在尝试添加气泡 我所做的是 我将一个文本框放在圆角边框内 这是我的结果 现在我想添加一个指向说话的角色的箭头 我想要得到的示例 箭头的位置应由用户选择 它想围绕边界旋转 我不知道
  • Python 数值积分与辛普森法则

    我已经开始学习这本书了 计算物理练习 5 4 及其练习 我遇到了以下问题 编写一个 Python 函数 J m x 使用 N 1000 个点的辛普森规则计算 Jm x 的值 在程序中使用您的函数在单个图形上绘制贝塞尔函数 J0 J1 和 J
  • Python正则表达式:如何仅增加字符串中的一个数字?

    我有以下类型的字符串 a1 images1subimages1 folder100 hello1 png a1 images1subimages1 folder100 hello1 png a1 images1subimages1folde
  • 每小时值总和

    我有一个具有以下结构和示例数据的表 STORE ID INS TIME TOTAL AMOUNT 2 07 46 01 20 3 19 20 05 100 4 12 40 21 87 5 09 05 08 5 6 11 30 00 12 6
  • Azure 流分析 - 应用窗口翻滚时自定义“时间戳”出错

    我有一个 json 文件 如下所示 imei imei 358174069248418F imeiBinary NYF0BpJIQY8 imeiNotEncoded 358174069248418 有效 1 dataPackets msy