我有大约 500 个传感器,每个传感器大约每分钟发出一次值。可以假设传感器的值保持恒定,直到发出下一个值,从而创建时间序列。传感器在发送数据时并不同步(因此观察时间戳会有所不同),但所有数据都是集中收集并按传感器存储(以允许按传感器子集进行过滤)。
如何生成一个聚合时间序列来给出传感器数据的总和? n
(需要创建超过 1 天的观测集的时间序列 - 因此需要考虑每天 24x60x500 个观测值)。计算还需要快速,最好在
示例 - 原始输入:
q)n:10
q)tbl:([]time:n?.z.t;sensor:n?3;val:n?100.0)
q)select from tbl
time sensor val
----------------------------
01:43:58.525 0 33.32978
04:35:12.181 0 78.75249
04:35:31.388 0 1.898088
02:31:11.594 1 16.63539
07:16:40.320 1 52.34027
00:49:55.557 2 45.47007
01:18:57.918 2 42.46532
02:37:14.070 2 91.98683
03:48:43.055 2 41.855
06:34:32.414 2 9.840246
我正在寻找的输出应该显示相同的时间戳以及传感器之间的总和。如果传感器没有在匹配时间戳处定义的记录,则应使用其先前的值(这些记录仅暗示传感器输出更改的时间)。
预期输出,按时间排序
time aggregatedvalue
----------------------------
00:49:55.557 45.47007 / 0 (sensor 0) + 0 (sensor 1) + 45.47007 (sensor 2)
01:18:57.918 42.46532 / 0 (sensor 0) + 0 (sensor 1) + 42.46532 (new value on sensor 2)
01:43:58.525 75.7951 / 33.32978 + 0 + 42.46532
02:31:11.594 92.43049 / 33.32978 + 16.63539 + 42.46532
02:37:14.070 141.952 / 33.32978 + 16.63539 + 91.98683
03:48:43.055 91.82017 / 33.32978 + 16.63539 + 41.855
04:35:12.181 137.24288 / 78.75249 + 16.63539 + 41.855
04:35:31.388 60.388478 / 1.898088 + 16.63539 + 41.855
06:34:32.414 28.373724 / 1.898088 + 16.63539 + 9.840246
07:16:40.320 64.078604 / 1.898088 + 52.34027 + 9.840246
我假设记录按时间顺序进入,因此 tbl 将按时间排序。如果不是这种情况,请先按时间对表进行排序。
d 是传感器每次的最后价格的字典。下面的解决方案可能不是最优雅的,我可以想象有一种更高效的方法可用,不需要每个。
q)d:(`long$())!`float$()
q)f:{d[x]::y;sum d}
q)update agg:f'[sensor;val] from tbl
time sensor val agg
-------------------------------------
00:34:28.887 2 53.47096 53.47096
01:05:42.696 2 40.66642 40.66642
01:26:21.548 1 41.1597 81.82612
01:53:10.321 1 51.70911 92.37553
03:42:39.320 1 17.80839 58.47481
05:15:26.418 2 51.59796 69.40635
05:47:49.777 0 30.17723 99.58358
11:32:19.305 0 39.27524 108.6816
11:37:56.091 0 71.11716 140.5235
12:09:18.458 1 78.5033 201.2184
您的 720k 记录数据集相对较小,因此任何聚合都应该远低于一秒。如果您存储多天的数据,您可能需要考虑概述的一些技术(展开、分区等)here http://code.kx.com/wiki/JB%3aKdbplusForMortals/contents .
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)