使用 JQ 解析 JSON 行以按顺序翻转键值

我有一个包含 json 行的文件，需要根据每个 json 的抖动“alert.status”值的序列来验证其有效性。

有效 json 行的示例：

{"id":123,"code":"foo","severity":"Critical","severityCode":1, "property":{ "priority":"top", "owner":"dev"}, "alert":{"mgmt":"yes", "status":"On"}}
{"id":456,"code":"bar","severity":"High","severityCode":2,"property":{ "priority":"top", "owner":"dev"}, "alert":{"mgmt":"yes", "status":"On"}}
{"id":123,"code":"foo","severity":"Critical","severityCode":1,"property":{ "priority":"top", "owner":"dev"}, "alert":{"mgmt":"yes", "status":"Off"}}
{"id":456,"code":"bar","severity":"High","severityCode":2,"property":{ "priority":"top", "owner":"dev"}, "alert":{"mgmt":"yes", "status":"Off"}}
{"id":123,"code":"foo","severity":"Critical","severityCode":1,"property":{ "priority":"top", "owner":"dev"}, "alert":{"mgmt":"yes", "status":"On"}}
{"id":456,"code":"bar","severity":"High","severityCode":2,"property":{ "priority":"top", "owner":"dev"}, "alert":{"mgmt":"yes", "status":"On"}}

上面的文件是有效的，因为重复的 json（第 1,5 行和第 2,6 行）的状态在“on”、“off”、“on”等之间变化。

无效 json 行的示例：

{"id":123,"code":"foo","severity":"Critical","severityCode":1, "property":{ "priority":"top", "owner":"dev"}, "alert":{"mgmt":"yes", "status":"On"}}
{"id":456,"code":"bar","severity":"High","severityCode":2,"property":{ "priority":"top", "owner":"dev"}, "alert":{"mgmt":"yes", "status":"On"}}
{"id":123,"code":"foo","severity":"Critical","severityCode":1,"property":{ "priority":"top", "owner":"dev"}, "alert":{"mgmt":"yes", "status":"On"}}
{"id":456,"code":"bar","severity":"High","severityCode":2,"property":{ "priority":"top", "owner":"dev"}, "alert":{"mgmt":"yes", "status":"Off"}}
{"id":123,"code":"foo","severity":"Critical","severityCode":1,"property":{ "priority":"top", "owner":"dev"}, "alert":{"mgmt":"yes", "status":"Off"}}
{"id":456,"code":"bar","severity":"High","severityCode":2,"property":{ "priority":"top", "owner":"dev"}, "alert":{"mgmt":"yes", "status":"Off"}}

上面的内容是无效的，因为第 1 行和第 3 行中的 json 是重复的，其“状态”值保持不变，而不会在打开或关闭时抖动。

我尝试使用 jq 将 json 行读入 json 数组

jq --slurp 'map(select(. >= 2))' jsonfile > jsonarray

但由于每行中的顺序很重要，我认为我不能使用 group_by 来查找重复项（group_by 的结果已排序）。

我正在考虑在每个 json 中插入一个带有增量编号的新键，因此在使用 group_by 之后，我们可以根据这个新键对结果进行排序以获取序列。

jq 有没有办法使用除两个键之外的所有键进行分组？ （在本例中为“状态”和带有增量编号的新密钥）。

有没有更好的方法来解决这个问题？

非常感谢你的帮助！

我不认为我可以使用 group_by 来查找重复项（group_by 的结果已排序）。

没错，但是定义一个非排序的“group_by”非常容易，正如我们将看到的，它也可以轻松地用于按除特别指定的键之外的所有键进行排序。

组_BY

首先，这是一个简单的过滤器，它保留每个组中项目的原始顺序：

# The filter, f, must produce a string for each item in `stream`
def GROUPS_BY(stream; f):
  reduce stream as $x ({}; .[$x|f] += [$x] ) | .[] ;

名称中的“S”强调该函数是面向流的，首先是因为第一个参数是流，其次是因为该函数生成组流；该名称是大写的，以强调与现有内置函数的差异。

Example

为了说明如何使用它来按除特定键之外的所有键进行分组，请考虑以下示例（取自另一个 SO 问题）：

def data:
  [{"foo":1,"bar":"a","baz":"whatever"},
   {"foo":1,"bar":"a","baz":"hello"},
   {"foo":1,"bar":"b","baz":"world"}] ;

GROUPS_BY(data[]; del(.baz) | tostring)

Output

[{"foo":1,"bar":"a","baz":"whatever"},{"foo":1,"bar":"a","baz":"hello"}]
[{"foo":1,"bar":"b","baz":"world"}]

细化

可能有人会反对要求 f 始终为字符串值会带来一些潜在的困难，因此这里有一个有效但更通用的定义：

# Emit a stream of the groups defined by f, without using sort.
# f need not be string-valued.
def GROUPS_BY(stream; f): 
   reduce stream as $x ({};
     ($x|f) as $s
     | ($s|type) as $t
     | (if $t == "string" then $s else ($s|tojson) end) as $y
     | .[$t][$y] += [$x] )
   | .[][]
   ;

现在我们可以简单地写：

GROUPS_BY(data[]; del(.baz))

与 JSON-Lines 文件一起使用

最简单的使用方法GROUPS_BY带有 JSON-Lines 文件的是inputs，例如假设使用更通用的 def，你可以这样写：

GROUPS_BY(inputs; del(.alert))

使用时不要忘记使用 -n 选项调用 jqinputs.

确定有效性的过滤器

根据我对问题的理解，可以使用以下过滤器来确定组的有效性：

def changing(f):
  def c:
    if length <= 1 then true
    elif (.[0] | f) == (.[1] | f) then false
    else .[1:] | c
    end;
  c ;

（这里使用内部函数c，是为了高效递归。当然，如果计算f冗余是一个问题，那么应该使用变体定义。）

Solution

总而言之，使用 GROUPS_BY 的更通用的定义， 假设我们希望识别无效组，解决方案似乎是两行：

GROUPS_BY(inputs; del(.alert))
| select( changing(.alert.status) | not )