我有一个 Hive 查询返回以下格式的数据:
ip, category, score
1.2.3.4, X, 5
10.10.10.10, A, 2
1.2.3.4, Y, 2
12.12.12.12, G, 10
1.2.3.4, Z, 9
10.10.10.10, X, 3
在 PySpark 中,我通过以下方式得到这个hive_context.sql(my_query).rdd
每个 IP 地址可以有多个分数(因此有多行)。我想以 json/array 格式获取此数据,如下所示:
{
"ip": "1.2.3.4",
"scores": [
{
"category": "X",
"score": 10
},
{
"category": "Y",
"score": 2
},
{
"category": "Z",
"score": 9
},
],
"ip": "10.10.10.10",
"scores": [
{
"category": "A",
"score": 2
},
{
"category": "X",
"score": 3
},
],
"ip": "12.12.12.12",
"scores": [
{
"category": "G",
"score": 10
},
],
}
请注意,RDD 不一定已排序,并且 RDD 可以轻松包含数亿行。我是 PySpark 的新手,因此任何有关如何有效解决此问题的指示都会有所帮助。