如何确定对象是否是 PySpark 中的有效键值对

1. 如果我有一个 rdd，我如何理解数据在 key:value 中 格式？有没有办法找到相同的东西 - 就像 type(object) 告诉我对象的类型。我试过print type(rdd.take(1))，但它只是说<type 'list'>.
2. 假设我有这样的数据(x,1),(x,2),(y,1),(y,3)我用groupByKey并得到了(x,(1,2)),(y,(1,3))。有没有办法定义(1,2) and (1,3)作为其中 x 和 y 为键的值？或者键必须是单个值？我注意到如果我使用reduceByKey and sum获取数据的函数((x,3),(y,4))那么将这些数据定义为键值对就变得容易多了

Python 是一种动态类型语言，PySpark 不使用任何特殊类型的键、值对。对象被视为有效数据的唯一要求PairRDD操作是可以按如下方式解包：

k, v = kv

通常您会使用两个元素tuple由于其语义（固定大小的不可变对象）和与 Scala 的相似性Product类。但这只是一个约定，没有什么可以阻止你这样做：

键值.py

class KeyValue(object):
    def __init__(self, k, v):
        self.k = k
        self.v = v
    def __iter__(self):
       for x in [self.k, self.v]:
           yield x

from key_value import KeyValue

rdd = sc.parallelize(
    [KeyValue("foo", 1), KeyValue("foo", 2), KeyValue("bar", 0)]) 

rdd.reduceByKey(add).collect()
## [('bar', 0), ('foo', 3)]

并使任意类表现得像核心价值。因此，如果某个东西可以被正确地解包为一对对象，那么它就是一个有效的对象核心价值。实施__len__ and __getitem__魔法方法应该也有效。处理这个问题最优雅的方法可能是使用namedtuples.

Also type(rdd.take(1))返回一个list长度n所以它的类型总是相同的。