如何使用 Spark Scala 将 CSV 行拆分为元组

这是我想通过 Scala 检索的数据。 数据如下： 用户ID,电影ID 1,1172 1,1405 1,2193 1,2968 2,52 2,144 2,248

首先我想跳过第一行，然后通过 split(",") 分割用户和电影并映射到 (userID,movieID)

这是我第一次尝试 scala，一切都让我发疯。 我编写这段代码是为了跳过第一行并拆分

rdd.mapPartitionsWithIndex{ (idx, iter) => 
if (idx == 0) 
    iter.drop(1) 
else     
    iter }.flatMap(line=>line.split(","))

但结果是这样的：

    1
    1172
    1
    1405
    1
    2193
    1
    2968
    2
    52

我猜这是因为mapPartitionsWithIndex 有没有办法在不改变结构的情况下正确跳过标题？

啊，你的问题不是关于标题，而是关于如何将行分成（userid，movieid）？代替.flatMap(line=>line.split(","))你应该尝试这个：

.map(line => line.split(",") match { case Array(userid, movieid) => (userid, movieid) })