如何将pyspark数据帧写入HDFS，然后如何将其读回数据帧？

我有一个非常大的 pyspark 数据框。所以我想对其子集进行预处理，然后将它们存储到hdfs。后来我想把它们全部读完并合并在一起。谢谢。

• 将 DataFrame 写入 HDFS (Spark 1.6)。

  df.write.save('/target/path/', format='parquet', mode='append') ## df is an existing DataFrame object.
  

一些格式选项是csv, parquet, json etc.

• 从 HDFS 读取 DataFrame (Spark 1.6)。

  from pyspark.sql import SQLContext
  sqlContext = SQLContext(sc)
  sqlContext.read.format('parquet').load('/path/to/file') 
  

format 方法接受参数，例如parquet, csv, json etc.