我正在尝试将 pyspark sql 数据帧转换为 json，然后另存为文件。
df_final = df_final.union(join_df)
df_final 包含如下值：
我尝试过这样的事情。但它创建了一个无效的 json。
df_final.coalesce(1).write.format('json').save(data_output_file+"createjson.json", overwrite=True)
{"Variable":"Col1","Min":"20","Max":"30"}
{"Variable":"Col2","Min":"25,"Max":"40"}
我的预期文件应包含如下数据：
[
{"Variable":"Col1",
"Min":"20",
"Max":"30"},
{"Variable":"Col2",
"Min":"25,
"Max":"40"}]
For pyspark您可以直接将数据帧存储到json文件中，无需将数据帧转换为json。
df_final.coalesce(1).write.format('json').save('/path/file_name.json')
并且您仍然想将数据帧转换为 json 那么您可以使用df_final.toJSON().
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
