Spark数据集写入的区别

2023-12-26

我在用着Spark-Java.

我需要知道以下写入 Hadoop 方法之间是否有任何差异(性能等):

ds.write().mode(mode).format("orc").save(path);

Or

ds.write().mode(mode).orc(path);

Thanks.


没有区别

orc(path)只是一个快捷方法format("orc").save(path)

同样适用于.json(path) and csv(path)使用默认的write(path)没有 Parquet 格式

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Spark数据集写入的区别 的相关文章

随机推荐