使用 Spark 和 Phoenix 将 CSV 文件保存到 hbase 表

2024-03-05

有人可以向我指出使用 Spark 将 csv 文件保存到 Hbase 表的工作示例吗2.2我尝试过但失败的选项(注意:它们都适用于我的 Spark 1.6)

  1. 凤凰火花
  2. hbase-spark
  3. it.nerdammer.bigdata :spark-hbase-connector_2.10

修复所有问题后,所有这些人最终都给出了与此类似的错误Spark HBase https://stackoverflow.com/questions/46477501/using-apache-phoenix-and-spark-to-save-a-csv-in-hbase-spark2-2-intellijidea

Thanks


将以下参数添加到您的 Spark 作业中 -

spark-submit \
--conf "spark.yarn.stagingDir=/somelocation" \
--conf "spark.hadoop.mapreduce.output.fileoutputformat.outputdir=/s‌​omelocation" \
--conf "spark.hadoop.mapred.output.dir=/somelocation"
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

使用 Spark 和 Phoenix 将 CSV 文件保存到 hbase 表 的相关文章

随机推荐