如何在spark中读取orc事务hive表?
我在通过 Spark 读取 ORC 事务表时遇到问题 我获得了配置单元表的架构,但无法读取实际数据
查看完整场景:
hive> create table default.Hello(id int,name string) clustered by
(id) into 2 buckets STORED AS ORC TBLPROPERTIES
('transactional'='true');
hive> insert into default.hello values(10,'abc');
现在我正在尝试从 Spark sql 访问 Hive Orc 数据,但它显示
唯一的模式
>spark.sql("select * from hello").show()
输出:id,名称
是的,作为一种解决方法,我们可以使用压缩,但是当作业是微批量压缩时,压缩将无济于事。所以我决定使用 JDBC 调用。请在下面的链接中参考我对此问题的回答或参考我的 GIT 页面 -https://github.com/Gowthamsb12/Spark/blob/master/Spark_ACID https://github.com/Gowthamsb12/Spark/blob/master/Spark_ACID
这个问题请参考我的回答 https://stackoverflow.com/questions/53199369/how-to-access-the-hive-acid-table-in-spark-sql/56233085#56233085
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)