如何在spark中读取orc事务hive表?

2023-12-19

如何在spark中读取orc事务hive表?

我在通过 Spark 读取 ORC 事务表时遇到问题 我获得了配置单元表的架构,但无法读取实际数据

查看完整场景:

hive> create table default.Hello(id int,name string) clustered by
(id) into 2 buckets STORED AS ORC TBLPROPERTIES
('transactional'='true');
   
hive> insert into default.hello values(10,'abc');

现在我正在尝试从 Spark sql 访问 Hive Orc 数据,但它显示 唯一的模式

>spark.sql("select * from  hello").show()  

输出:id,名称


是的,作为一种解决方法,我们可以使用压缩,但是当作业是微批量压缩时,压缩将无济于事。所以我决定使用 JDBC 调用。请在下面的链接中参考我对此问题的回答或参考我的 GIT 页面 -https://github.com/Gowthamsb12/Spark/blob/master/Spark_ACID https://github.com/Gowthamsb12/Spark/blob/master/Spark_ACID

这个问题请参考我的回答 https://stackoverflow.com/questions/53199369/how-to-access-the-hive-acid-table-in-spark-sql/56233085#56233085

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何在spark中读取orc事务hive表? 的相关文章

随机推荐