程序员经验分享-hwhale

如何将Spark结构化流数据写入Hive？

2024-01-25

如何将Spark结构化流数据写入Hive？

有df.write().saveAsTable(tablename)但是我不确定这是否会写入流数据

我通常这样做df.writeStream().trigger(new ProcessingTime(1000)).foreach(new KafkaSink()).start()将流数据写入 Kafka，但我没有看到任何类似于将流数据写入 Hive 数据仓库的内容。有任何想法吗？


df.createOrReplaceTempView("mytable") 
spark.sql("create table mytable as select * from mytable");

or

df.write().mode(SaveMode.Overwrite).saveAsTable("dbName.tableName");
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

apachespark

hive

apachespark20

如何将Spark结构化流数据写入Hive？ 的相关文章

随机推荐

  • 如何在 PHP 中获取具有特定时间的下一个日期

    我想在 PHP 中获取特定日期和时间的日期 就像我想要第二天的日期和上午 9 30 的时间 即 2011 06 02 09 30 00 我使用 get 来做到这一点的代码 上面的代码工作正常 但在 31 天失败 在 31 日它返回 1970

  • 如何很好地重新调整网格图形？

    在准备打印图形时 我经常需要将它们制作得比屏幕上显示的小得多 将图形缩小到只有几厘米的情况并不罕见 带有标准图形包par cex 可以用来缩小整个图以适应这么小的区域 并且看起来仍然成比例 格子包中有类似的东西吗 基本上 如何以右面板的大小

  • 如何在 SwiftUI 中的列表元素之间自动添加分隔线？

    我正在尝试复制的一些行为List 我特别想在所有元素之间添加分隔线 我当前的代码如下所示 Customlist Text Divider Text Divider Text 我想删除分隔符并只提供文本节点 但我不知道如何自动注入分隔符Cus

  • CarrierWave 文件上传在 Rails 中不起作用

    我需要将图像上传到我的电影收藏应用程序 我使用载波来做到这一点 遵循 Railscasts 步骤 http railscasts com episodes 253 carrierwave file uploads 步骤 1 我将 gem c

  • Gradle 从 Intellij Idea 中的缓存创建模块

    Hello 我在使用 IntellijIdea Gradle 4 4 时遇到问题 在每次 gradle 构建时 Intellij Idea 都会创建一个新的模块组 添加来自 gradle 缓存的依赖项 去掉模块也没用 这是我的 gradle

  • 如何更新实体框架中的子列表？

    这些是模型 public class Contact public Contact Emails new List

  • pycharm在同一个项目中使用多个解释器？ [复制]

    这个问题在这里已经有答案了 我从事的项目涉及 抓取 部分和 网络 部分 我使用 scrapy 框架进行抓取 flask 框架用于网络 是否可以在同一项目中配置 PyCharm 以使用 2 个解释器 一个用于 scrapy 部分的 2 7 一

  • 如何实现接受任何容器类型的函数？

    我想实现一个函数std vector or std array作为一个论点 参数列表如何从容器类型中抽象出来 看这个例子 how to implement this bool checkUniformity container type c

  • 如何以编程方式添加重复事件？

    我正在开发一个用于将事件添加到日历的应用程序 我正在使用以下代码插入重复事件 但它强制关闭应用程序并出现错误 java lang IllegalArgumentException 事件的 DTEND 和 DURATION 不能同时为 nul

  • 为什么使用 python tkinter 时框架会调整大小？

    我的代码如下 import tkinter as tk setting up window root tk Tk root title CSV Maker root geometry 600x300 setting up frames le

  • 如何忽略图标？在git中

    在尝试使用 git 设置保管箱文件夹时 我看到了一个不是我创建的 Icon r 文件 我尝试在 gitignore 文件中忽略它 但添加Icon r Icon r r Icon 根本行不通 您可以使用vim http www vim org

  • SSE 和 AVX 的 SIMD 数学库

    我正在寻找 SSE 和 AVX 的 SIMD 数学库 最好是开源的 我的意思是 例如 如果我有一个带有 8 个浮点值的 AVX 寄存器 v 我希望 sin v 立即返回所有八个值的 sin AMD 有一个专有库 LibMhttp devel

  • 如何解决“预检无效（重定向）”或“预检请求不允许重定向”

    我已按照此步骤设置我的服务器以启用 CORS https learn microsoft com en us aspnet web api overview security enabling cross origin requests i

  • CGEventPostToPSN() 不适用于鼠标点击

    我需要将鼠标单击事件发送到任意进程 不一定是前面的进程 而不将该进程的窗口带到前面 此代码用于发送鼠标单击并让窗口服务器将其发送到它认为具有焦点的任何进程 include

  • 使用 VBA 更改图表字体

    如何使用 VBA 更改 Excel 图表的字体 如果我手动选择图表 并在手动更改字体名称和大小时录制宏 则会得到下面的宏 但是 当我立即重播宏时 它会抛出运行时错误 指定的值超出范围 所以看起来宏记录器有一个错误 这意味着我自己无法找出更改

  • java.util.Map 的 getOrDefault() 如何工作？

    我注意到 如果我执行 map getOrDefault key1 new Object 即使对象存在key1在地图上 new Object 被建造 虽然该方法没有返回它 但它仍然创建它 例如 public class Empl privat

  • 从 ByteArrayInputStream 获取内部字节数组

    我想从 ByteArrayInputStream 获取内部字节数组 我不想扩展该类或将其写入另一个字节数组 有没有实用程序类可以帮助我做到这一点 Thanks 您无法访问相同的字节数组 但您可以轻松复制流的内容 public byte re

  • WooCommerce |设置账单字段值

    我想将结帐账单字段的值预先填充到用户的数据库存储值在他第一次购买之前 我尝试过以下代码 add filter woocommerce checkout fields function fields fields billing billin

  • 使用 Boost Graph Library 将 boost 动态属性写入文件

    我已经问过问题了here https stackoverflow com questions 34132273 adding custom properties to vertex of a grid in boost graph libr

  • 如何将Spark结构化流数据写入Hive？

    如何将Spark结构化流数据写入Hive 有df write saveAsTable tablename 但是我不确定这是否会写入流数据 我通常这样做df writeStream trigger new ProcessingTime 100

热门标签