程序员经验分享-hwhale

bigquery 流缓冲区会持续多长时间

2023-12-05

我目前正在将数据从sql server数据库系统迁移到bigquery，并且在尝试从具有活动流缓冲区的bigquery表中删除记录时遇到了问题，您能否确认流缓冲区在被删除之前会持续多长时间那么删除操作可以运行吗？我发现这给开发过程带来了不必要的不​​便。

非常感谢您的帮助，期待您的来信。

此致，


根据官方文档

数据最多可能需要90 分钟后可用用于复制和导出操作。此外，当流式传输到分区表时，流式缓冲区中的数据的 _PARTITIONTIME 伪列具有 NULL 值。要查看数据是否可用于复制和导出，请检查tables.get响应中名为的部分streamingBuffer。如果该部分不存在，则您的数据应该可用于复制或导出，并且 _PARTITIONTIME 伪列应该具有非空值。此外，streamingBuffer.oldestEntryTime可以利用字段来识别流缓冲区中记录的年龄。

流式传输到分区表

流式传输数据时，将过去7天到未来3天的数据放入流式缓冲区中，然后提取到相应的分区。在此窗口之外（但在 1 年 6 个月范围内）的数据将放置在流缓冲区中，然后将其提取到 UNPARTITIONED 分区。当有足够的未分区数据时，将其加载到相应的分区。

我们通过延迟删除请求或每 24 小时执行一次来解决您的情况。您现在可以编写删除查询脚本以使用streamingBuffer.oldestEntryTime作为参数，并尝试删除任何早于该参数的内容。

https://cloud.google.com/bigquery/streaming-data-into-bigquery

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

googlebigquery

bigquery 流缓冲区会持续多长时间 的相关文章

随机推荐

  • PySpark Dataframe 将两列转换为基于第三列值的新元组列

    正如主题所描述的 我有一个 PySpark Dataframe 我需要将两列转换为 一个新列 它是基于第三列值的元组列表 该演员阵容将减少或 通过键值 本例中为产品 id 展平数据框 结果为一行 每个键 该数据框中有数亿行 有 3700 万

  • 在函数中使用时，右值引用是否被视为左值？

    我发布了这个答案 https stackoverflow com a 28459180 2642059其中包含以下代码 void foo string bar string temp bar cout lt lt temp lt lt lt

  • Mac 上未设置 TERM 环境变量

    我不断收到 TERM 环境变量未设置 的消息 当我在 Mac 终端上使用 svn 命令时出现错误 我以为我已经通过以下操作设置了我的个人资料 export SVN EDITOR usr bin nano export EDITOR usr

  • Laravel Carbon 日期 diffInDays() 出现字符串错误

    我需要找出两个日期之间的差异 假设我有 2017 02 01 2017 01 01 输出的就是两天之间的天数 formatted dt1 Carbon parse a gt date gt format Y m d formatted dt

  • PDOStatement::execute(): SQLSTATE[HY093]: 参数数量无效：绑定变量的数量与标记数量不匹配

    sql INSERT INTO table name day campaign name campaign id views CPM cost currency cost EUR VALUES day campaign name campa

  • CMake - 始终构建特定文件

    我有一个特定的文件 无论它是否被修改 都应该在每次编译时重建 原因是它取决于值变化的系统宏 我如何使用 CMake 强制重建 我不想将其绑定到特定目标 在 CMakeLists txt 中指定的任何目标开始实际构建过程之前 应该 触及 该文

  • EclipseLink 自定义表和列命名策略

    有没有办法让 EclipseLink 将驼峰式大小写转换为下划线 例如 class MyEntity gt select from MY ENTITY 理想情况下 我可以将预先打包的东西作为属性放入 persistence xml 中 您可

  • 将 pandas 系列和 dataframe 对象转换为 numpy 数组

    系列到 Numpy 数组 我有一个pandas系列对象如下所示 s1 pd Series 0 1 2 3 4 5 6 7 8 index AB AC AD BA BB BC CA CB CC 我想把这个系列转换成numpy数组如下 seri

  • 如何以编程方式启动特定应用程序？

    我想启动一个特定的应用程序 我知道如何执行意图 但如果有多个应用程序可以处理意图 我想避免选择菜单 我想直接进入特定的应用程序 希望这是有道理的 您应该使用包管理器的功能 Context ctx this or you can replac

  • 在 Flask 应用程序中返回 Excel 文件

    我正在创建一个 Flask 应用程序 提示用户输入 Excel 文件 对其进行一些处理 然后将文件返回给用户以便他们可以下载它 请忽略任何未使用的导入 我计划稍后使用它们 我的功能已关闭 我只是不确定如何将文件发送回用户以便他们可以下载它

  • JSP 表达式适用于 JSTL 标记，但不适用于 Struts 2 标记

    我在我的项目中使用 JSTL 和 Struts 2 我正在尝试使用 JSTL 和 Struts 2 标记在范围内设置一个值 如下所示 div div div div

  • 警告：mysql_fetch_object()：提供的参数不是有效的 MySQL 结果资源

    地狱在那里 当我尝试连接以从数据库中提取内容时 出现以下错误 Warning mysql fetch object supplied argument is not a valid MySQL result resource in home

  • String 与 Stringbuffer 作为 HashMap 键

    我试图理解为什么 String 和 Stringbuilder StringBuffer 在用作 Hashmap 键时会受到不同的对待 让我用下面的插图来澄清我的困惑 示例 1 使用字符串 String s1 new String abc

  • 图库内的图像缩放/平移

    我正在尝试在 Android 图库小部件中缩放 平移图像 图像覆盖整个屏幕 虽然我可以缩放 平移图库中的图像 但我无法滑动到下一个 上一个图像 单个图像的缩放和平移效果很好 我创建了一个 TouchImageView 它扩展了 ImageV

  • 为什么 GWT 不允许我们在文档元素上添加关键事件处理程序？

    我知道有FocusPanel我可以在其上附加此类处理程序 但根据我的经验 该组件的行为不太好 所以我想尽可能避免它 所以我想知道为什么没有办法在文档上附加密钥处理程序 根据怪异模式它可以跨浏览器工作 所以这不应该是一个问题 我也尝试自己编写

  • 用于多对象分类的支持向量机

    我正在尝试使用线性支持向量机进行多类对象类别识别 到目前为止 我了解到主要使用两种方法 一对一 OVA 和一对一 OVO 但我很难理解它的实现 我的意思是我认为使用的步骤是 首先 特征描述符是通过 SIFT 准备的 所以我有一个 128XN

  • 子文档中的 SD MongoDB 多态性

    我刚刚开始使用 spring data mongodb 用 Ja va 开发一些应用程序 并遇到了一些我无法解决的问题 有几个像这样的文档 bean Document collection myBeanBar public class Ba

  • 显示站点根目录外部的图像

    类似的问题在这里被问到 从文档根目录外部提供图像 给出并接受的解决方案是使用 Apache Aliases 但是 文件夹的 Apache 别名是否也会将其公开 我想服务于一个形象并保持它在公众视野中的隐形性 除了别名之外 有谁知道在文档根目

  • Git 从浅克隆中查找自 以来修改的文件

    我在 CI 盒子上运行测试 为了加快速度 我只是做了一个浅克隆 git clone depth 1 email protected JoshCheek some repo git 假设所有测试都通过 我想触发管道中的下一步 触发的内容取决于

  • bigquery 流缓冲区会持续多长时间

    我目前正在将数据从sql server数据库系统迁移到bigquery 并且在尝试从具有活动流缓冲区的bigquery表中删除记录时遇到了问题 您能否确认流缓冲区在被删除之前会持续多长时间那么删除操作可以运行吗 我发现这给开发过程带来了不必

热门标签