在 BigQuery python api 中设置聚类列

2024-03-24

我正在尝试在 BigQuery 中创建集群表。

当我在 UI 中测试它时,它工作得很好:

CREATE OR REPLACE TABLE `project_id_xyz.temp.clustering`
PARTITION BY date
CLUSTER BY cluster_col AS
SELECT CURRENT_DATE() as date, 1 as cluster_col

然而,当我在 python (3.7.1) 中通过 google-bigquery==1.9.0 尝试相同的操作时,表被创建并分区但没有集群。如 UI 中的“详细信息”选项卡所示。

这是我用来创建表的片段。

dataset = client.dataset("temp")
table = dataset.table("clustering_test")
job_config = bigquery.QueryJobConfig()
job_config.destination = table
job_config.write_disposition = "WRITE_TRUNCATE"

time_partitioning = TimePartitioning()
time_partitioning.field = "date"
job_config.time_partitioning = time_partitioning
job_config.clustering_fields = ["cluster_col"]

sql = """
    SELECT CURRENT_DATE() as date, 1 as cluster_col
"""
query_job = client.query(
    sql,
    location='US',
    job_config=job_config)

query_job.result() 

代码看起来非常简单,也不会抛出任何异常。

有什么明显的事情表明我做错了吗?


我运行你的 python 代码,我可以确认它在集群设置中按预期工作。

使用 Python 3.6.7 解决问题的方法是创建一个干净的版本并再次运行代码

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

在 BigQuery python api 中设置聚类列 的相关文章

  • PyPDF2 复制后返回空白 PDF

    def EncryptPDFFiles password directory pdfFiles success 0 Get all PDF files from a directory for folderName subFolders f
  • Python 字典不按顺序排列

    我创建了一个字母表字典 其值从0开始 并根据单词文件增加一定的量 我对最初的字典进行了硬编码 我希望它保持按字母顺序排列 但事实并非如此 我希望它按字母顺序返回字典 基本上与初始字典保持相同 我怎样才能保持秩序 from wordData
  • NumPy:linalg.eig() 和 linalg.eigh() 之间的区别

    在 Python 3 应用程序中 我使用 NumPy 来计算对称实矩阵的特征值和特征向量 这是我的演示代码 import numpy as np a np random rand 3 3 generate a random array sh
  • 如何在Python中比较枚举?

    从 Python 3 4 开始 Enum类存在 我正在编写一个程序 其中一些常量具有特定的顺序 我想知道哪种方式最适合比较它们 class Information Enum ValueOnly 0 FirstDerivative 1 Sec
  • 使用 ABCMeta 和 EnumMeta 的抽象枚举类[重复]

    这个问题在这里已经有答案了 简单的例子 目标是通过从两者派生的元类创建一个抽象枚举类abc ABCMeta and enum EnumMeta 例如 import abc import enum class ABCEnumMeta abc
  • 哪些 2to3 修复程序输出有效的 Python 2 代码?

    2to3 是一个 Python 程序 它读取 Python 2 x 源代码并应用一系列修复程序将其转换为有效的 Python 3 x 代码 考虑一下列出的四十个修复者https docs python org 3 library 2to3
  • 如何在自动模式下获取 pytest 夹具返回值?

    我是新来学习 pytest 的 在下面的示例代码中 我怎样才能得到A 对象在test one夹具处于状态时的功能autouse mode import pytest import time class A def init self sel
  • 无法让我的脚本自动生成一些值以在有效负载中使用

    我创建了一个脚本 通过随后发送两个 https 请求来从目标页面获取 html 元素 我的脚本可以完美地完成这件事 但是 我必须从 chrome 开发工具复制四个值来填充其中的四个键payload为了发送最终的http请求到达目标页面 这是
  • 如何解密 BigQuery 中的列?

    我在 BigQuery 中有一些加密列 我想使用 BigQuery 函数对其进行解密 用于加密它们的机制是 AES 256 使用的向量以 UTF8 编码 生成的数据采用 Base64 加密 我想要做的是使用函数解密 BigQuery 中传递
  • 组内条件计数

    我想在之后进行条件计数groupby 例如 按列的值分组A 然后计算每组中值出现的频率5出现在列中B 如果我整个过程都这样做DataFrame 只是len df df B 5 所以我希望我能做到df groupby A df B 5 siz
  • 使用Python批量重命名文件

    下面是我的代码来批量重命名给定目录中的图片 def multi filename change i 0 files askstring Select your folder Paste your directory path where y
  • 如何从 BigQuery API 获取列名称?

    我可以使用以下代码获取列值 os environ GOOGLE APPLICATION CREDENTIALS C Users xxx Desktop key json bq client Client query SELECT msts
  • Python 3.7 RPM 创建

    我正在尝试通过以下方式为 Python 3 7 3 创建 RPM 文件Python RPM https docs python org 3 distutils builtdist html但收到 文件未找到 错误 请按照以下链接查看日志 L
  • 如何在arm64主机上运行amd64 docker镜像

    警告 请求的映像平台 linux amd64 与检测到的主机平台 linux arm64 v8 不匹配 并且未请求特定平台 2021 07 28 22 25 06 349222 F tensorflow core platform cpu
  • 如何使用 pyinstaller 包含文件?

    我也使用 tkinter 使用 python 3 7 编写了一个程序 由于我使用的是外部图片 因此当我将所有内容编译为一个 exe 时 我需要包含它们 我试过做 add data bg png files 但我仍然收到此错误 tkinter
  • 有没有办法在每个特定的时间间隔运行 python Flask 函数并在本地服务器上显示输出?

    我正在使用 Flask 工作 python 程序 我想从字典中提取键 该密钥为文本格式 但我想在每个特定的时间间隔后重复上述整个过程 并每次在本地浏览器上显示此输出 我已经使用flask apscheduler尝试过这个 程序只运行一次并显
  • PyMC3-自定义 theano Op 进行数值积分

    我使用 PyMC3 进行参数估计 使用必须定义的特定似然函数 我用谷歌搜索了一下 发现我应该使用densitydist实现用户定义的似然函数的方法 但它不起作用 如何在 PyMC3 中合并用户定义的似然函数并找出最大 aposteriori
  • 如何在Python 3中将文本流编码为字节流?

    将字节流解码为文本流很容易 import io f io TextIOWrapper io BytesIO b Test nTest n utf 8 f readline 在这个例子中 io BytesIO b Test nTest n 是
  • pip 安装最新的依赖版本

    当我使用安装包时pip install e 它仅安装不满足的依赖项并忽略依赖项升级 如何在每次运行时安装最新的依赖版本pip install e 我尝试过使用pip install upgrade e 但是使用这个选项没有任何改变 我仍然得
  • 使用 pyppeteer 与 asyncio 关联来抓取内容

    我用 python 结合编写了一个脚本pyppeteer随着asyncio从其登陆页面抓取不同帖子的链接 并最终通过跟踪通向其内页的 url 来获取每个帖子的标题 我这里解析的内容不是动态的 但是 我利用了pyppeteer and asy

随机推荐

  • 完全用汇编语言编写操作系统有什么好处? [关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 MenuetOS http en wikipedia org wiki MenuetOS是完全用汇编编写的操作系统的示例 用汇编语言编写它比用
  • 在 Visual Basic 6 中对 Excel 工作表进行编码

    我想将excelsheet1的列A的值获取到Visual Basic的某个变量中 然后在更改该值后发送回下一个sheet2 这是一个完整且有效的项目示例 它将值从 Sheet1 单元格 A1 复制到 Sheet2 单元格 A1 declar
  • C# 中的空可扩展树节点

    我想在 C 中创建一个可扩展的空树节点 即一个空的树节点 旁边有 符号 原因是因为最初它是空的 但是一旦单击一个节点 我想用许多子节点填充它 我面临的唯一问题是空树节点不可扩展 所以我不知道该怎么办 有没有办法解决这个问题 或者有什么解决方
  • AF-XDP:实现共享 Umem 套接字

    我想实现 XDP SHARED UMEM https www kernel org doc html latest networking af xdp html xdp shared umem bind flag https www ker
  • c:out 和使用 $ 打印输出之间的区别

    在 JSTL 中有两种打印输出的方法 h1 h1
  • hh_client 报告包错误

    我正在按照中的说明进行操作入门 https docs hhvm com hack getting started starting a real project在 Hacklang 官方网站上 正如它所说 我运行 touch hhconfi
  • 在包中包含一个“哈希表”

    我正在整理一个我已经工作了近一年的包 我有一个音节查找函数所需的哈希表 哈希表实际上只是一个环境 我想我不是计算机高手 它是一个查找表 您可以在下面看到我创建它的函数 我有一个数据集DICTIONARY 约 20 000 个字 将在加载包时
  • 在JAVA中从字符串(从url类型更改)中删除尾部斜杠

    我想从 Java 中的字符串中删除尾部斜杠 我想检查字符串是否以 url 结尾 如果是 我想删除它 这是我所拥有的 String s http almaden ibm com s s replaceAll 和这个 String s http
  • 使用 jQuery 创建新的 html5 视频对象

    如何使用 jQuery 创建视频元素 并将其属性 例如 control 添加到 true
  • Python 和 MySQL:有 MySQLdb 的替代品吗?

    是否有一个纯粹用 Python 编写的模块允许脚本与 MySQL 数据库通信 我已经尝试过 MySQLdb 但没有成功 它需要太多 GCC zlib 和 openssl 我无法使用这些工具 即使我这样做了 我也不想浪费时间让他们一起工作 我
  • 使用Camel的spring-rabbitmq组件时如何自动声明交换?

    我正在尝试从 Camel 3 x 迁移到 Camel 4 x 版本 因此我需要从rabbitmq替换组件spring rabbitmq With rabbitmq我正在使用的组件declare https camel apache org
  • 如何自动滚动到网格视图的末尾?

    当我将项目添加到网格视图的末尾时 我希望用户看到已添加的内容 这是我的意思的一个例子 用户通过按 图标添加项目 问题是在第 14 项之后没有任何反馈表明已添加任何项目 当最后一项添加到列表中时 如何自动滚动到最后一项 奖励点 当第 n 个项
  • 允许使用 docker-compose 在两个 docker 桥接网络之间进行通信

    我正在使用 docker compose 创建相当复杂的 docker 容器基础设施 这些容器在 4 个不同的网络中运行 类似于我模仿的生产环境 Docker Compose 为我创建了这四个网络 并且一切正常 因为容器不会尝试与不同网络内
  • 数据切换和数据目标在引导程序中不起作用

    我正在使用 bootstrap 开发导航栏 该导航栏上有两个按钮 一个用于登录 另一个用于注册 我希望当用户单击 登录 时 会弹出一个模式弹出窗口 并且当单击 注册 时 用户将被重定向到另一个页面 下面是我的代码 但在我看来它不起作用 我尝
  • 保护 REST API 和 Slim 框架的安全

    我对 REST API 相当陌生 我意识到已经发布了很多问题 然而 仔细阅读这些实际上让我对如何处理这个问题更加困惑 我使用创建了一个 REST API纤薄的框架 http www slimframework com 我只是用它来传输数据
  • Rails 5.x:如何在运行时添加路由而不覆盖原始路由表?

    假设我有一个控制器操作 应该会导致将新路由添加到路由表中 def make route vanity url params vanity url vanity redirect params vanity redirect return r
  • odbc 驱动程序不支持请求的属性

    当我们在最后一行运行程序时 odbc 驱动程序不支持请求的属性 错误出现 任何人都可以给我一个想法 Dim conn As New ADODB Connection Dim rsRec As ADODB Recordset Dim cmd
  • 如何在张量流中使用非常大(>2M)的词嵌入?

    我正在运行一个具有非常大的词嵌入 gt 2M 词 的模型 当我使用 tf embedding lookup 时 它需要一个很大的矩阵 当我运行时 我随后出现了 GPU 内存错误 如果我减小嵌入的大小 一切都会正常 有没有办法处理更大的嵌入
  • 如何在 Matlab 启动时设置一些自定义变量

    我想设置一些初始变量 例如format compact和当前目录 在 Matlab 每次启动时自动执行 我怎样才能做到这一点 创建一个startup m 脚本文件 其中包含用于设置所需状态的命令 接下来 从 MATLAB 内部运行命令 gt
  • 在 BigQuery python api 中设置聚类列

    我正在尝试在 BigQuery 中创建集群表 当我在 UI 中测试它时 它工作得很好 CREATE OR REPLACE TABLE project id xyz temp clustering PARTITION BY date CLUS