从 Google Cloud Storage 加载 csv 文件时出现 BigQuery 错误

2023-11-24

我正在尝试加载 a 的数据csv保存在的文件GCS into BigQuery。 csv 文件位于UTF-8格式,包含 7 列。我已经在数据方案中指定了这些列(所有字符串和可为空的),并且我已经检查了 csv 文件的内容,这看起来很好。

当我尝试加载数据时出现以下错误:

遇到的错误太多。 (错误代码:无效) gs://gvk_test_bucket/sku_category.csv:CSV 表引用列 位置 1,但从位置:1750384 开始的行仅包含 1 列。 (错误代码:无效)

奇怪的是该文件只包含 680228 行。

当我检查allow jagged linesoptions 正在生成表,但只有第一列填充了整个逗号分隔的字符串。

有人能帮我吗?

示例行

119470,时装,时装自营,男装,男装品牌其他,正装衬衫,长袖衬衫


对我来说,这是一个存在换行符和回车符的问题,请尝试替换特殊字符。我已经使用下面的代码替换了字符,它解决了加载部分。

df= df.applymap(lambda x: x.replace("\r"," "))
df= df.applymap(lambda x: x.replace("\n"," "))

我使用了 lambda 函数,因为我不知道在我的例子中哪一列是字符串。如果您确定列,请按列替换它。

尝试替换角色,它也会对你有用。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

从 Google Cloud Storage 加载 csv 文件时出现 BigQuery 错误 的相关文章

随机推荐

  • 让我的 Spring 测试切片扫描单个类而不是整个包

    我被要求为现有的 SpringBoot 项目创建集成测试 该项目的组织并不像我希望的那样模块化 例如 有一个包生成与所有服务关联的所有存储库 当我尝试创建一个 WebMvcTest测试切片 因为当我使用 ComponentScan Enab
  • 用户“root”@“localhost”的访问被拒绝(使用密码:YES)

    我想连接我的本地 MYSQL 数据库 该数据库与 XAMP 服务器一起安装 我创建了一个新用户 即 NewUser 其密码是 password 我向该用户授予了所有权限 我使用用户 root 编写代码来连接数据库 该用户没有密码 其已连接
  • ASP.NET MVC 中的约定优于配置

    我对 ASP NET MVC 比较陌生 迄今为止该平台的清晰度给我留下了深刻的印象 然而 有一个方面我觉得不舒服 起初 我接受了这样一个事实 当我说 return View 我正在调用一个返回 ActionResult 的辅助方法 并对要呈
  • “pyspark.sql.functions.window”函数的“startTime”参数有什么作用?

    官方文档中只有一个简单的例子 startTime 是相对于 1970 01 01 00 00 00 UTC 的偏移量 从哪开始 窗口间隔 例如 为了让每小时滚动窗口从 15 分钟开始 过了一个小时 例如12 15 13 15 13 15 1
  • 如何在Cloud9 IDE中使用gruntserve?

    在我的 Gruntfile js 中 我尝试这样做 connect options port process env PORT hostname process env IP livereload 35729 我尝试从 Cloud 9 终端
  • 对abs的模糊调用

    我有一个自定义数据类型 实际上可以是float or double 在除 OSX 之外的每个操作系统上 我都能够成功构建此 C 11 模板 include
  • 在 Linux 中,我需要 X 服务器来进行离屏渲染吗?

    如果是这样 为什么 除了将渲染命令传送到显卡驱动程序之外 X 还能为我做什么 我不清楚 X OpenGL 的关系 我在互联网上搜索过但找不到简洁的答案 如果重要的话 假设有一个最小的现代发行版 比如无头的 Ubuntu 13 机器 对于当前
  • Cassandra select 语句中 where 子句后 OR 条件的替代方案

    在 Cassandra 中 是否可以像在任何 RDBMS 中一样 在 select 语句中的 where 子句之后使用多个条件联合在一起 这是我的代码 SELECT from TABLE NAME WHERE COND1 something
  • 在 Linux 中从 C 连接到 Matlab 引擎

    我正在尝试从 Linux 上的 C 程序 Matlab r2009a Ubuntu 9 10 以编程方式调用 Matlab 引擎 我已经有了自己的代码 可以在 Windows 中运行 但现在我只是想让 Matlab engdemo c 程序
  • 是否有使用可能/不可能提示的性能测试结果?

    海湾合作委员会的特点可能 不太可能的提示帮助编译器生成具有更好分支预测的机器代码 是否有任何数据表明正确使用或未能使用这些提示如何影响某些真实系统上真实代码的性能 问题有所不同 但是彼得 科德斯的回答 on 这个问题给出了明确的提示 现代
  • 具有四核处理器的笔记本电脑中的 Java 多线程

    我正在阅读 Java 教程 其中提到实际的多线程不会发生在具有单个处理器的机器中 它提到操作系统为 Java 进程分配指定的时间 而 JVM 线程调度程序会挑选线程在一小段时间内一次运行一个线程 我有一台四核处理器的笔记本电脑 通过在每个核
  • 如何在构建 JSON 字符串时转义特殊字符?

    这是我的字符串 user name abc fx message color red user color blue timestamp 2013 10 04T08 10 41 0100 message I mABC nanotime 19
  • 无法禁用网站的 SSL

    我创建了一个网站并将其部署到 Windows Azure 在开发过程中的某个地方 我从项目属性启用了 SSL 并且所有内容 https 地址 在本地主机和我部署站点的 Azure 网站上都工作正常 现在我的 Azure 试用版即将到期 我正
  • 在 iPhone 应用程序中从磁盘加载图像很慢

    在我的 iPhone 应用程序中 我使用 iPhone 的相机拍照并将其保存到磁盘 应用程序的文档文件夹 这就是我保存它的方式 UIImageJPEGRepresentation photoTaken 0 0 writeToFile jpe
  • 默认虚拟d'tor

    让我们假设我有两个课程 class Base class Derived public Base 没有人有 d tor 在这种情况下 如果我声明变量 Base b Derived d 我的编译器将为我生成 d tors 我的问题是 默认的
  • PDO 错误:“参数号无效:参数未定义”

    我正在尝试使用一个简单的 MySQL 插入查询 其参数采用数组形式 它一直告诉我参数数量错误 我已尝试以下操作 均产生相同的错误 stmt3 link gt prepare INSERT INTO messages VALUES null
  • Java 使用什么哈希函数来实现 Hashtable 类?

    从CLRS 算法导论 一书中 有几种哈希函数 例如mod multiply等 Java 使用什么哈希函数将键映射到槽 我看到这里有一个问题Java语言中使用的哈希函数 但它没有回答问题 而且我认为该问题的标记答案是错误的 它说 hashCo
  • C++ STL unordered_map 如何解决冲突?

    C STL unordered map 如何解决冲突 看着http www cplusplus com reference unordered map unordered map 它说 独特的钥匙 容器中的两个元素不能具有相同的键 这应该意
  • 如何优雅地耗尽EKS中的节点?

    有时我们需要排出 Kubernetes 中的节点 当我手动设置 k8s 集群时 我可以耗尽特定节点 然后终止该机器 在 EKS 中 节点位于自动缩放组下 这意味着我无法终止特定实例 节点 如果我手动终止一个实例 另一个实例 节点 将自动添加
  • 从 Google Cloud Storage 加载 csv 文件时出现 BigQuery 错误

    我正在尝试加载 a 的数据csv保存在的文件GCS into BigQuery csv 文件位于UTF 8格式 包含 7 列 我已经在数据方案中指定了这些列 所有字符串和可为空的 并且我已经检查了 csv 文件的内容 这看起来很好 当我尝试