程序员经验分享-hwhale

是否可以直接从文件加载镶木地板表？

2024-04-21

如果我有一个二进制数据文件（可以转换为 csv 格式），有什么方法可以直接从中加载镶木地板表吗？许多教程显示将 csv 文件加载到文本表，然后从文本表加载到镶木地板表。从效率的角度来看，是否可以像我已有的那样直接从二进制文件加载镶木地板表？理想情况下使用创建外部表命令。 或者我需要先将其转换为 csv 文件？文件格式有限制吗？


不幸的是，无法在 Impala 中读取自定义二进制格式。您应该将文件转换为 csv，然后在现有 csv 文件上创建一个外部表作为临时表，最后插入到从临时 csv 表读取的最终镶木地板表中。这Impala Parquet 文档 http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/impala_parquet.html有更多信息和一些相关示例。请参阅有关压缩小文件的部分，这是类似的。

我不知道如何将文件格式转换为 csv，但您可能会考虑编写一个程序将二进制格式转换为 Parquet。例如，您可以编写一个写入 Parquet 文件的 MapReduce 作业。下面是一个读取和写入 Parquet 的示例：https://github.com/cloudera/parquet-examples/blob/master/MapReduce/TestReadWriteParquet.java https://github.com/cloudera/parquet-examples/blob/master/MapReduce/TestReadWriteParquet.java

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

clouderacdh

impala

parquet

是否可以直接从文件加载镶木地板表？ 的相关文章

随机推荐

  • 如何在.net core或.net standard项目中运行VBScript？

    我知道这是死胡同而且愚蠢的想法 但仍然 您知道在 Net Core 或 Net Standard 项目中运行 VBScript 的任何 nuget 或解决方法吗 我尝试使用 ClearScript V8 nuget https www nu

  • 在 Mako 模板中使用 from __future__ import

    I have 在我的模板文件的最顶部 我收到错误 SyntaxError from future imports must occur at the beginning of the file 这样做的正确方法是什么 你不能使用from f

  • 从android执行.bat文件

    我正在尝试执行 xxx bat 文件以从我的 Android 应用程序重命名该文件 听到的是我的代码 Runtime getRuntime exec Environment getExternalStorageDirectory File

  • 如何衡量服务器的请求和响应时间？

    我正在使用 asynctask 和 json 解析来从服务器获取响应 我如何测量请求和响应时间 以下是我的网络服务代码 任何人都可以帮助我吗 public class JSONParser static InputStream is nul

  • 为什么我的 redux 状态没有更新

    状态未更新 当调度操作时 状态应更新为 isAuthenticated 为 true 但状态未更新 redux 返回初始状态而不是更新后的状态 export function setCurrentUser user console log

  • 有什么好的 JavaScript 货币或小数类吗？

    我正在尝试处理 JavaScript 值 例如23 45 但我希望能够对这些值进行数学运算 加法 减法 乘法 除法 而不会遇到浮点问题 是的 有时我可能需要对结果进行四舍五入 但我希望它给出合理的答案 在 JavaScript 中考虑一下

  • 发送的邮件项目无效使用

    背景 The 在这里提问 https stackoverflow com questions 38405423 outlook send event class 38407819 38407819提供了进一步的解释 在这种情况下 我想知道为

  • Angular2 Ng2文件上传CORS问题

    我是新来尝试angular2 我已经安装了 angular2 文件上传 我复制了教程中的所有代码here http valor software com ng2 file upload 我完全复制了开发人员在那里写的内容 但我遇到这样的问题

  • 有没有办法使用 flutter ping 本地 IP 地址？

    我想检查特定设备是否连接到我的网络 我有该设备的 IP 地址 我无法找到使用 flutter 应用程序 ping 该设备的方法 这里的目标是通过 ping 设备来检查特定设备是否连接到本地网络 你能帮我吗 用这个 import dart i

  • 源注释.h ？ C++ [关闭]

    这个问题不太可能对任何未来的访客有帮助 它只与一个较小的地理区域 一个特定的时间点或一个非常狭窄的情况相关 通常不适用于全世界的互联网受众 为了帮助使这个问题更广泛地适用 访问帮助中心 help reopen questions Visua

  • 在SPARQL中使用LIMIT时如何获取结果总数？

    我有一个 SPARQL 查询 它返回结果LIMIT共 20 个 在此查询中 我还想知道结果总数 而无需运行查询两次 一次运行LIMIT和一个没有LIMIT 例如 运行查询时 可能的结果总数为 500 个 其中LIMIT它一次只显示 20 个

  • 如何发送元数据 HTTP POST 请求

    假设我想发送这些类型的请求 其中 json 数据中有 meta 我该如何处理 我把它作为 json 数据 amount 500 narration Test Int l bank transfers currency USD benefic

  • 如何启动一个新的大型 ZF2 项目？

    我将使用 ZF2 创建一个新项目 事实上 我必须升级 ZF1 项目 但我决定从头开始 我的项目非常庞大 已经被来自世界各地的志愿者翻译成 10 种不同的语言 我遇到的困难是分析 ZF2 告诉我要遵循的模块结构 该软件允许 ISP 领域的中小

  • 如何使用 Selenium 找到文本位置？

    我正在尝试使用 Selenium 查找网页上某些文本的位置 我可以使用 isTextPresent 函数来告诉我文本是否出现 但随后我想知道它实际在哪里 更广泛的问题是我想单击此文本 问题是我似乎无法单击此文本 我认为该文本位于页面上嵌入的

  • sqlalchemy中查询相关表

    所以我有两个表 员工 和 详细信息 如下所示 class Employee Base tablename employees id Column Integer Sequence employee id seq primary key Tr

  • 如何在 ASP.NET 5 中使用基于 IAppBuilder 的 Owin 中间件

    ASP NET 5 ASP NET vNext 与 Katana 一样基于 OWIN 但具有不同的抽象 尤其IAppBuilder已被替换为IApplicationBuilder 许多中间件库依赖于IAppBuilder并且尚未更新以支持

  • 使用多个条件查找所有结果

    我有一个包含多列的表 我想使用条件过滤表并接收包含匹配项的范围 1 我知道我可以使用循环轻松地在表中进行迭代 或者 2 我可以在列中添加过滤器 我不喜欢 1 因为表中的迭代太慢 但我可以做到这一点 Excel 是否有一种函数可以一步返回按特

  • BigQuery更新如何获取更新的行数

    我正在使用 Google Cloud Functions 连接到 Google Bigquery 数据库并更新一些行 云函数是使用Python 3编写的 当我通过函数运行更新 dml 时 我需要帮助弄清楚如何获取结果消息或更新 更改的行数

  • dplyr 0.3 无法inner_join data.table？

    我有以下设置并加载了 dplyr 0 3 和 data table 1 9 3 R version 3 1 1 2014 07 10 Platform x86 64 apple darwin10 8 0 64 bit locale 1 en

  • 是否可以直接从文件加载镶木地板表？

    如果我有一个二进制数据文件 可以转换为 csv 格式 有什么方法可以直接从中加载镶木地板表吗 许多教程显示将 csv 文件加载到文本表 然后从文本表加载到镶木地板表 从效率的角度来看 是否可以像我已有的那样直接从二进制文件加载镶木地板表 理

热门标签