程序员经验分享-hwhale

Presto 和 Impala 之间的基本架构、SQL 合规性和数据使用场景有哪些差异？

2024-03-27

有专家能从这些角度对Presto和Impala的区别给出一些简洁的答案吗？

  1. 基础架构设计
  2. SQL合规性
  3. 现实世界的延迟
  4. 任何 SPOF 或容错功能
  5. 结构化和非结构化数据使用场景表现

Apache Impala 是仅适用于 HDFS/Hive 系统的查询引擎。

PrestoDB https://prestodb.io/，以及社区版本Trino https://trino.io另一方面是通用查询引擎，它支持 HDFS 只是众多选择之一。有一个长连接器列表 https://trino.io/docs/current/connector.html可用，Hive/HDFS 支持只是其中之一。这也意味着您可以同时查询同一系统中的不同数据源。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

presto

impala

trino

Presto 和 Impala 之间的基本架构、SQL 合规性和数据使用场景有哪些差异？ 的相关文章

  • impala 错误

    问题一 impala state store unrecognized service 原因 当前节点未成功安装impala server impala state store impala catalog 解决方案 yum install

  • impala 错误

    问题一 impala state store unrecognized service 原因 当前节点未成功安装impala server impala state store impala catalog 解决方案 yum install

  • AWS Athena：删除日期范围之间的分区

    我有一个 athena 表 其基于日期的分区如下 20190218 我想删除去年创建的所有分区 我尝试了以下查询 但没有成功 ALTER TABLE tblname DROP PARTITION partition1 lt 20181231

  • AWS Athena (Presto)如何将映射转置为列

    AWS Athena 查询问题 我的行中有一个嵌套映射 我想将其中的键转置到列 我可以明确地命名这些列 例如items label a 但在这种情况下 键实际上是动态的 从这些行 id 1 items label a foo label b

  • AWS Athena (Presto) OFFSET 支持

    我想知道 AWS Athena 是否支持 OFFSET 对于 mysql 以下查询正在运行 但在 athena 中它给了我错误 任何例子都会有帮助 从员工中选择 其中 empSal gt 3000 LIMIT 300 OFFSET 20 A

  • AWS Athena 上的 OFFSET

    我想在 AWS Athena 上运行查询LIMIT and an OFFSET条款 我认为前者受到支持 而后者不是 有没有办法使用其他方法来模拟此功能 Using OFFSET分页效率非常低 特别是对于像 Presto 这样经常需要执行全表

  • SQL Presto：不支持相关子查询

    考虑表x id val 1 100 3 300 和表y id 1 2 3 对于每一行y我想要val from x哪里的id从 y 等于或最接近之前id from x像那样 id val 1 100 2 100 3 300 我试图找到与相关子

  • 如何将存储为bigint的Java时间戳转换为Presto中的时间戳？

    几天来我一直没有找到这个 如果我的 hive 表中数据的 avro 模式是 type record name messages namespace com company messages fields name timeStamp typ

  • 在两个日期之间添加行 Presto

    我有一个包含 3 列的表 start end 和 emp num 我想生成一个新表 其中包含每个员工这些日期之间的所有日期 需要使用Presto 我参考了这个链接 在 Presto 中将日期插入到开始日期和结束日期之间的表中 https s

  • 查询删除列中字符串的第一个和第二个连字符之间的所有内容

    我正在尝试根据自定义字段检索记录 ci ku 对于 的相同值ci ku 我们将有多个 l1m 访问次数 我想检索 的最小值l1m访问 对于每个 ci ku 我想得到ci ku通过删除第一个和第二个下划线 之间的字符串ku 如何在这里编写查询

  • 如何在 Presto 中将时间戳转换为日期？

    我喜欢将时间戳列转换为日期和时间格式 我应该如何从 presto 编写查询 我的时间戳是UTC时间 非常感谢 Timestamp format 1506929478589 After query convert it looks like

  • 来自字符串字段的 AWS Athena json_extract 查询返回空值

    我在 athena 有一张具有这种结构的表 CREATE EXTERNAL TABLE json test col0 string col1 string col2 string col3 string col4 string ROW FO

  • 在 Presto 中提取复杂的嵌套 JSON 数组

    我有一个像这样的复杂 JSON 对象 item detail itemid 4702385896 modelid 8307307322 quantity 1 itemid 3902478595 modelid 8306561848 quan

  • Presto 中的用户定义函数

    我目前正在使用 Presto 0 80 我必须编写一个用户定义的函数来在选择查询期间将摄氏度转换为华氏度 我使用 Hive QL 做了同样的事情 但想知道我们是否可以在 Facebook Presto 中复制相同的内容 任何帮助将不胜感激

  • 将 Unix 纪元时间转换为扩展 ISO8601

    我有 3 个表 我想使用日期来处理 但是其中一个表包含 unix 纪元格式的日期 以下是 3 个字段的示例 Table1 2017 02 01T07 58 40 756031Z Table2 2017 02 07T10 16 46Z Tab

  • Presto/Athena 中嵌套日期分区的比较查询

    我将 parquet 数据存储在 S3 上 以 Hive 理解的格式进行分区 s3

  • 显示 Presto 中所有模式的表

    急速 SHOW SCHEMAS 返回所有模式 SHOW TABLES FROM foo 返回 foo 模式的所有表 有没有一种简单的方法可以从 Presto 中的所有模式返回表 您可以使用select table schema table

  • AWS Lambda 错误：无法导入模块“function_name”：没有名为“module._module”的模块

    阅读后请特别查看屏幕截图 我正在 AWS Lambda 上部署一个使用该包的 python 脚本impyla它依赖于包bitarray from impala dbapi import connect 我的Python文件名为authori

  • AWS Athena 扁平化来自嵌套 JSON 源的数据

    我想从 Athena 中的嵌套 JSON 创建一个表 描述的解决方案here http docs aws amazon com athena latest ug json html使用 hive Openx JsonSerDe 等工具尝试在

  • 如何在 Presto 中删除重复数据

    我有一个 Presto 表 假设它有 id name update time 列和数据 1 Amy 2018 08 01 1 Amy 2018 08 02 1 Amyyyyyyy 2018 08 03 2 Bob 2018 08 01 现在

随机推荐

热门标签