程序员经验分享-hwhale

Hive 中特定列的区别

2024-02-14

我正在运行 Hive 071。 我有一个表，有多行，具有相同的列值。

 x | y |
---------
 1 | 2 |
 1 | 3 |
 1 | 4 |
 2 | 2 |
 3 | 2 |
 3 | 1 |

我想让 x 列唯一，并删除具有相同 x 值的行；

 x | y |
---------
 1 | 2 |
 2 | 2 |
 3 | 2 |

or

 x | y |
---------
 1 | 4 |
 2 | 2 |
 3 | 1 |

都很好。

由于 unique 仅适用于 Hive 中的整行，因此我找不到方法来做到这一点。


您可以使用 unique 关键字：

SELECT DISTINCT x FROM table
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

unique

Distinct

hive

Hive 中特定列的区别 的相关文章

  • hive中每行的百分比计算

    我在配置单元中有一个具有以下架构的表 差值 int 计数值 int 值为 5 2 30 1 90 1 100 1 现在我想找到每个 count value 与 count value 总和的百分比 每行的值类似于 count value s

  • Spark SQL 未正确转换时区[重复]

    这个问题在这里已经有答案了 使用 Scala 2 10 4 和 Spark 1 5 1 和 Spark 1 6 sqlContext sql select id to date from utc timestamp from unixtim

  • 如何从数组C++中获取唯一的字符串

    我知道我的问题对某些人来说可能很愚蠢 但我整天用谷歌搜索并尝试制定自己的解决方案 但我失败了 请帮助 我需要从简单的字符串数组中打印所有唯一的字符串 example 输入 嗨 我的 名字 嗨 土豆 文本 名字 嗨 输出 我的 土豆 文本 我

  • Hive（查找连续 n 列中的最小值）

    我在 Hive 中有一个表 有 5 列 即电子邮件 a first date b first date c first date d first date a b c d 是用户可以执行的 4 个不同操作 上表中的 4 列表示用户执行第一个

  • PHP 生成唯一的字符串

    我在表中有一个 ID 列 用于存储行 ID 号 自动递增 例如 1 2 3 我想生成一个随机且唯一的字符串 该字符串只能包含数字 字母 破折号 和下划线 字符串长度为4 6 且唯一 有人可以帮我如何生成吗 谢谢 使用这个 base conv

  • Hive查询快速查找表大小（行数）

    是否有 Hive 查询可以快速查找表大小 即行数 而无需启动耗时的 MapReduce 作业 这就是为什么我想避免COUNT I tried DESCRIBE EXTENDED 但这产生了numRows 0这显然是不正确的 对新手问题表示歉

  • Hive中group by后是否可以连接字符串字段

    我正在评估 Hive 需要在 group by 之后进行一些字符串字段连接 我找到了一个名为 concat ws 的函数 但看起来我必须显式列出所有要连接的值 我想知道是否可以在 Hive 中使用 concat ws 做这样的事情 这是一个

  • 查询计算不同值的数量？

    我在 MS Access 2003 中有一个表 如下所示 url id example com red example com blue example com blue other com red other com orange mor

  • Spark JDBC 仅返回带有列名的数据帧

    我正在尝试使用 Spark JDBC 连接到 HiveTable 代码如下 val df spark read format jdbc option driver org apache hive jdbc HiveDriver option

  • MySQL：选择 DISTINCT / UNIQUE，但返回所有列？

    SELECT DISTINCT field1 field2 field3 FROM table 我正在尝试完成以下 SQL 语句 但我希望它返回所有列 这可能吗 像这样的东西 SELECT DISTINCT field1 FROM tabl

  • 迁移范围的独特性

    我一直在尝试找到一种方法来实现这一目标 但我找不到任何尝试 即使如此 我想也许我的方法是完全错误的 也就是说 我应该做什么移民如果我希望两个字段的组合是唯一的 请注意 我不希望它们成为索引 而只是数据库字段 例如 对于下面的迁移 我可以单独

  • 将日期字符串转换为“MM/DD/YY”格式

    我刚刚看到这个例子 我该如何解决这个问题 Hive 元存储包含一个名为 Problem1 的数据库 其中包含一个名为 customer 的表 customer 表包含 9000 万条客户记录 90 000 000 每条记录都有一个生日字段

  • hive 从两个数组创建映射或键/值对

    我有两个具有相同数量值的数组 它们映射为 1 1 我需要从这两个数组创建一个键 值对或映射 键 值 任何想法或提示都会有帮助 当前表结构 USA WEST NUMBER Street City 135 Pacific Irvine USA

  • 合并两个数字键关联数组并保留原始键

    我有两个这样的数组 array 11 gt 11 22 gt 22 33 gt 33 44 gt 44 array 44 gt 44 55 gt 55 66 gt 66 77 gt 77 我想组合这两个数组 使其不包含重复项并保留其原始键

  • mysql计算唯一行值

    TABLE quotation id clientid 1 25 2 25 3 25 4 25 5 26 如何查询有多少个不同的客户端TABLE quotation 我不希望重复的条目被计算多次 我需要的答案是2 在 1 行中 因为唯一的非

  • 如何在蜂巢中的每个组中按计数 desc 进行排序？

    这是 HQL select A B count as cnt from test table group by A B order by cnt desc 示例输出如下 a1 b1 5 a2 b1 3 a1 b2 2 a2 b2 1 但我想

  • 如何将SQL数据加载到Hortonworks中？

    我已在我的电脑中安装了 Hortonworks SandBox 还尝试使用 CSV 文件 并以表结构的方式获取它 这是可以的 Hive Hadoop nw 我想将当前的 SQL 数据库迁移到沙箱 MS SQL 2008 r2 中 我将如何做

  • 如何创建 HIVE 表来读取分号分隔值

    我想创建一个 HIVE 表 该表将以分号分隔的值读取 但我的代码不断给出错误 有没有人有什么建议 CREATE TABLE test details Time STRING Vital STRING sID STRING PARTITION

  • Django 独特的不工作

    我在从查询中过滤掉重复项时遇到问题 我正在使用 Django 1 4 和 Postgres 8 4 13 我在我的模型对象上使用这个查询 它是一个 jquery 自动完成 term request GET get term field re

  • Spark SQL sql("").first().getDouble(0) 给我不一致的结果

    我有下面的查询 它应该找到列值的平均值并返回一个数字的结果 val avgVal hiveContext sql select round avg amount 4 from users payment where dt between 2

随机推荐

  • 人员 API 谷歌配额限制

    我正在研究 People API 这仅适用于 google 用户 有人知道吗 我一天 分钟可以免费询问多少次 一般配额限制是多少 超过门槛需要花费多少钱 Thanks 有两种不同的 People API 您可以在云控制台中查看两者的配额 G

  • 具有基本身份验证的 Webclient / HttpWebRequest 返回 404 未找到有效 URL

    编辑 我想回来指出问题根本不在我这边 而是与另一家公司的代码有关 我正在尝试使用基本身份验证来打开页面 我不断收到 404 页面未找到错误 我可以将我的网址复制并粘贴到浏览器中 它工作正常 如果我尚未登录他们的网站 它会弹出一个凭据框 否则

  • ASP.NET Core 默认调试启动 URL

    使用 ASP NET Core Web API 模板时 默认调试启动 URL 以某种方式设置为api values 此默认配置在哪里以及如何更改它 我能找到的有关此启动 URL 声明位置的文档非常少 这个里面有简短的提及博客文章 https

  • vuelidate 异步验证器 - 如何去抖？

    因此 我的电子邮件 用户表单元素上的异步验证器存在问题 每次输入字母时 它都会检查有效性 如果电子邮件有 30 个字符 那么就超过 30 个电话 有人知道消除 vuelidate 自定义验证器的最佳方法吗 当我尝试使用 debounce 时

  • 传统 For 循环与增强型 For 循环 [重复]

    这个问题在这里已经有答案了 这段代码 import java util import java io class TestClass public static void main String args throws Exception

  • Visual Basic .NET 中的 UInt32 数据类型是什么？

    是什么UInt32VB NET 中的数据类型 有人可以告诉我它的位长度和之间的区别吗UInt32 and Int32 它是整数还是浮点数 它是一个无符号 32 位整数 U 表示无符号 Int 表示整数 32 换 32 或者你可以看看文档 h

  • 将 SageMaker 管道模式与 tfrecords 的 s3 目录结合使用

    我打电话给sagemaker tensorflow TensorFlow fit 当我使用时无限期挂起 没有错误消息Pipe代替File as the input mode 我相应地替换了TensorFlowDataset with Pip

  • Log4j2 系统属性写入文件

    我使用以下 log4j2 配置

  • 平板电脑或手机 - Android

    有没有办法检查用户是否使用平板电脑或手机 我的倾斜功能和新平板电脑 Transformer 出现问题 正如之前提到的 您不想检查设备是平板电脑还是手机 而是想了解设备的功能 大多数时候 平板电脑和手机之间的区别在于屏幕尺寸 这就是您想要使用

  • 将 URL 拖放到浏览器中并使用 jQuery 进行处理

    我需要能够将 URL 从浏览器中的 URL 栏 拖放到网页中 使用该链接向 Web 服务发出请求 然后获取 JSON 回复并填充表单 我已经能够创建处理链接的 Web 服务 并且我已经能够使用 jQuery ajax 发出请求 但我不确定如

  • MVVM 命令绑定

    我正在尝试学习 MVVM 模式 我遇到的主要问题是学习应该在哪里声明 创建和绑定命令对象 2个例子 我有一个主窗体 其作用类似于交换机或主菜单 选择按钮 1 并显示视图 1 选择按钮 2 并显示视图 2 伟大的 现在我想返回主窗体 因此我需

  • 错误：React Native expo-video-thumbnails IOS 中无法写入文件错误

    我正在从视频 URL 生成缩略图 它在 Android 中工作正常 但在 IOS 中出现错误 Error Can t write to file 下面是我的代码 import as VideoThumbnails from expo vid

  • Node JS 智利现行 DST 规则

    根据规范 Node JS ES5 在处理 Date 对象时应使用当前的 dts 规则 当前的意思是 现在 而不是特定的日期 这并不完美 但目前对我来说已经足够了 目前 该规则是错误的 由于智利法律的变化 简单探针 console log n

  • 如何使用 scala 将 postgreSQL 数据库连接到 Apache Spark？

    我想知道如何在 scala 中执行以下操作 使用 Spark scala 连接到 postgreSQL 数据库 编写 SQL 查询 如 SELECT UPDATE 等 来修改表 那个数据库 我知道使用 scala 来做到这一点 但是如何在打

  • 使用 JavaScript 获取 iPhone X 安全区域

    We have safe area inset left safe area inset right safe area inset top and safe area inset bottom在 CSS 中 但是我们如何使用 JavaSc

  • 使用 typescript 将消息发送到特定通道

    每当新用户加入服务器 公会 时 我想向 欢迎 文本通道发送一条问候消息 我面临的问题是 当我找到想要的频道时 我将收到类型为GuildChannel Since GuildChannel has no send 功能 我无法发送消息 但我找

  • 使用 Python、NumPy、SciPy 进行矩阵乘法的高效矩阵切片

    我想重塑 2dscipy sparse csr csr matrix 我们称其为A 到 2dnumpy ndarray 让我们称之为B A可能 gt shape A 90 10 then B应该 gt shape B 9 10 其中每 10

  • 调用带有标头的 Volley 请求时出现 UnsupportedOperationException

    我尝试向 Volley 库发出呼叫请求 我想设置标头 但收到 java lang UnsupportedOperationException 你知道为什么吗 我该如何解决这个问题 public void getAccountInfo Req

  • 从 1000 增加限制？

    当我像这样进行搜索时 my mesg ldap gt search base gt OU test DC example DC com scope gt one filter gt objectClass organizationalPer

  • Hive 中特定列的区别

    我正在运行 Hive 071 我有一个表 有多行 具有相同的列值 x y 1 2 1 3 1 4 2 2 3 2 3 1 我想让 x 列唯一 并删除具有相同 x 值的行 x y 1 2 2 2 3 2 or x y 1 4 2 2 3 1

热门标签