Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
Hive(查找连续 n 列中的最小值)
我在 Hive 中有一个表 有 5 列 即电子邮件 a first date b first date c first date d first date a b c d 是用户可以执行的 4 个不同操作 上表中的 4 列表示用户执行第一个
sql
Hadoop
hive
Hive如何存储数据,什么是SerDe?
当查询表时 SerDe 将将文件中的字节中的一行数据反序列化为 Hive 内部使用的对象来操作该行数据 执行 INSERT 或 CTAS 时 请参阅第 441 页上的 导入数据 表的 SerDe 将将 Hive 的一行数据的内部表示序列化为
Hadoop
hive
如何在 hive 中创建一个空的结构数组?
我有一个观点Hive 1 1 0 根据条件 它应该返回一个空数组或一个数组struct
sql
Arrays
struct
hive
HiveQL
在 IDEA 中运行 Spark on Hive 项目期间创建事务连接工厂时出错
我正在尝试为 Spark Streaming 项目设置一个开发环境 该项目需要将数据写入 Hive 我有一个包含 1 个主设备 2 个从设备和 1 台开发机器的集群 在 Intellij Idea 14 中编码 在 Spark shell
apachespark
hive
apachesparksql
MetaStore
Hive - 通过聚合跨组的值来创建映射列类型
我有一个看起来像这样的表 customer category room date 1 A aa d1 1 A bb d2 1 B cc d3 1 C aa d1 1 C bb d2 2 A aa d3 2 A bb d4 2 C bb d4
sql
Hadoop
types
hive
collect
Hive 上的自定义 MapReduce 程序,规则是什么?输入和输出怎么样?
我被困了几天 因为我想根据我在 hive 上的查询创建一个自定义的地图缩减程序 在谷歌搜索后我发现没有太多例子 而且我仍然对规则感到困惑 创建自定义 MapReduce 程序的规则是什么 映射器和减速器类怎么样 任何人都可以提供任何解决方案
Hadoop
MapReduce
hive
在 Hive 中获取空值 使用 REGEX 创建和加载查询
我有一个日志文件 我需要在其中使用 REGEX 存储数据 我尝试了下面的查询 但加载了所有 NULL 值 我已经检查了 REGEXhttp www regexr com http www regexr com 它对我的 数据工作正常 CRE
regex
Hadoop
null
hive
Hive 表的默认分隔符是什么?
如果我们在创建表时不提及任何分隔符 hive 是否有默认分隔符 创建表日志 ts bigint 行字符串 按 dt 字符串 国家 地区字符串 分区 默认分隔符 001 如果创建hive表时没有设置 您可以将其更改为其他分隔符 例如 hive
Hadoop
hive
delimiter
createtable
我可以将格式和路径选项传递到spark_write_table中吗?或者将 saveAsTable 与 Spark_write_orc 一起使用?
Spark 2 0 与 Hive 假设我正在尝试编写一个 Spark 数据框 irisDf to orc and将其保存到 hive 元存储 在 Spark 中我会这样做 irisDf write format orc mode overw
r
apachespark
hive
apachesparksql
sparklyr
HIVE:GROUP BY 的行为与 MySQL 中不同
我对 MySQL 有一些经验 最近我必须在 HIVE 上做一些工作 两者之间的查询基本结构非常相似 但是 HIVE 中的 GROUP BY 的工作方式似乎有点不同 因此我无法实现以前在 MySQL 中使用 GROUP BY 可以实现的目标
database
groupby
hive
Spark SQL 未正确转换时区[重复]
这个问题在这里已经有答案了 使用 Scala 2 10 4 和 Spark 1 5 1 和 Spark 1 6 sqlContext sql select id to date from utc timestamp from unixtim
scala
apachespark
hive
timezone
hive中每行的百分比计算
我在配置单元中有一个具有以下架构的表 差值 int 计数值 int 值为 5 2 30 1 90 1 100 1 现在我想找到每个 count value 与 count value 总和的百分比 每行的值类似于 count value s
hive
percentage
是否可以使用 impala 查询包含 DATE 类型列的 Hive 表?
每次我尝试在 IMPALA 中从 HIVE 中创建的表中选择 DATE 类型字段时 都会收到 AnalysisException Unsupported type DATE 有什么解决方法吗 UPDATE这是从 hive 创建表模式和 im
hive
impala
Hive:转换“yyyy-MM-dd'T'HH:mm:ss.SSS'Z'”中缺少秒数的字符串日期时间
我使用以下代码将字符串日期时间变量转换为日期时间 但转换后的字符串缺少 SSS 部分 使用的代码 cast FROM UNIXTIME UNIX TIMESTAMP oldtime yyyy MM dd T HH mm ss SSS Z y
datetime
Hadoop
hive
HiveQL
Cloudera
如何获取hive中的数据库用户名和密码
正在编写jdbc程序来连接hive数据库 我希望在连接 url 中提供用户名和密码 我不知道如何使用 hive QL 获取用户名和密码 有人可以帮我吗 Exception in thread main java sql SQLNonTran
apache
Hadoop
JDBC
hive
HiveQL
使用 Hive 自定义输入格式
Update 好吧 事实证明以下不起作用的原因是因为我使用的是较新版本的InputFormat API import org apache hadoop mapred这是旧的与import org apache hadoop mapredu
Hadoop
hive
Hive 分区表上的 Spark 行为
我用的是 Spark 2 实际上我不是执行查询的人 所以我不能包含查询计划 数据科学团队问过我这个问题 我们将 Hive 表划分为 2000 个分区并以 parquet 格式存储 当在 Spark 中使用相应的表时 执行器之间恰好执行了 2
apachespark
hive
partitioning
如何根据“^P”分隔符分隔的数据构建 Hive 表
我的查询是 CREATE EXTERNAL TABLE gateway staging poll int total int transaction id int create time timestamp update time time
hive
HiveQL
hiveserde
如果没有可用的指定分区路径,SPARK SQL 会失败
我在 EMR 中使用 Hive Metastore 我可以通过 HiveSQL 手动查询表 但是当我在 Spark Job 中使用同一个表时 它说输入路径不存在 s3 导致 org apache hadoop mapred InvalidI
python
Hadoop
apachespark
hive
PySpark
如何在 Hive 中将字符串转换为毫秒时间戳
我有一个字符串 20141014123456789 它代表一个毫秒时间戳 我需要将其转换为 Hive 中的时间戳 0 13 0 而不丢失毫秒 我尝试了这个 但 unix timestamp 返回一个整数 所以我丢失了毫秒 from unix
Hadoop
timestamp
hive
1
2
3
4
5
6
...51
»