Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
hive-字符串查找函数 instr和locate
找不到都是返回0 字符串查找函数 instr 语法 instr string str string substr 返回值 int 说明 返回字符串 substr 在 str 中首次出现的位置 举例 hive gt select instr
Hive
hive
Hive Sql执行出错 Dag submit failed due to java.io.IOException: All datanodes DatanodeInfoWithStorage
原因 根本原因是集群中的一个或多个信息块在所有节点中都已损坏 因此映射无法获取数据 命令 hdfs fsck list corruptfileblocks 可用于识别集群中损坏的块 当数据节点中打开的文件数量较少时 也会出现此问题 解决方案
Hive
hive
sql
Hive 视图和索引
一 视图 1 1 简介 Hive 中的视图和 RDBMS 中视图的概念一致 都是一组数据的逻辑表示 本质上就是一条 SELECT 语句的结果集 视图是纯粹的逻辑对象 没有关联的存储 Hive 3 0 0 引入的物化视图除外 当查询引用视图时
Hive
hive
big data
数据仓库
Hive(7) Hive的DML语句-Hive的数据库和表的修改和删除
Hive 3 DML语句 DML 数据操作语句 导入数据 直接从文件向表中导入数据 load data load data local inpath lt 文件路径 gt overwrite into table lt 表名 gt part
大数据
Hive
hive
Hadoop
0401hive入门-hadoop-大数据学习.md
文章目录 1 Hive概述 2 Hive部署 2 1 规划 2 2 安装软件 3 Hive体验 4 Hive客户端 4 1 HiveServer2 服务 4 2 DataGrip 5 问题集 5 1 Could not open clien
Hive
大数据
Hadoop
hive
Hive(2) Hive单节点安装以及分布式安装
Hive安装 单节点安装 在官网上下载Hive的安装包 官网地址 http hive apache org 把Hive的安装包上传到服务器中 然后解压到指定文件 我这里解压到 opt software 目录下 tar zxvf apache
大数据
Hive
hive
Hadoop
Hive的联级(cascade)- 修改分区表的字段类型或者增加新字段
一 问题描述 踩坑 数仓的分区表 由于需求需要 要把int类型的字段改为bigint 我直接执行的以下语句 alter table table name change column 字段 字段 bigint 出现的问题 之后的分区数据可以正
Hive
hive
字段类型
大数据
Hive(5) Hive的数据类型
HIve 2 Hive的数据类型 数据类型 基本数据类型 Hive数据类型 对应Java数据类型 长度 byte 举例 tinyint byte 1 10 smallint short 2 20 int int 4 30 bigint lo
大数据
Hive
hive
Hadoop
HIVE-执行命令的几种方式 和 hive -e 和hive -f的使用
第一种 在bash中直接通过hive e命令 并用 gt 输出流把执行结果输出到制定文件 hive e select from test hour rate2 where year 2019 gt tmp output 1 txt 第二种
Hive
hive
shell
【大数据】HiveQL的数据操作
HiveQL的数据操作 因为 Hive 没有行级别的数据插入 数据更新和删除操作 那么往表中装载数据的唯一途径就是使用一种 大量 的数据装载操作 或者通过其他方式仅仅将文件写入到正确的目录下 1 向管理表中装载数据 LOAD DATA LO
Hive
big data
hive
Hadoop
大数据
数仓建模分层理论
分层建设理论 简单点儿 直接ODS DM就可以了 将所有数据同步过来 然后直接开发些应用层的报表 当DM层的内容多了以后 想要重用 就会再拆分一个公共层出来 变成3层架构 这个过程有点类似代码重构 就是在实践中不断的进行抽象 总结 数仓的建
Hive
JVM
Java
开发语言
hive
全网最细之HiveQL语句操作
HiveQL语句操作 关键字尽量大写 但是本人小写容易记忆 所以本篇为小写 数据库 创建一个数据库 查看数据库 修改数据库信息 删除数据库 普通表 创建表 查看表 修改表名 添加n列 修改表 修改位置 单独修改列名 数据类型 替换列 删除n
Hive
hive
【大数据】Hive中的模式设计
Hive中的模式设计 Hive 看上去以及实际行为都像一个关系型数据库 并且 Hive 提供的查询语言也确实和之前使用过的 SQL 语言非常地相似 不过 Hive 实现和使用的方式和传统的关系型数据库是非常不同的 通常用户视图移植关系型数据
Hive
hive
big data
Hadoop
模式设计
【大数据】Hive基础知识
Hive基础知识 1 Hive 有哪些特点 Hive 最适合于数据仓库应用程序 使用该应用程序进行相关的静态数据分析 不需要快速响应给出结果 而且数据本身不会频繁变化 Hive 不是一个完整的数据库 Hadoop 以及 HDFS 的设计本身
Hive
hive
big data
Hadoop
Hive常用DDL操作
一 Database 1 1 查看数据列表 show databases 1 2 使用数据库 USE database name 1 3 新建数据库 语法 CREATE DATABASE SCHEMA IF NOT EXISTS datab
Hive
hive
数据库
big data
【大数据】HiveQL:索引
HiveQL 索引 Hive 只有有限的索引功能 Hive 中没有普通关系型数据库中键的概念 但是还是可以对一些字段建立索引来加速某些操作的 一张表的索引数据存储在另外一张表中 这是一个相对比较新的功能 所以目前还没有提供很多的选择 Hiv
Hive
big data
hive
HiveQL
索引
Hive 常用DML操作
一 加载文件数据到表 1 1 语法 LOAD DATA LOCAL INPATH filepath OVERWRITE INTO TABLE tablename PARTITION partcol1 val1 partcol2 val2 L
Hive
hive
Hadoop
HDFS
数仓建模—宽表的设计
宽表的设计 高内聚低耦合 宽表是数仓里面非常重要的一块 数仓是分层的 这是技术进步和时代变化相结合的产物 数仓的分层式为了更好地管理数仓以及更加高效地进行数据开发 宽表主要出现在dwd 层和报表层 当然有的人说dws 层也有 宽表 从字面意
Hive
大数据
数据仓库
数据挖掘
hive
【大数据】HiveQL:视图
HiveQL 视图 视图可以允许保存一个查询 并向对待表一样对这个查询进行操作 这是一个逻辑结构 因为它不像一个表会存储数据 换句话说 Hive 目前暂不支持物化视图 当一个查询引用一个视图时 这个视图所定义的查询语句将和用户的查询语句组合
Hive
big data
hive
大数据
HiveQL
Hive性能调优策略
利用分区表优化 场景 在业务环境中 以某个字段为筛选条件的需求增加 解决方法 建立以这个字段为分区的分区表 这样进行查询时只需要指定这个分区就不再需要进行全表扫描 利用分桶表优化 场景 需要频繁进行采样 解决方法 分桶表会使用hash算法将
Hive
1
2
»