Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
大数据学习之HiveSQL
一 DDL 数据定义语言 1 DDL概述 数据定义语言 Data Definition Language DDL 是SQL语言集中对数据库内部的对象结构进行创建 删除 修改等的操作语言 这些数据库对象包括database schema ta
大数据
学习
hive
sql
Powered by 金山文档
Hive元数据上亿级别存储方案的实践
问题导读1 什么是元数据 Federation 方案 2 怎样引入 Federation 方案 3 怎样改造现有服务 背景Apache Hive 是基于 Apache Hadoop 之上构建的数据仓库 提供了简单易用的类 SQL 查询语言
hive
Hive 删除表报错: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
操作Hive 的时候报错 提示如下 hive gt drop table toss1 FAILED Execution Error return code 1 from org apache hadoop hive ql exec DDLT
hive
Hive 学习之路
Hive 删除表报错
HIve DDL报错
order by、sort by、distribute by和cluster by 的区别,使用场景
在Hive中 order by sort by distribute by和cluster by是用于数据排序和分区的关键字 它们在语义和使用场景上有一些区别 1 order by order by关键字用于对查询结果进行全局排序 它会将所
数据结构
算法
大数据
hive
【hadoop——Hive的安装和配置】保姆式教学
目录 一 Hive的安装和配置 1 Hive并不是hadoop自带的组件 因此我们需要去下载hive 此次课我们使用hive 1 2 1版本 下载地址为 2 下载完成之后 安装包默认保存在下载文件夹中 解压安装包apache hive 1
Hadoop
hive
hive设置为本地模式,从而避免MapReduce
配置如下参数 可以开启Hive的本地模式 hive gt set hive exec mode local auto true 默认为false
Hadoop系列
hive
Hive的安装部署与环境变量等配置(三种安装部署方式)
三种安装方式 推荐第三种 博文底部附安装包 驱动包 1 Derby版Hive直接使用 不推荐 默认使用derby 数据库 维护元数据 缺点 此版本 在每个节点自己独立维护一个derby数据库 即在节点1添加了数据库 则在节点2无法查看 多个
大数据Hive
hive
Hadoop
大数据
Hive安装部署
数据仓库主题一(宽表模型设计)
一 典型的数据仓库建模思想一般主流分为两种 第一种 ER模型是数据仓库之父父 Bill lnmon 提出的建模方法是从全企业的高度设计 3NF 模型 用实体关系 Entity Relationship ER 模型描述企业业 务 在范式理论上
数据仓库
hive
数据建模
大数据
HiveSQL:求累计访问量
数据 userId visitDate visitCount u01 2017 1 21 5 u02 2017 1 23 6 u03 2017 1 22 8 u04 2017 1 20 3 u01 2017 1 23 6 u01 2017
hive
dBA
数据库
database
hive异常MetaException-Metastore contains multiple versions
在执行hive运行脚本时 出现了MetaException Metastore contains multiple versions异常错误 Exception in thread main java lang RuntimeExcepti
大数据
hive
big data
Hadoop
实习中了解的互联网数仓
大数据平台 之前在两家互联网企业都做过数仓相关方面的实习岗位 一家中大厂 一家大厂 在这里简单分享一些数仓在企业中实际的运作 方便一些对数仓有兴趣但尚未在企业中数仓岗位实践过的同学了解 数据开发平台 一般来说 中型或大型企业都会有自己的大数
数据仓库
大数据
spark
hive
sql
hive截取字符串substr和substring的用法
第一种用法 substr string A int start 和 substring string A int start 用法一样 功效 返回字符串A从下标start位置到结尾的字符串 第二种用法 substr string A int
hive
impala与hive的比较以及impala的优缺点
Impala相对于Hive所使用的优化技术 没有使用MapReduce进行并行计算 虽然MapReduce是非常好的并行计算框架 但它更多的面向批处理模式 而不是面向交互式的SQL执行 与MapReduce相比 Impala把整个查询分成一
hive
impala
Hive初始化报错:org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver
Hive初始化报错 org apache hadoop hive metastore HiveMetaException Failed to load driver 完整错误如下所示 org apache hadoop hive metas
大数据
Hadoop
hive
apache
hive总结回顾
UDAF 继承UDAF 内部定义一个静态类 实现UDAFEvaluator接口 实现init iterate terminatePartial merge terminate五个方法 编写代码完成后install打包 Rz bye 上传到本
Bigdata
hive
Hive中rank()、row_number()函数的用法
1 函数说明 rank 排序相同时会重复 总数不会变 dense rank 排序相同时会重复 总数会减少 row number 会根据顺序计算 2 操作案例 2 1 数据准备 孙悟空 语文 87 孙悟空 数学 95 孙悟空 英语 68 唐僧
大数据与人工智能
hive
RANK
rownumber
【hadoop学习之路】Spark-SQL 实验报告 RDD转DataFrame
1 Spark SQL 基本操作 1 1 需求 将下列JSON格式数据复制到Linux系统中 并保存命名为employee json id 1 name Ella age 36 id 2 name Bob age 29 id 3 name
hadoop学习之路
大数据
spark
hive
scala
DataGrip 连接 Kerberos 认证的 hive 报 Hive JDBC Kerberose Authentication Error: GSS initiate failed 错误
版本 hive 3 1 2 问题描述 使用工具连接 hive 时 报如下错误 The specified database user password combination is rejected 08S01 Could not open
hive
Hadoop
kerberos
HDFS
运维
一文理解主数据和参考数据
如果你准备要开展推动数据治理或者是数据质量的项目 那么你就有可能会听说到几个词 主数据和参考数据 一开始听到主数据这一词听起来就很高大上 而且非专业人士肯定不理解 即便是从事数据行业的朋友也很难参透 这一小节将会解答如下疑惑 1 什么是主数
大数据
hive
数据仓库
big data
区块链
hive get_json_object json_tuple json解析详解
1 hive中处理json的两个函数 json是常见的数据接口形式 实际中使用也很广泛 下面我们看看怎么在hive中解析json格式 hive中常用的解析json格式的函数有两个 先看看get json object gt desc fun
hive
getjsonobject
jsontuple
json解析
«
1 ...
47
48
49
50
51
52
53
54
»