Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
数据仓库与数据湖的区别
数据湖通常包含用于高级分析应用程序的各种大数据集 而数据仓库则存储用于基本 BI 分析和报告用途的传统事务数据 下面 让我们更仔细地看一下这两个数据存储以及它们之间的差异 1 什么是数据湖 数据湖通常是一个庞大的存储库 以本机格式存储原始数
数据库
数据仓库
大数据
centos7上hive3.1.3安装及配置
1 安装背景 hive是基于hadoop的数据仓库软件 部署运行在linux系统之上 安装之前必须保证hadoop环境运行正常 hive本身不是分布式软件 它的分布式主要是借助hadoop实现 存储是hdfs 计算是mapreduce 需要
hive
数据仓库
mysql
数据仓库和数据库
数据库 1 数据库面向事务设计 属于OLTP 在线事务处理 系统 主要操作是随机读 写 2 在设计时尽量避免冗余 常采用符合范式规范来设计 范式分为第一范式 第二范式 第三范式 一般要求符合第三范式 较为符合人的逻辑思维 3 数据库一般存储
数据仓库
数据库
big data
数据仓库指标体系实践
指标体系 1 痛点分析 主要从业务 技术 产品三个视角来看 业务视角 业务分析场景指标 维度不明确 频繁的需求变更和反复迭代 数据报表臃肿 数据参差不齐 用户分析具体业务问题找数据 核对确认数据成本较高 技术视角 指标定义 指标命名混乱 指
实战
数据仓库
数据建模
数据仓库指标体系实践
指标体系
[1175]hive函数greatest、least多列取最大最小值
文章目录 greatest函数 least函数 用多了 max min 今天刚好遇到了需要取连续6年中营收最大的逻辑 6列 greatest函数 取多列最大值 select greatest 99 0 73 73 存在 null 或者字符串
数据库amp中间件
hive
Hadoop
数据仓库
从数仓到数据中台,谈技术选型最优解
本文根据颜博老师在 Deeplus直播第218期 线上分享演讲内容整理而成 文末有获取本期PPT 回放的途径 不要错过 颜博 马蜂窝数仓研发总监 现任马蜂窝数据仓库团队负责人 曾供职于京东 IBM 亚信等公司 数据行业老兵一名 历经传统数据
数据仓库
Kylin
数据仓库之ODS层设计概要
ODS层辨析 ODS全称是Operational Data Store 即操作数据存储 Inmon VS Kimball Bill Inmon的定义 ODS是一个面向主题的 集成的 可变的 当前的细节数据集合 用于支持企业对于即时性的 操作
数据仓库
实战
数据建模
ODS层
hive窗口函数(开窗函数)
一 窗口函数概述 窗口函数 Window functions 是一种SQL函数 非常适合于数据分析 因此也叫做OLAP函数 其最大特点是 输入值是从SELECT语句的结果集中的一行或多行的 窗口 中获取的 你也可以理解为窗口有大有小 行有多
hive
Hadoop
数据仓库
Hive启动报错(个人遇到问题&解决方法)
hive执行sql报错 FAILED SemanticException org apache hadoop hive ql metadata HiveException java lang RuntimeException Unable
大数据
数据仓库
2023-DataWorks数仓开发手册收藏版
DataWorks开发规范 1 数仓基本概念 1 4 1 ods数据源层表命名规范 1 4 2 dim维表层表命名规范 1 4 3 dwd数据明细层表命名规范 1 4 3 dws数据明细层表命名规范 1 4 4 ads数据应用层表命名规范
数据仓库
数据分析
实战
数据库
数据挖掘
牛客网SQL刷题四-电商场景(某东商城)
SQL13 计算商城中2021年每月的GMV 数据 DROP TABLE IF EXISTS tb order overall CREATE TABLE tb order overall id INT PRIMARY KEY AUTO IN
离线数仓
数据仓库
sql
Kettle入门(六)
资源库 数据库资源库 数据库资源库是将作业和转换相关的信息存储在数据库中 执行的时候直接去数据库读取信息 便于跨平台使用 操作步骤 1 点击右上角 connect 选择 Other Resporitory 2 选择 Database Rep
大数据
ETL
数据仓库
HIVE中数据更新(update)操作的实现
数据更新是一种常见的操作 然后数据仓库的概念一般要求的是数据是集成 稳定的 HIVE作为一种分布式环境下以HDFS为支撑的数据仓库 它同样更多的要求数据是不可变的 然而现实很多任务中 往往需要对数据进行更新操作 经查 Hive自0 11版本
大数据管理
spark
hive
数据仓库
更新
Mycat启动报错 Encountered an error running main: java.lang.ExceptionInInitializerError
配置完schema xml server xml 后尝试启动mycat root localhost usr local mycat bin mycat start Starting Mycat server root localhost
数据仓库
数据库开发
集成测试
hive建表
https blog csdn net wgyzzzz article details 107446435 一 hive建表语法 二 hive外部表 1 准备测试数据 放入虚拟机 data目录下 2 创建外部表 3 装载数据 4 查询tes
hive
Hadoop
数据仓库
AWS大数据三种经典玩法
目录 前言 1 AWS一站式大数据分析平台 2 让人不得不喜欢的AWS 优点 缺点 3 个人建议 4 文章说明 一 AWS大数据平台全家桶简介 1 一首 数据源 2 一尾 数据应用 3 中间 大数据体系 3 1导入组件 3 2数据处理组件
AWS云科技
AWS
big data
数据仓库
云原生
三种方式部署单机版Minio,10行命令干就完了~
必要步骤 安装MinIO 拉取MinIO镜像 docker pull quay io minio minio 创建文件挂载点 mkdir home docker MinIO data 文件挂载点映射 默认是 mydata minio dat
运行环境
Docker
数据仓库
2003-2019年上市公司治理水平(含原始数据和具体计算过程stata代码)
2003 2019年上市公司治理水平 1 数据来源及数据说明在压缩包内 2 时间跨度 2003 2019年 3 区域范围 3669家上市公司 4 指标说明 该指标计算的方法的do文件以及参考文献都放在文件中 有需要的小伙伴可以自取 运用主成
数据
大数据
数据仓库
经验分享
数据治理之数据质量
一 前言 之前我们介绍了数据资产治理类工具 数据资产管理产品架构规划设计思路 本期 我们来聊聊数据质量检测和监控的核心工具 DQC和SLA 二 基本概念 DQC 即Data Quality Control 数据质量检测 数据质量控制 一般我
数据分析
数据仓库
大数据工具
数据治理
数据治理之数据质量
Hive(一)
一 DDL 1 数据库操作 1 创建数据库 语法 CREATE DATABASE IF NOT EXISTS database name COMMENT database comment LOCATION hdfs path WITH DB
hive
Hadoop
数据仓库
«
1 ...
6
7
8
9
10
11
12
...17
»