Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
ETL与ELT理解
ETL ETL Extract Transform Load 用来描述将数据从来源端经过抽取 Extract 转换 Transform 加载 Load 至目的端的过程 ETL模式适用于小数据量集 如果在转换过程中需要处理的数据量达到千万上亿
大数据
架构
ETL
数据仓库
数据仓库——数据集市
一 什么是数据集市 这里我们先回忆一下数据仓库的定义 数据仓库 Data Warehouse 是一个面向主题的 Subject Oriented 集成的 Integrate 相对稳定的 Non Volatile 反映历史变化 Time Va
数据仓库
大数据
什么是数据仓库?数据仓库的特点与架构演进
1 为什么需要数据仓库 在没有数仓之前我们做数据分析到报表展示 依赖的都是从业务数据库中取数据来做分析 业务数据库主要是为业务操作服务 虽然可以用于分析 但需要做很多额外的调整 会存在以下几个问题 表结构关联关系错综复杂 业务数据库通常是根
数据仓库
数据治理
数仓及其维度(分层)建模(ODS DWD DWS DWT ADS)
一 数仓及其维度 1 什么是数仓 数据仓库 简称数仓 Data Warehouse 从逻辑上理解 数据库和数仓没有区别 都是通过数据库软件实现存放数据的地方 只不过从数据量来说 数据仓库要比数据库更庞大 数仓主要是为企业制定决策 提供数据支
大数据
数据仓库
从 Elasticsearch 到 Apache Doris,10 倍性价比的新一代日志存储分析平台
日志数据的处理与分析是最典型的大数据分析场景之一 过去业内以 Elasticsearch 和 Grafana Loki 为代表的两类架构难以同时兼顾高吞吐实时写入 低成本海量存储 实时文本检索的需求 Apache Doris 借鉴了信息检索
数据分析
数据仓库
性能测试和优化
elasticsearch
大数据
数据仓库建模方法与建模案例
1 数据仓库建模的目的是什么 2 常见的数据建模方法有哪些 3 常见的建模工具有哪些 1 数据仓库建模的目的 为什么要进行数据仓库建模 大数据的数仓建模是通过建模的方法更好的组织 存储数据 以便在 性能 成本 效率和数据质量之间找到最佳平衡
数据建模
数据仓库
数学建模
数仓建模宽表设计
一 宽表的设计 其实宽表是数仓里面非常重要的一块 前面我们介绍过了维度表事实表 今天我们介绍一下宽表 前面我们说过了数仓是分层的 这是技术进步和时代变化相结合的产物 数仓的分层式为了更好地管理数仓以及更加高效地进行数据开发 宽表主要出现在d
数据分析
数据仓库
数据建模
big data
Hadoop
hive数据仓库--Hive介绍
1 什么是Hive Hive是基于Hadoop的 个数据仓库 具 来进 数据提取 转化 加载 这是 种可以存储 查询和分析存储在Hadoop中的 规模数据的机制 Hive数据仓库 具能 将结构化的数据 件映射为 张数据库表 并提供类SQL的
hive
数据仓库
Hadoop
Powered by 金山文档
ETL工具模块的创建
01 logging工具模块开发 掌握 日志记录的工具模块 作用 方便后续在 ETL 程序中记录日志 目标 当我们在项目的其他位置使用logging模块进行日志记录时 不需要进行配置或者只需要进行简单的配置即可使用 为了更方便的使用logg
ETL
python
数据仓库
DolphinScheduler3.0.1(数据质量)
DolphinScheduler3 0 1 数据质量 Refer 1 data quality jar包修改 1 配置文件修改 2 依赖不明确问题 3 scope多修改问题 2 实现方式 1 Spark提交 2 结构解析 1 图1 2 图2
数据治理
数据仓库
大数据
数据库
超全面试总结——数据仓库 超详细!!!带答案!!!持续更新中~
超全面试总结 数据仓库 如何理解数仓 为什么要数据仓库建模 为什么要设计数据分层 通用的数据分层设计 分层的原则是什么 数据集市和数据仓库的区别 数据库和数据仓库有什么区别 维度建模三种模式 星形 雪花 星座 事实表 事实表设计方法 维度表
面经
面试
数据仓库
数据库
大数据
西门子博途顺序控制车间皮带逆序停止程序
自动控制要求 如果处于自动档 首先需要按下警示铃按钮 警示铃鸣5S后可以进行启动 如果自动档切到手动档 那么停止所有传送带并且重新鸣铃后可以进行手动测试 按下自动启动按钮后 1 5号传送带 按编号顺序启动 每次间隔五秒 如果启动过程中出现报
西门子SCL
大数据
数据仓库
大数据--python远程连接Hive
步骤 启动metastore 启动hiveserver2 使用beeline进行连接测试 查看地址等是否能够成功连接 确认无误可以跳过 使用python连接hive 粗暴的文件配置以及完整操作见文末 一 启动hiveserver2 1 配置
大数据
hive
Hadoop
数据仓库
分布式
有了这个时尚行业解决方案,轻松实现数字化转型!
中国消费正面临升级 在这多变的商业发展阶段与多变的商业环境下 消费者愈发追求个性化 产品承载的元素从设计 价值延展到了数据 服务 流量 内容等等 每一家品牌经营者对此非常忧心 有了这套帆软时尚行业解决方案 解决你的烦恼 一 解决方案架构图
解决方案
数据分析
数据仓库
数据库
bboss 流批一体化框架 与 数据采集 ETL
数据采集 ETL 与 流批一体化框架 特性 高效 稳定 快速 安全 bboss 是一个基于开源协议 Apache License 发布的开源项目 主要由以下三部分构成 Elasticsearch Highlevel Java Restcli
ETL
数据仓库
【电商数仓】数仓调度之全流程调度(调度数据准备、Azkaban部署、创建数据库和表、Sqoop导出脚本、编写工作流程配置文件、一些注意事项)
1082条消息 电商数仓 数仓调度之全流程调度 调度数据准备 Azkaban部署 创建数据库和表 Sqoop导出脚本 编写工作流程配置文件 一些注意事项 数仓权限系统和调度系统搭建 OneTenTwo76的博客 CSDN博客
数据仓库
数据库
SQOOP
Hadoop
实时数仓实践以及架构
前言 数据智能 Data Intelligence 有一个必须且基础的环节 就是数据仓库的建设 同时 数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务 从智能商业的角度来讲 数据的结果代表了用户的反馈 获取结果的及时性就显得尤为
数据仓库
实战
数据中台
架构
big data
【数据仓库设计基础1】关系数据模型理论与数据仓库Inmon方法论
文章目录 一 关系数据模型中的结构 1 关系 2 属性 3 属性域 4 元组 5 关系数据库 6 关系表的属性 7 关系数据模型中的键 二 关系完整性 1 空值 NULL 2 关系完整性规则 3 业务规则 4 关系数据库语言 三 规范化 四
数据仓库
一文讲清数据集市、数据湖、数据网格、数据编织
本文介绍数据仓库 数据集市 数据湖 数据网格和数据编织相关概念和使用案例 帮助你选择并利用好数据的力量来完成明智的决策 微信搜索关注 Java学研大本营 在今天的数字时代 企业每天都在应对来自四面八方的海量数据 随着对强大的数据管理和分析需
数据仓库
数据集市
数据湖
数据网格
数据编织
Spark Standalone和yarn区别
Spark Standalone模式提交任务 Cluster模式 spark submit master spark node01 7077 deploy mode cluster class org apache spark exampl
数据仓库
spark
Bigdata
big data
«
1 ...
11
12
13
14
15
16
17
»