Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
率先拿下512节点测试,华为GaussDB表示“很轻松”
近日 在中国信息通信研究院和数据中心联盟发起的分布式分析型数据库测试中 华为GaussDB分析型数据库率先通过512节点集群规模能力评测 与此同时 中国某世界级银行也完成了采用华为GaussDB分布式分析型数据库对国外顶级数据仓库产品的完全
云静思园
华为
GaussDB
数据库
数据仓库
10道海量数据处理
1 海量日志数据 提取出某日访问百度次数最多的那个IP 此题 在我之前的一篇文章算法里头有所提到 当时给出的方案是 IP的数目还是有限的 最多2 32个 所以可以考虑使用hash将ip直接存入内存 然后进行统计 再详细介绍下此方案 首先是这
数据仓库
数据建模
哈希算法
10道海量数据处理
海量数据处理问题
Datart使用说明
Datart使用说明 Datart安装记录 Refer 安装问题 前端源码编译 java 程序包datart data provider calcite parser impl不存在 启动基础步骤 Datart安装记录 Refer 最近在学
数据仓库
大数据
bi
扫盲系列(4):数据仓库ETL流程和ETL工具推荐
目录 1 数据抽取 2 数据转换 3 数据加载 4 数据仓库ETL工具推荐 结构化数据ETL工具 非结构化 半结构化数据ETL工具 1 数据抽取 数据源是指存储数据的源头 包括结构化数据 半结构化数据 非结构化数据等 1 结构化数据 可以采
数据仓库扫盲系列
数据仓库
ETL
数据库
数据分析
【大数据采集技术与应用】【第一章】【大数据采集技术与应用概述】
文章目录 1 1 大数据概述 1 1 1 大数据时代 1 1 2 大数据的概念 1 1 3 大数据的特征 1 1 4 大数据的应用 1 1 5 大数据关键技术 1 1 6 大数据处理流程 1 2 大数据采集技术概述 1 2 1 数据采集与大
过渡专栏
大数据
数据挖掘
数据仓库
Windows中Splinter的安装和使用
核心内容 1 Splinter的简介 2 Splinter的安装 3 检验Splinter是否安装成功 4 Geckodriver驱动的安装 5 Splinter的操作示例 一 Splinter的简介 Splinter是一个使用Python
数据仓库
Windows
splinter
数据仓库灵魂30问之如何建设数据中台?一幅图说清中台。
什么是中台 什么是数据中台 数据仓库实现了企业数据模型的构建 大数据平台解决了海量 实时数据的计算和存储问题 数据中台要解决什么呢 数据如何安全的 快速的 最小权限的 且能够溯源的被探测和快速应用的问题 数据中台不应该被过度的承载平台的计算
面试题
数据仓库
大数据
数据中台
dbeaver 配置mysql数据库驱动
右键点击要数据库连接选择 编辑连接 然后点击 编辑驱动设置 从mysql8版本后 mysql的驱动类名发生改变 变成了com mysql cj jdbc Driver 所以如果要连接的数据库版本在8之前 需将 设置 界面的 类名 处改为 c
数据库
数据仓库
维度建模之缓慢渐变维
维度建模之缓慢渐变维 在从 OLTP 业务数据库向 DW 数据仓库抽取数据的过程中 特别是第一次导入之后的每一次增量抽取往往会遇到这样的问题 业务数据库中的一些数据发生了更改 到底要不要将这些变化也反映到数据仓库中 在数据仓库中 哪些数据应
数据仓库
Hive SQL 2023必考常用窗口函数及面试题
一 窗口函数概述 窗口函数也称为OLAP函数 OLAP 是OnLine Analytical Processing 的简称 意思是对数据库数据进行实时分析处理 例如 市场分析 创建财务报表 创建计划等日常性商务工作 窗口函数就是为了实现OL
数据仓库
hive
大数据
sql
hive - 面试题 - 最近一次购物在一年前(近一年内无购物)
要求 有表 用户id 订单id 下单日期 该用户符合365天内无交易且当日有交易的数据打标签 如果当天有多条记录 同样打标签 思路 当前订单时间 最近一次的下单时间 gt 365 即最近365天内无订单记录 中间有个问题 一天内多次下单 只
hive
Hadoop
数据仓库
阿里云DataWorks开发UDF函数,自定义一周开始时间
今天使用阿里云套件quick bi开发一个报表 需求是自定义上周六到本周五为自然周来统计周指标 常规日期函数已经不能满足此需求 需自定义UDF函数来实现 具体解决过程如下 知识储备 我们知道hive有一个日期转周函数 weekofyear
阿里云
hive
Java
数据仓库
大数据
数据仓库主题十-(周期快照事实表)
综述 当我们在实际工作过程中涉及到一些指标的计算比如账户余额 买卖家星级 商品库存 卖家累积交易额等计算中 则需要聚集与之相关的事务才能进行识别计 或者聚集事务无法识别 比如 温度等 对于这些状态度量 事务事实表是无效率的 而这些度量也和度
数据建模
数据仓库
hive
Hadoop
hive数据仓库课后答案
第一章 数据仓库的简介 一 填空题 1 数据仓库的目的是构建面向 分析 的集成化数据环境 2 Hive是基于 Hadoop 的一个数据仓库工具 3 数据仓库分为3层 即 源数据层 数据应用层 和数据仓库层 4 数据仓库层可以细分为 明细层
数据仓库
hive
数据库
大数据数据倾斜问题
数据倾斜 数据倾斜是我们在处理大数据量问题时绕不过去的问题 也是在面试中几乎必问的考点 正常的数据分布理论上都是倾斜的 就是我们所说的 二八原理 80 的财富集中在20 的人手中 80 的用户只使用20 的功能 20 的用户贡献了80 的访
数据仓库
实战
大数据
大数据数据倾斜问题
数据倾斜
【数仓建设系列之四】数据建设通用规范设计
上篇文章我们讲到了数仓建模中几种常见模型优劣势对比以及数仓完整性建设方案 相信大家对此已经有了初步的了解 本篇文章我们将继续对维度建模中一些通用规范展开讨论 一 维度模型基本设计规则 1 高内聚 低耦合 所谓的 高内聚低耦合 是指同一个主题
数据仓库
数仓建设
大数据
big data
什么是MES生产制造执行系统?实施MES生产管理系统有哪些目标?
一 什么是MES生产制造执行管理系统 MES系统通过控制包括物料 设备 人员 流程指令和设施在内的所有工厂资源 优化从定单到产品完成的整个生产活动 以最少的投入生产出最优的产品 实现连续均衡生产 MES系统通过与ERP DCS系统的全面集成
MES生产制造执行系统
制造
数据仓库
数仓知识点
传统数仓知识 1 数据仓库分层 ODS 数据准备层 该区为数据仓的准备区 直接输入源数据 如业务库 埋点日志和消息队列等 DWD 数据细节层 该层为业务层和数据层的隔离层 保持和ODS层相同的颗粒度 该层还进行了数据清洗和规范化操作 例如去
数据仓库
大数据
专业三复习
mysql复习 C Users 86131 gt mysql uroot proot C Users 86131 gt mysql uroot proot mysql gt show databases Database informati
数据仓库
牛客SQL34: 牛客直播各科目同时在线人数(最大值问题)
牛客SQL34 牛客直播各科目同时在线人数 最大值问题 内容目录 牛客SQL34 牛客直播各科目同时在线人数 最大值问题 一 描述 二 思路解析 三 代码 四 问题思考 一 描述 牛客某页面推出了数据分析系列直播课程介绍 用户可以选择报名任
数据仓库
mysql
hive
big data
数据库
«
1 ...
3
4
5
6
7
8
9
...17
»