数据仓库灵魂30问之数据仓库、数据中台、数据湖有什么区别

2023-10-31

先说结论:
数据仓库实行分而治之,面向BI(商业智能);
数据中台实行一统天下,面向DateAPI(数据服务API);
数据湖实行无为而治,面向AI(人工智能)。

他们三个实行的策略不同,用途不同。但是数据中台可以包容数据仓库与数据湖,数据湖与数据仓库是并存的。

接着我从为什么建立他(目的),建立他需要什么(成本),可以带来什么(收益)三方面来讨论。

数据仓库

  • 目的
    实现跨业务条线、跨系统的数据整合,为管理分析和业务决策提供统一的数据支持。也就是数据仓库主要用于为公司决策者提供决策支持,当然也可以为生产环境存储数据。
  • 成本
    硬性成本较低,软性成本较高。需要一个团队分别去对接业务,打通孤岛,维度建模等等。做出来很简单,哪怕一个初高级数据仓库工程师也可以完成,但是如何让仓库用的方便快捷,适应公司发展就需要投入大量成本。
  • 收益
    消灭公司数据孤岛,让决策层可以随意调用公司数据,可以为公司战略提供数据支持。让业务部门便捷的获得数据,大大提高了业务部门的战斗力。

数据中台

  • 目的
    盘活公司的数据,标志着转型为DT时代企业,可对外提供数据服务,降低冗余,降低成本,为公司未来智能化打下铺垫。
  • 成本
    成本极高,目前国内有中台建设经验的团队也没有多少,而且中台不是适应所有的公司,只为了建设中台而建设中台只有两种结果:建设了一个四不像与死亡。张勇也说过:“如果一个企业奔着中台做中台,就是死。”
    适合自己的才是最好的,强求不得。
  • 收益
    中台的建设完成就相当于给公司加了一个最起码三倍"大龙的buff",极大的降低公司开发周期(减CD),数据共通更极大的增强了公司的健壮性(加HP最大值),而且对同行竞争对手有压制作用(范围属性压制),因为降低了冗余可以保证公司的输出能力(加MP最大值)等等。

数据湖

  • 目的
    实现数据的集中化管理,加强公司深度学习,数据挖掘能力,优化运营模型。

  • 成本
    建立数据湖的可能性与建立数据沼泽的可能性的比例大概是1:10。数据湖对于数据湖总架构师与数据科学家有极高的要求,两者缺一不可。
    要不然建设出来的数据湖就会是沼泽,没有一点用而且恶臭无比。

  • 收益
    因为数据湖的集中化管理,第一必然是数据治理,其次是深度学习与数据挖掘的发展会让公司孕育出预测分析、信息追踪、推荐引擎甚至是真正的商业模型。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

数据仓库灵魂30问之数据仓库、数据中台、数据湖有什么区别 的相关文章

随机推荐

  • (3)原神角色数据分析-3

    绘图类 在名为 WRITEPHOT py 的文件中 定义如下绘图方式 则在主页面 app py 文件中 可通过如下方式调用 from WRITEPHOTO import WriteScatter WriteFunnel WriteBarDa
  • SpringAop_2通知(新手)和无法找到元素 'aop:aspectj-autoproxy' 的声明

    AspectJ java社区里最完善最流行的AOP框架 在spring2 0以上的版本中 可以使用基于AspectJ注解或基于XML配置的AOP 其实Spring本身提供了aop框架 但是AspectJ更方便 在Spring中启用Aspec
  • UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0xac in position 14: illegal multibyte sequence 解决

    这个错误是因为Python默认使用的编码方式 GBK 无法正确解码包含非ASCII字符的文件 可以尝试以下解决方案 1 修改文件编码 将文件的编码方式改为UTF 8或者其他支持中文的编码方式 2 修改代码 在打开文件时指定文件的编码方式 例
  • 云原生之部署wordpress博客及设置圣诞主题风格

    2022年圣诞节到来啦 很高兴这次我们又能一起度过 CSDN诚邀各位技术er分享关于圣诞节的各种技术创意 展现你与众不同的精彩 参与本次投稿即可获得 话题达人 勋章 圣诞快乐 定制勋章 1年1次 错过要等下一年喔 云原生之部署wordpre
  • MongoDB中空间数据的存储和操作

    本文使用官方C Driver 实现在MongoDB中存储 查询空间数据 矢量 空间数据的存储 本例中 从一个矢量文件 shapefile格式 中读取矢量要素空间信息以及属性表 并写入到MongoDB中去 其中读取shapefile文件以及将
  • DeepFake——实际操作

    文章目录 文件结构 执行步骤 效果优化 总结 切图层面 extract层面 select 层面 原始数据优化 执行过程优化 convert 其他优化idea 辅助知识 实验记录 环境配置 环境配置 数据 环境配置 第三方库 环境配置 操作工
  • UE5 C++ Rider 编程指南 0.安装和配置

    目录 0 前言 1 Rider特性 1 1 快速跨平台C 支持 1 2 连接代码和UE编辑器 1 3 协助反射机制和RPC 1 4 代码分析和命名风格 1 5 调试器 1 6 单元测试 2 安装 3 插件 3 1 Dysh Unreal S
  • 特征值分解与奇异值分解原理与计算

    一 特征值 如果一个非零向量v是方阵A的特征向量 将一定可以表示成下面形式 而 是特征向量v对应的特征值 特征值分解是将一个矩阵分解成下面的形式 其中Q是这个矩阵A的特征向量组成的矩阵 是一个对角阵 每一个对角线上的元素就是一个特征值 一个
  • Vuforia AR开发详细教程

    1 unity3d在2017之后已经集成了Vuforia 如果在安装的时候未安装Vuforia 找到相关的安装包 双击进行安装 2 安装完毕之后 正常建立工程即可 3 在GameObject gt Vuforia Engine gt AR
  • Windows 命令大全

    命令简介 cmd是command的缩写 即命令行 虽然随着计算机产业的发展 Windows 操作系统的应用越来越广泛 DOS 面临着被淘汰的命运 但是因为它运行安全 稳定 有的用户还在使用 所以一般Windows 的各种版本都与其兼容 用户
  • 将Github项目克隆到本地

    前言 提示 前提是自己电脑已经安装Git 安装前往下载链接 https git scm com 如下图 下载完毕 运行安装程序 无脑安装 一直next即可 检查安装 Win R 打开命令提示符 输入以下命令 已经安装如下图 命令 git v
  • 矩阵基础1-矩阵的基本知识

    文章目录 一 矩阵的概念 1 1 运动会成绩记录 1 2 什么是矩阵 1 3 矩阵与向量 1 4 矩阵相等 1 5 方阵 1 6 单位矩阵 1 7 负矩阵 上三角阵 下三角阵 1 8 对角方阵 1 9 零矩阵 二 矩阵的线性运算 三 矩阵的
  • 备战2020,软件测试工程师面试题集锦

    虽然测试行业在2019不太景气 面试后的一些面试题归集和总结 为了将来面试时使用 所有的面试题中我发现超过90 都是基础性的面试题 只要有自动化基础 功能测试接触 再加上面试的时候态度ok 且不卑不亢即可 切记 面试时一定要不卑不亢 切记心
  • OCR识别身份证及营业执照图片(Java版)

    本文基于百度智能云平台提供的OCR识别技术 对身份证图片及营业执照图片识别处理 可以说是全网最详尽可用的教程 希望慢慢食用 准备工作 1 百度智能云官网 百度AI开放平台 全球领先的人工智能服务平台 需注册账号 申请开通应程序 目的是为了得
  • java实现FIFO和LRU页面置换算法

    FIFO是内存管理的一种页面置换算法 FIFO First Input First Output 即先进先出队列 例 在超市购物之后会提着我们满满的购物车来到收银台排在结账队伍的最后 眼睁睁地看着前面的客户一个个离开 这就是一种先进先出机制
  • qt QObject::connect: Parentheses expected,

    出现QObject connect Parentheses expected 这个错是我自己粗心 但也不得不吐槽下qt的不合理设计 connect时槽函数忘记加括号也可以编译通过 而且connect忘记加括号的槽函数是可以接收到信号的 因为
  • C语言 习题3-1 比较大小

    题目要求 本题要求将输入的任意3个整数从小到大输出 输入 输出格式 输入在一行中给出3个整数 其间以空格分隔 输出在一行中将3个整数从小到大输出 其间以 gt 相连 思路 写一个通用的排序函数 排序后再输出 代码 include
  • 解决org.apache.ibatis.binding.BindingException: Invalid bound statement (not found)的问题。

    问题描述 在运行SpringBoot项目时 出现以下错误 大多原因是一下两个原因 1 在resources文件加下创建的mapper文件夹类型没有正确选择 eclipse选择Folder idea选择Directory 2 映射文件的map
  • CentOs自带mysql卸载时出现无法卸载情况的解决办法

    CentOs自带mysql卸载时出现无法卸载情况的解决办法 首先通过如下命令来查看我们的操作系统上是否已经安装了mysql数据库 rpm qa grep mysql 这个命令就会查看该操作系统上是否已经安装了mysql数据库 发现出现如下情
  • 数据仓库灵魂30问之数据仓库、数据中台、数据湖有什么区别

    先说结论 数据仓库实行分而治之 面向BI 商业智能 数据中台实行一统天下 面向DateAPI 数据服务API 数据湖实行无为而治 面向AI 人工智能 他们三个实行的策略不同 用途不同 但是数据中台可以包容数据仓库与数据湖 数据湖与数据仓库是