数据中台数据分析过程梳理

2023-11-04

在当今社会中,随着企业的快速发展,相关业务系统的建设也会越来越多,新的业务模式、新的IT架构、多云环境的出现等等。而一些问题就逐渐暴露了出来:企业之间的IT无法做到互通、新模式生产数据与旧数据无法互通、企业IT架构错综复杂,底层数据互通更加困难。而这个时候,就需要一个平台来解决这些企业痛点,通过平台整合分散在各个孤岛中的数据,快速形成数据服务能力,为企业的精英提供数据支撑,而这种平台我们称之为数据中台。

我们公司的数据中台是基于公司的三款核心产品DAP、MDM和ESB组成的解决方案,主要实现基于数据治理分析的中台建设,通过MDM将企业内部的基础数据标准化、规范化、整合化后,由DAP进行数仓建设以及最终的数据分析的可视化展现,ESB通过数据集成完成整个数据中台的主数据分发和数仓的数据汇聚。 

1总体介绍 

数据中台主要帮助企业进行全链路业务、全生命周期的数据管理,基于建立在数据仓库和数据平台之上,通过数据清洗导入、数据同步/分发、数据处理、分析等技术,对企业内外部海量数据进行采集、存储、计算、加工、分析等,从而为企业的业务决策提供数据方面的参考,用数据为公司业务、营销、管理赋能。 

1.1方案介绍 

数据中台主要是打通企业的数据环节,实现全生命周期的数据管理,通过数据中台建设数据管理体系,实现各个业务系统数据的有效整合,通过基础数据治理保证底层基础数据的一致性,基于业务指标进行前端的动态展现,结合数据指标的多维度穿透,实现以不同形式、不同维度的分析展现。分析业务指标的同时也是对企业业务的梳理,发现业务中存在的问题,实现企业业务升级与转型,保证领导层能实时把控企业业务的发展,了解业务痛点,改进业务管理方式,实现业务与数据的相互支撑,从而为企业的高层决策提供数据支持。 

1.2集成架构 

数据中台在通常情况下只对数据进行消费,所以在数据分析或数据治理过程中,业务数据及相关主数据都会从其它业务系统中抽取,通过企业数据总线对业务数据及基础数据进行数据的加工或数据同步,在数据分析过程中由主数据作为标准的数据分析维度,业务数据与主数据加工汇总后作为分析模型的数据分析指标最终进行数据的展现。 

1.数据中台中每类主题需要分析的业务数据,都会有对应的来源系统作为数据源头; 

2.通过提供从库或直接获取数据表的访问权限,通过ESB进行数据抽取将需要分析的数据同步至ODS中; 

3.将统一的标准主数据(组织、人员等)进行基础数据的治理,进行主数据的建模、主数据的清洗等,将这些数据下发至下游系统中; 

4.主数据中的数据作为数据分析的维表同步至数仓中; 

5.最终维表、ODS表通过汇总、分析、计算等实现数据整合,以及最终的图形化展现。 

1.3数据架构 

数据中台进行主数据管理,在数据分析过程中通过抽取源头系统的业务数据与主数据系统中的维度数据,通过数据总线对数据进行加工汇总,通过业务系统→ODS,ODS→数据仓库,数据仓库加工汇总后对业务指标整合分析最终进行可视化展现: 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

数据中台数据分析过程梳理 的相关文章

  • 技术革命与金融资本:泡沫与黄金时代的动力学 (美)卡萝塔·佩雷丝着

    这本书总结了科技革命对社会的影响 分析科技革命后什么时间什么条件下对社会造成影响 很不错的一本书 必须推荐啊 2013 9 29
  • harbor 离线同步

    场景 客户环境为离线环境 只能把公司私服的镜像下载后 然后通过客户端中转传到客户的私服上 客户端在客户内网中 然后拨号到公司的内网 bin bash harbor的url URL https 10 27 6 59 31009 源harbor
  • 文件锁

    借助 fcntl函数来实现文件锁机制 操作文件的进程没有获得文件锁时 可以打开文件 但无法执行read write操作 注意 文件锁只能用于进程间同步 fcntl函数 int fcntl int fd int cmd int fcntl i
  • 2022年江西省“网络空间安全”赛项模块B--流量分析(中职组)

    2022年中职组山西省 网络空间安全 赛项 B 6 流量分析任务书及解析 不懂私信博主 一 竞赛时间 420分钟 共计7小时 吃饭一小时 二 竞赛阶段 竞赛阶段 任务阶段 竞赛任务 竞赛时间 分值 第 阶段 单兵模式系统渗透测试 任务一 系
  • 【华为OD机试真题 Python】最差产品奖

    前言 本专栏将持续更新互联网大厂机试真题 并进行详细的分析与解答 包含完整的代码实现 希望可以帮助到正在努力的你 关于大厂机试流程 面经 面试指导等 如有任何疑问 欢迎联系我 wechat steven moda email nansun0
  • STM32外设天造地设的一对:ADC和DMA

    STM32外设天造地设的一对 ADC和DMA 引言 这篇文章主要介绍ADC和DMA配置的注意事项 适合懂得如何配置最基本的ADC和DMA 但是对它们两个的模式不是太理解的朋友们看 本文将重点介绍ADC和DMA模式的注意事项 DMA是CPU的

随机推荐

  • Spring Boot 报错org.springframework.jdbc.datasource.embedded.EmbeddedData

    记录一次Spring Boot错误解决方案 如果Spring Boot 在整合druid的时候 如果启动报错 并报以下错误的时候 org springframework beans factory UnsatisfiedDependency
  • 常用决策树模型ID3、C4.5、CART算法

    决策树概述 决策树 decision tree 是一种基本的分类与回归方法 下面提到的ID3 C4 5 CART主要讨论分类的决策树 在分类问题中 表示基于特征对实例进行分类的过程 可以认为是if then的集合 也可以认为是定义在特征空间
  • 计算机图形学期刊和会议

    目录 中国计算机学会推荐国际学术期刊 计算机图形学与多媒体 一 A类 二 B类 三 C类 中国计算机学会推荐国际学术会议 计算机图形学与多媒体 一 A类 二 B类 三 C类 中国计算机学会推荐国际学术期刊 计算机图形学与多媒体 一 A类 序
  • 光纤收发器怎么连?光纤收发器连接图解!

    光纤收发器可以实现光信号和电信号的转换 通过光纤进行信号的转换 最后和一些设备连接 让你的传输通信畅通无阻 当我们远距离传输时 通常会使用光纤来传输 因为光纤的传输距离很远 一般来说单模光纤的传输距离在10千米以上 而多模光纤的传输距离最高
  • C++报错提示某类名不是类或命名空间名称

    在学习C 的友元时 遇到一个问题 两个类互相调用时报错 如图 include
  • 三菱数控CNC系统G代码M代码大全

    G00 快速定位 G01 直线补间切削 G02 圆弧补间切削CW 顺时针 G03 圆弧补间切削CCW 逆时针 G02 3 指数函数补间 正转 G03 3 指数函数补间 逆转 G04 暂停 G05 高速高精度制御 1 G05 1 高速高精度制
  • C++ //STL 简介

    STL简介 STL Standard Template Library 即标准模板库 是一个具有工业强度的 高效的C 程序库 STL的一个重要特点是数据结构和算法的分离 STL另一个重要特性是它不是面向对象的 STL六大组件 容器 Cont
  • 非线性解方程组c语言_08 -- 非线性有限元分析方法

    到目前为止 讨论的都是线性问题 这里采用了两个基本假设 1 材料的应力 应变关系是线性的 D 2 结构的应变 位移关系是线性的 B 非线性有限元分析方法大同小异 以材料非线性为例 1 当材料的应力 应变关系是非线性时 刚度矩阵不是常数 与位
  • 代码管理工具SVN

    svn 什么是svn SVN是Subversion的简称 是一个开放源代码的版本控制系统 相较于RCS CVS 它采用了分支管理系统 它的设计目标就是取代CVS 互联网上很多版本控制服务已从CVS迁移到Subversion 说得简单一点SV
  • 力扣-->#剑指Offer 563 . 二叉树倾斜

    这道题要理解有一定的困难 首先看到这样的题目肯定想到的就是遍历 其次 需要有一个值来记录倾斜度 即 left right 再者 需要一个函数来帮忙辅助计算倾斜度 即findSum class Solution int findSum Tre
  • RIP、OSPF等路由协议严格意义上讲属哪一层?

    1 RIP基于UDP BGP基于TCP OSPF和EIGRP基于IP 这些在TCP IP协议栈中定义的路由协议用于发现和维护前往目的地的最短路径 你可以认为它们不属于网络层协议 注意 是用 based on 而不是实现了 BGP用TCP 所
  • 微信公众号h5页面实现授权,前端部分

    授权步骤 微信开发工具上配置公众号的apiId 微信环境内调起微信的授权功能 代码实现 此段代码放在app vue的监听函数中 每当路由发生变化 都会判断此页面是否已授权 没授权的话则进行授权 watch route handler fun
  • 4. 消息中心的设计与实现

    消息中心的设计与实现 一 引言 运用场景 1 消息的主动提醒 客户端被动接收 2 客户模块 及时通讯 3 单一登录 一个账号只能在一个设备登录 消息中心的实现方案 1 客户端轮询 2 TCP长连接 常用 Java的长连接的方案 Java B
  • windows命令行下ftp连接超时的可能原因

    1 需要连接的主机没有启用ftp服务 iis没有建立ftp站点 ftp身份验证设置不当 详情参考博文 windows下使用ftp 以及 windows开启ftp服务 两篇博文有重复的部分 我将他们取并集操作了一遍 另外 我还处理了iis未授
  • 使用Visual Studio编译ffmpeg

    一 首先参照下面的链接配置和编译 FFmpeg在VS2017下的编译 vs2017 ffmpeg源码编译 鱼儿 1226的博客 CSDN博客 vs2019编译ffmpeg源码为静态库动态库 完整步骤 亲测可行 ffmpeg vs 令狐掌门的
  • 嵩天老师-Python语言程序设计-Python123配套练习测验题目汇总整理

    测验1 Python基本语法元素 知识点概要 普遍认为Python语言诞生于1991年 Python语言中的缩进在程序中长度统一且强制使用 只要统一即可 不一定是4个空格 尽管这是惯例 IPO模型指 Input Process Output
  • 求最长不含重复字符的子字符串——C++

    声明 本文原题主要来自力扣 记录此博客主要是为自己学习总结 不做任何商业等活动 一 原题描述 剑指 Offer 48 最长不含重复字符的子字符串 请从字符串中找出一个最长的不包含重复字符的子字符串 计算该最长子字符串的长度 示例 1 输入
  • Linux查看进程命令

    查看进程 1 ps 命令用于查看当前正在运行的进程 grep 搜索 例如 ps ef grep java 表示查看所有进程里 CMD 是 java 的进程信息 2 ps aux grep java aux 显示所有状态 ps 3 kill
  • Sublime Text4 配置 Python3 环境、代码提示、编译报错教程

    1 配置 Python3 环境 单击 工具 gt 编译系统 gt 新建编译系统 弹出 替换里面的内容为 cmd G CodeTools anaconda3 python exe u file file regex File line 0 9
  • 数据中台数据分析过程梳理

    在当今社会中 随着企业的快速发展 相关业务系统的建设也会越来越多 新的业务模式 新的IT架构 多云环境的出现等等 而一些问题就逐渐暴露了出来 企业之间的IT无法做到互通 新模式生产数据与旧数据无法互通 企业IT架构错综复杂 底层数据互通更加