DAP数仓模型及数据集成过程说明

2023-11-11

科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化,当今数据时代背景下更加强调、重视数据的价值,以数据说话,通过数据为企业提升渠道转化率、改善企业产品、实现精准运营,为企业打造自助模式的数据分析成果,以数据驱动决策

数据分析,无论是现在的互联网企业,还是传统型企业,都需要数据分析。公司需要决定一些发展方向或者推出某种新型产品时,就需要数据分析来将一些凌乱的数据进行整合汇总,从而判断出具体的方向。 

1整体产品介绍 

可以通过不同的产品组合来解决不同公司面临的企业困难,帮助企业范围内建立起了一整套统一、规范的IT架构标准体系,包括数据规范、服务规范、流程规范、界面规范、接口规范等,彻底解决了当前面临的信息孤岛问题,有利于提高效率和降低成本。 

1.1产品体系 

首先介绍一下我们数通畅联的产品体系: 

我们数通畅联的所有产品都是通过K8S云平台进行部署搭建产品环境,通过不同的产品组合方案来解决企业面临的不同信息化困境,帮助企业完善信息化发展。 

DAP数据分析平台通过与ESB应用集成平台结合使用场景主要是通过配置调度任务,通过执行调度任务调用ESB数据同步流程,实现数据的采集、抽取、转换、传输、调度等操作,基础数据为DAP提供同源并标准的、一致的数据保障数据分析分析数据的准确性。 

1.2产品说明 

数据分析平台是一款能够高效存储、计算、分析并处理海量数据的数据分析产品,能够真实、准确、清晰、有效地将企事业内部及行业外部相关数据进行可视化展现,帮助企事业提升行业洞察力,加强决策力,从而提升整体竞争力。 

数据分析平台功能有: 

1.数据来源(应用系统定义、数据源头配置、ODS数据定义)数仓模型。 

2.数仓模型(业务主题、指标配置、维度配置、事实配置、模型配置)。 

3.数据调度(规则校验、调度资源、调度任务、日志管理(质量日志、调度日志、通知日志))。 

4.分析模型(数据集配置、立方体配置、多维度分析、业务类报表)。 

5.展现模型(导航管理、组件管理、展现主题、装饰管理)。 

6.统计分析(数据地图、质量分析、血缘分析、影响分析)。 

7.系统管理(组织管理、角色管理、人员管理、功能管理、编码类型、编码管理、系统日志)。 

1.3功能说明 

数据集成是从业务系统到ODS,ODS转换到数仓(到维度表、基础事实表),汇总事实加工与ESB结合调用DAP接口创建ESB预制的集成流程,生成数据调度,数据调度此功能主要是提供传输的效率,通过数据血缘把分析相关数据拉取到数仓中后依次进行创建模型,通数仓模型指标、数据集、立方体,报表,进行对外发布的数据服务和可视化展现(看板、大屏、移动化)。 

创建数据调度流程的方式不仅可以用DAP平台新增调度流程,还可以使用ESB设计器创建三种调度流程,分别是业务源到ODS中间库的调度流程、数据集加工的调度流程和立方体加工的调度流程,然后可以在每个流程的各个节点中设置数据源、映射等信息,最后也是到DAP平台查看并启动执行这些流程完成同步数据的功能。 

2业务系统到ODS 

数据来源都在不同的业务系统中,DAP会把需要分析数据相关的表注册到ODS中间库中,ODS同步数据方式分为源库读取、接口同步、流程同步、外部同步,通过上述的方式把业务系统的数据同步到中间库。 

2.1功能介绍 

1.下图是ODS同步方式框图,ODS同步数据方式分为源库读取、接口同步、流程同步、外部同步。 

(1)源库读取:把业务系统变成从库,直接会通过业务系统同步到数仓中。 

(2)接口同步:接口同步是业务系统调用此接口进行数据同步。 

(3)流程同步:流程同步是与ESB结合生成调度流程进行数据同步。 

(4)外部同步:外部同步是通过外部组件进行数据同步。 

 

2.下图是业务系统到ODS集成步骤图

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

DAP数仓模型及数据集成过程说明 的相关文章

  • jquery ui 实现table的sortable功能以及过滤记录功能

    本人在工作中曾使用js实现过用鼠标拖动表格的行实现重新排序的功能 当时写了不少的js代码 最近发现jquery ui也能实现这个功能 而且很方便 真后悔当时不知道有这么个好东东 好 现在介绍下如何使用jquery ui来实现 引入的js文件

随机推荐

  • 邻结矩阵的创建

    图的邻结矩阵是储存图数据的一个手段 储存方式是用两个数组来表示圆 一个一维数组储存图中的顶点信息 一个二维数组 称为邻结矩阵 储存图中边或弧的信息 代码展示 include
  • Kotlin筑基

    Kotlin筑基 本文链接 核心思路 每个知识点都要和源码结合起来讲 文章目录 Kotlin筑基 编译时常量 基本类型 range 访问权修饰符 Unit Nothing 反引号 函数内联 函数引用 具名函数 判空和安全调用 断言操作 空合
  • ARM uboot 源码分析5 -启动第二阶段

    一 start armboot 解析6 1 console init f 1 console init f 是 console 控制台 的第一阶段初始化 f 表示是第一阶段初始化 r 表示第二阶段初始化 有时候初始化函数不能一次一起完成 中
  • 记录Android13权限适配和遇到的问题

    项目场景 修改 Android 13版本中需要修改以下2个权限
  • 后台退出功能开发

    代码开发 代码分析 我们看看后台首页 backend index html 退出按钮绑定的单击事件处理函数logout url employee logout 与 method post 告诉我们应该在雇员控制器EmployeeContro
  • div 固定不动,不随滚动条滚动且不闪动

  • 高并发场景下的 HttpClient 优化方案,QPS 大大提升!

    HttpClient优化思路 池化 长连接 httpclient和httpget复用 合理的配置参数 最大并发请求数 各种超时时间 重试次数 异步 多读源码 1 背景 我们有个业务 会调用其他部门提供的一个基于http的服务 日调用量在千万
  • C++11-14 第9讲 Alias Template(化名)

    template
  • 接口测试——PyTest自动化测试框架(八)

    1 PyTest介绍与安装 PyTest介绍 PyTest是python的一个第三方的单元测试库 自动识别测试模块和测试函数 支持非常丰富的断言 assert 语句 PyTest中的使用约束 测试文件的文件名必须以 test 或 test
  • Java项目 log4j2 配置日志写入指定文件

    一 背景 由于业务需要 需要将服务部分埋点日志写入指定文件 然后进行日志收集 进行数据分析统计 需要通过修改log4j2配置 引入对应logger打印日志实现 二 log4j2 xml配置
  • java 代理(静态代理、动态代理的不同实现)详解及示例

    文章目录 一 代理构成 1 代理介绍 2 应用场景介绍 二 静态代理 1 示例 1 售票服务 2 售票 3 代售点服务 4 静态代理实现 1 maven 依赖 2 实现 三 动态代理 1 InvocationHandler角色 2 Invo
  • 2023年高教社杯数学建模国赛C题详细版思路

    C 题 蔬菜类商品的自动定价与补货决策 2023年国赛如期而至 为了方便大家尽快确定选题 这里将对C题进行解题思路说明 以分析C题的主要难点 出题思路以及选择之后可能遇到的难点进行说明 方便大家尽快找到C题的解题思路 难度排序 B gt A
  • 常见的防火墙有哪几种类型

    防火墙对于游戏 金融 视频等等易受到攻击的行业来说 其部署是相当重要的 虽说不能百分百防御所有攻击 但在其中也起了很大的作用 防火墙是为加强网络安全防护能力在网络中部署的硬件设备 有多种部署方式 常见的主要有以下几种方式 1 桥模式 桥模式
  • STL之二级空间配置器及实现

    之前对于配置器的原理及一级配置器的介绍请看博文 这里写链接内容 下来我们直接介绍二级空间配置器 二级空间配置器 我们通过之前的学习 已经知道 如果所要申请的空间大于128字节 则直接交至一级空间配置器处理 如果小于128字节 则使用二级空间
  • 如何快速提高英飞凌单片机编译器 TASKING TriCore Eclipse IDE 编译速度

    1 前言 使用英飞凌单片机编译器 TASKING TriCore Eclipse IDE 开发编译时 想必感受最深刻的就是编译速度 那是非常慢了 如果是部分修改的源文件编译还好 不用等太久 而如果选择需要全部编译 那么这个时间就很长了 网上
  • Redis之父:我可不止是一只码农

    一年前我暂停了写代码后开始尝试写科幻小说时 以为这是两条完全不一样的路子 随着写的文字越来越多 不断的推倒重写那也是家常便饭了 我现在总算非常确定了 撸一个大系统和写一本小说本质上其实差不太多 它们之间那是非常相似的 这里我们允许 Anti
  • 敏捷25年:历史阶段与中坚力量

    本文管中窥豹 多有阙疑 但表达的脉络依然有价值 敏捷25年的历史阶段 若龙在渊 1993 2001 1993年 作为XP土壤的C3项目开始 同年 Scrum诞生 这一阶段是新方法论的探索阶段 不满现状的先驱们八仙过海 好比是某组织成立前的各
  • Spring framework 笔记

    文章目录 环境搭建 创建工程 添加maven依赖 快速开始 Spring控制反转 IOC 什么是SpringIOC 配置元数据 Xml Or Annotation XML配置方式 在一个配置文件中导入其他配置文件 Annotation配置方
  • Long和Integer相互转换

    目录 一 int和long互相转换 一 long转化为int 1 类型强制转换 2 利用BigDecimal强制转换 二 int转化为long 1 类型强制转换 2 利用BigDecimal强制转换 二 Long和Integer的互相转换
  • DAP数仓模型及数据集成过程说明

    科技飞速发展的时代 企业信息化建设会越来越完善 越来越体系化 当今数据时代背景下更加强调 重视数据的价值 以数据说话 通过数据为企业提升渠道转化率 改善企业产品 实现精准运营 为企业打造自助模式的数据分析成果 以数据驱动决策 数据分析 无论