数据对于企业来说是非常重要的,因为企业数据需要保证其完整性和准确性,所以需要数据治理。MDM基础数据平台是对各个业务系统的主数据进行治理,而各个业务系统中的业务数据则需要在DAP数据分析平台进行治理。
DAP数据分析平台通过与ESB应用集成平台结合使用场景主要是通过配置调度任务,通过执行调度任务调用ESB数据同步流程,实现数据的采集、校验、转换、传输、调度等操作,基础数据为DAP提供同源并标准的、一致的数据保障数据分析分析数据的准确性,而通过血缘分析和影响分析就看清整个DAP全生命周期数据的轨迹。
1整体介绍
DAP数据分析平台就是采集各个业务系统的数据,进行数据筛选(表和字段、数据)、质量校验等步骤建立数仓,保证了数据标准性、完整性、准确性,从而实现企业业务数据的统一,通过数据可视化展现、数据服务来展现DAP数据分析平台的价值。
1.1产品体系
首先介绍一下我们数通畅联的产品体系:
我们数通畅联的所有产品都是通过K8S云平台进行部署搭建产品环境,通过不同的产品组合方案来解决企业面临的不同信息化困境,帮助企业完善信息化发展。
上图所示通过DAP数据分析平台+MDM基础数据平台+ESB企业服务总线组成了数据中台方案,本次介绍的DAP数据分析平台就是此方案的核心,基础数据进行主数据治理,DAP数据分析平台进行业务数据治理,通过ESB进行数据的集成,帮助整合企业数据,统一管理,提升企业的数据价值。
1.2产品说明
数据分析平台全生命周期是通过采集各个业务系统数据构建数仓,从而进行有效分析的过程,能够真实、准确、有效的将企事业内部及行业外部相关数据进行可视化展现,帮助企事业提升行业洞察力,加强决策力,从而提升整体竞争力。
数据分析平台功能有:
1.数据来源(应用系统定义、数据源头配置、ODS数据定义)数仓模型。
2.数仓模型(业务主题、维度配置、事实配置、模型配置、指标管理)。
3.数据调度(规则校验、调度资源(同步资源、加工资源)、调度任务、调度日志(同步日志、加工日志)、质量日志、通知日志)。
4.分析模型(数据集配置、立方体配置、业务类报表、多维度分析)。
5.展现模型(导航管理、组件管理、展现主题、装饰管理)。
6.数据服务(接收服务、查询服务、统计服务、指标服务、业务服务)。
7.算法模型(算法配置、标签管理、算法日志)。
8.统计分析(数据地图、质量分析、血缘分析、影响分析)。
9.系统管理(组织管理、角色管理、人员管理、功能管理、编码类型、编码管理、系统日志)。
1.3数据治理
各个业务系统中的数据需要在DAP数据分析平台中进行治理分析,数据治理是通过ODS定义功能筛选业务系统表,在从ODS选择维度表和基础事实表,进行数据的校验清洗,保证维度表和基础数据中的数据是完整的、