在当今社会中,随着企业的快速发展,相关业务系统的建设也会越来越多,新的业务模式、新的IT架构、多云环境的出现等等。而一些问题就逐渐暴露了出来:企业之间的IT无法做到互通、新模式生产数据与旧数据无法互通、企业IT架构错综复杂,底层数据互通更加困难。而这个时候,就需要一个平台来解决这些企业痛点,通过平台整合分散在各个孤岛中的数据,快速形成数据服务能力,为企业的精英提供数据支撑,而这种平台我们称之为数据中台。
我们公司的数据中台是基于公司的三款核心产品DAP、MDM和ESB组成的解决方案,主要实现基于数据治理分析的中台建设,通过MDM将企业内部的基础数据标准化、规范化、整合化后,由DAP进行数仓建设以及最终的数据分析的可视化展现,ESB通过数据集成完成整个数据中台的主数据分发和数仓的数据汇聚。
1总体介绍
数据中台主要帮助企业进行全链路业务、全生命周期的数据管理,基于建立在数据仓库和数据平台之上,通过数据清洗导入、数据同步/分发、数据处理、分析等技术,对企业内外部海量数据进行采集、存储、计算、加工、分析等,从而为企业的业务决策提供数据方面的参考,用数据为公司业务、营销、管理赋能。
1.1方案介绍
数据中台主要是打通企业的数据环节,实现全生命周期的数据管理,通过数据中台建设数据管理体系,实现各个业务系统数据的有效整合,通过基础数据治理保证底层基础数据的一致性,基于业务指标进行前端的动态展现,结合数据指标的多维度穿透,实现以不同形式、不同维度的分析展现。分析业务指标的同时也是对企业业务的梳理,发现业务中存在的问题,实现企业业务升级与转型,保证领导层能实时把控企业业务的发展,了解业务痛点,改进业务管理方式,实现业务与数据的相互支撑,从而为企业的高层决策提供数据支持。
1.2集成架构
数据中台在通常情况下只对数据进行消费,所以在数据分析或数据治理过程中,业务数据及相关主数据都会从其它业务系统中抽取,通过企业数据总线对业务数据及基础数据进行数据的加工或数据同步,在数据分析过程中由主数据作为标准的数据分析维度,业务数据与主数据加工汇总后作为分析模型的数据分析指标最终进行数据的展现。
1.数据中台中每类主题需要分析的业务数据,都会有对应的来源系统作为数据源头;
2.通过提供从库或直接获取数据表的访问权限,通过ESB进行数据抽取将需要分析的数据同步至ODS中;
3.将统一的标准主数据(组织、人员等)进行基础数据的治理,进行主数据的建模、主数据的清洗等,将这些数据下发至下游系统中;
4.主数据中的数据作为数据分析的维表同步至数仓中;
5.最终维表、ODS表通过汇总、分析、计算等实现数据整合,以及最终的图形化展现。
1.3数据架构
数据中台进行主数据管理,在数据分析过程中通过抽取源头系统的业务数据与主数据系统中的维度数据,通过数据总线对数据进行加工汇总,通过业务系统→ODS,ODS→数据仓库,数据仓库加工汇总后对业务指标整合分析最终进行可视化展现: