科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化,当今数据时代背景下更加强调、重视数据的价值,以数据说话,通过数据为企业提升渠道转化率、改善企业产品、实现精准运营,为企业打造自助模式的数据分析成果,以数据驱动决策。
数据分析,无论是现在的互联网企业,还是传统型企业,都需要数据分析。公司需要决定一些发展方向或者推出某种新型产品时,就需要数据分析来将一些凌乱的数据进行整合汇总,从而判断出具体的方向。
1整体产品介绍
可以通过不同的产品组合来解决不同公司面临的企业困难,帮助企业范围内建立起了一整套统一、规范的IT架构标准体系,包括数据规范、服务规范、流程规范、界面规范、接口规范等,彻底解决了当前面临的信息孤岛问题,有利于提高效率和降低成本。
1.1产品体系
首先介绍一下我们数通畅联的产品体系:
我们数通畅联的所有产品都是通过K8S云平台进行部署搭建产品环境,通过不同的产品组合方案来解决企业面临的不同信息化困境,帮助企业完善信息化发展。
DAP数据分析平台通过与ESB应用集成平台结合使用场景主要是通过配置调度任务,通过执行调度任务调用ESB数据同步流程,实现数据的采集、抽取、转换、传输、调度等操作,基础数据为DAP提供同源并标准的、一致的数据保障数据分析分析数据的准确性。
1.2产品说明
数据分析平台是一款能够高效存储、计算、分析并处理海量数据的数据分析产品,能够真实、准确、清晰、有效地将企事业内部及行业外部相关数据进行可视化展现,帮助企事业提升行业洞察力,加强决策力,从而提升整体竞争力。
数据分析平台功能有:
1.数据来源(应用系统定义、数据源头配置、ODS数据定义)数仓模型。
2.数仓模型(业务主题、指标配置、维度配置、事实配置、模型配置)。
3.数据调度(规则校验、调度资源、调度任务、日志管理(质量日志、调度日志、通知日志))。
4.分析模型(数据集配置、立方体配置、多维度分析、业务类报表)。
5.展现模型(导航管理、组件管理、展现主题、装饰管理)。
6.统计分析(数据地图、质量分析、血缘分析、影响分析)。
7.系统管理(组织管理、角色管理、人员管理、功能管理、编码类型、编码管理、系统日志)。
1.3功能说明
数据集成是从业务系统到ODS,ODS转换到数仓(到维度表、基础事实表),汇总事实加工与ESB结合调用DAP接口创建ESB预制的集成流程,生成数据调度,数据调度此功能主要是提供传输的效率,通过数据血缘把分析相关数据拉取到数仓中后依次进行创建模型,通数仓模型指标、数据集、立方体,报表,进行对外发布的数据服务和可视化展现(看板、大屏、移动化)。
创建数据调度流程的方式不仅可以用DAP平台新增调度流程,还可以使用ESB设计器创建三种调度流程,分别是业务源到ODS中间库的调度流程、数据集加工的调度流程和立方体加工的调度流程,然后可以在每个流程的各个节点中设置数据源、映射等信息,最后也是到DAP平台查看并启动执行这些流程完成同步数据的功能。
2业务系统到ODS
数据来源都在不同的业务系统中,DAP会把需要分析数据相关的表注册到ODS中间库中,ODS同步数据方式分为源库读取、接口同步、流程同步、外部同步,通过上述的方式把业务系统的数据同步到中间库。
2.1功能介绍
1.下图是ODS同步方式框图,ODS同步数据方式分为源库读取、接口同步、流程同步、外部同步。
(1)源库读取:把业务系统变成从库,直接会通过业务系统同步到数仓中。
(2)接口同步:接口同步是业务系统调用此接口进行数据同步。
(3)流程同步:流程同步是与ESB结合生成调度流程进行数据同步。
(4)外部同步:外部同步是通过外部组件进行数据同步。
2.下图是业务系统到ODS集成步骤图