作者:DataPipeline CEO 陈诚
从“数据的资产负债表与现状”到“DataOps理念与设计原则”直至“DataOps的组织架构与挑战”,我们对于DataOps的讨论已经进行了三周。
不难发现,在此期间,我们探讨的话题始终围绕在上层建筑层面(理念、组织架构),没有向下延伸到实践落地。鉴于此,本篇将在前三篇文章的基础上详谈DataOps落地所需考虑的技术点。
一、DataOps的技术考量
DAMA(数据管理协会)的数据治理体系包括的技术考量非常全面,涵盖了数据架构的方方面面,在此我们就不一一赘述。重点谈在DataOps的概念中,应该有什么样的提升。
Gartner2019年提出数据体系的最新趋势为“Augmented Data Management增强数据管理”,定义为:
“Augmented data management leverages ML capabilities and AI engines to make enterprise information management categories including data quality, metadata management, master data management, data integration as well as database management s