Paimon: Streaming data lake 数据湖项目的后起之秀

2023-05-16

什么是Paimon?

Paimon的官网介绍是:Streaming data lake platform with high-speed data ingestion, changelog tracking and efficient real-time analytics.
Paimon 是流数据湖平台,具有高速数据摄取、变更日志跟踪和高效的实时分析能力

数据湖是大数据近年来的网红项目,熟知的开源数据湖三剑客 Apache hudiApache icebergDatabricks delta 近年来野蛮生长,目前各自背后也都有商业公司支持,投入了大量的人力物力去做研发和宣传。

Paimon的前身是flink-table-storeFTS
最开始是作为 Flink 的子项目加入了 Apache 社区,由 Flink 团队主导研发,开源后不够火
也许是因为数据湖市场早已被三剑客占据了大半,也许是宣传的力度不够,也许是 Flink 子项目限制了它作为数据湖产品的发展。
可能也正是这些种种的原因促成 flink-table-store 作为独立项目重新加入 Apache,不再依附 Flink,并且更名为Paimon

提供的核心功能

  • Unified Batch & Streaming: 统一批流读写,支持批写、批读、流写、流读
  • Data Lake: 作为数据湖存储,具有成本低、可靠性高、元数据可扩展等优点。
  • Merge Engi
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Paimon: Streaming data lake 数据湖项目的后起之秀 的相关文章

随机推荐