我可以将 flink RocksDB 状态后端与本地文件系统一起使用吗?

2024-05-11

我正在探索使用 FlinkrocksDb 状态后端,文档似乎暗示我可以使用常规文件系统,例如:file:///data/flink/checkpoints,但代码 javadoc 仅在此处提到 hdfs 或 s3 选项。

我想知道是否可以将本地文件系统与 flinkrocksdb 后端一起使用,谢谢!

Flink 文档:https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-rocksdbstatebackend https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-rocksdbstatebackend

弗林克代码:https://github.com/apache/flink/blob/master/flink-state-backends/flink-statebackend-rocksdb/src/main/java/org/apache/flink/contrib/streaming/state/RocksDBStateBackend.java# L175 https://github.com/apache/flink/blob/master/flink-state-backends/flink-statebackend-rocksdb/src/main/java/org/apache/flink/contrib/streaming/state/RocksDBStateBackend.java#L175


不,你不应该这样做!

使用此路径配置 Flink 写入检查点的目录。检查点是应用程序状态的副本,用于在发生故障(例如机器故障)时恢复应用程序状态。该路径必须指向持久的远程存储,以便在进程被终止或机器死亡时能够读取检查点。如果将检查点写入发生故障的计算机的本地文件系统,您将无法恢复作业并恢复状态。

但是,如果本地路径是也可以从其他计算机安装的 NFS(或任何其他远程存储)的安装点,则可以将检查点写入本地路径。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

我可以将 flink RocksDB 状态后端与本地文件系统一起使用吗? 的相关文章

  • Erlang Mnesia 中的分页搜索

    例如 给定记录 record item id time status 我想搜索 1000 到 1100 个项目 按时间和顺序排序status lt lt finished gt gt 有什么建议么 这取决于您的查询是什么样的 如果您需要按许

随机推荐