我正在探索使用 FlinkrocksDb 状态后端,文档似乎暗示我可以使用常规文件系统,例如:file:///data/flink/checkpoints
,但代码 javadoc 仅在此处提到 hdfs 或 s3 选项。
我想知道是否可以将本地文件系统与 flinkrocksdb 后端一起使用,谢谢!
Flink 文档:https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-rocksdbstatebackend https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-rocksdbstatebackend
弗林克代码:https://github.com/apache/flink/blob/master/flink-state-backends/flink-statebackend-rocksdb/src/main/java/org/apache/flink/contrib/streaming/state/RocksDBStateBackend.java# L175 https://github.com/apache/flink/blob/master/flink-state-backends/flink-statebackend-rocksdb/src/main/java/org/apache/flink/contrib/streaming/state/RocksDBStateBackend.java#L175
不,你不应该这样做!
使用此路径配置 Flink 写入检查点的目录。检查点是应用程序状态的副本,用于在发生故障(例如机器故障)时恢复应用程序状态。该路径必须指向持久的远程存储,以便在进程被终止或机器死亡时能够读取检查点。如果将检查点写入发生故障的计算机的本地文件系统,您将无法恢复作业并恢复状态。
但是,如果本地路径是也可以从其他计算机安装的 NFS(或任何其他远程存储)的安装点,则可以将检查点写入本地路径。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)