我通过 Spark 批处理作业在 HDFS 中保留了机器学习模型，并且我在 Spark 流中使用它。基本上，ML 模型从 Spark Driver 广播到所有执行器。
有人可以建议我如何在不停止 Spark Streaming 作业的情况下实时更新模型吗？基本上，当有更多数据点可用时，就会创建一个新的 ML 模型，但不知道如何将新模型发送到 Spark 执行器。
还请求发布一些示例代码。
问候，
迪帕克.
最好的方法可能是每批次更新模型 https://stackoverflow.com/a/43392118/790075。由于您可能不想更新得太频繁，因此您可能想要检查您是否确实需要加载模型并在可能的情况下跳过它 https://stackoverflow.com/questions/45031215/how-to-update-rdd-periodically-in-spark-streaming.
对于存储在 hdfs 上的模型，您只需在更新保存已加载模型的变量的值之前检查模型文件上的新时间戳（或目录中存在的新模型）。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
