联邦学习工程实践中的三大难题

2023-10-29

“实践是检验真理的唯一标准”,联邦学习谈概念的文章已经很多,今天我们来从实践中聊几个实事求是的问题。

联邦学习领域已有众多论文支撑,但在实践中,因为涉及到多学科的交叉,真正能落地应用的平台,少之又少。所以你可以看到已经有三四十家做联邦学习的公司,但是仅有七八家是能真正亮相产品。这应该是一个比较正常的现象,因为联邦学习工程落地所面临的挑战远远比理论复杂。

1)断点训练

断点训练,是指联邦学习过程中“训练可暂停”,如果发生多方之间的网络异常造成超时,待网络恢复正常后,联邦学习模型可从上次的断点开始继续训练,而避免重新开始。

这在我们的客户实际环境中非常重要,因为多方机构之间进行联合建模,无法预见和避免网络之间连接不稳定,一旦发生断网,普通的time out机制容易让学习过程超时或者异常退出。可能各家联邦学习平台的产品大多进行了网络不稳定的报警,这种处理是比较简单粗糙的,做一个心跳机制,不间断地去测试多方之间的网络情况,并发出日志报警。但是这种简单的处理方式只能帮助定位联邦学习建模过程出现的异常。试想,如果客户花了2小时眼看模型马上训练出来,进度条到99%的时候,突然time out了,是不是想死的心都有?这在用户体验上是极其不友好的。

下面我给出一种基于监控回调的处理方案:

 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

联邦学习工程实践中的三大难题 的相关文章

  • 想要精通算法和SQL的成长之路 - 戳气球

    想要精通算法和SQL的成长之路 戳气球 前言 一 戳气球 1 1 记忆化搜索 前言 想要精通算法和SQL的成长之路 系列导航 一 戳气球 原题链接 首先我们看一下题干 对于超出了数组边界的 就当做它是一个数字为1的气球 遇到这种的 我们可以

随机推荐

  • POI设置EXCEL单元格的"条件格式"

    这篇博客主要是说明如何通过POI设置excle文档中单元格的条件格式 POI版本 poi 3 5 FINAL 涉及到的主要类 org apache poi hssf usermodel HSSFSheet org apache poi hs
  • SAN 网络配置规范

    管理网络的界定 为了统一起见 我们对管理网络进行如下界定 1 管理网络是指专门开辟一个用于管理的网络 主要用于 SAN 网 络设备的管理和调试 SAN 存储设备的管理和调试等 包括 BNA SAN 网络管理系统均使用管理网络 地址段为 X
  • Error when import grpc: "Symbol not found: _deflate"解决方法

    Import grpc时出现如下错误 Traceback most recent call last File private var tmp bazel lls 5ea0bb16383fa9c06c47b535a23ac475 execr
  • mybatis—plus

    接口和实现类都继承 如果你让你的服务接口继承 IService 并让你的服务实现类继承 ServiceImpl 那么你的服务接口将明确地列出所有可用的 CRUD 方法 只继承 ServiceImpl 如果你只让你的服务实现类继承 Servi
  • 【改进算法】【IHAOAVOA】天鹰优化算法和非洲秃鹫混合优化算法

    目录 1 主要内容 2 部分代码 3 程序结果 4 下载链接 1 主要内容 该程序复现 IHAOAVOA An improved hybrid aquila optimizer and African vultures optimizati
  • 深入理解Java并发之synchronized实现原理

    线程安全是并发编程中的重要关注点 应该注意到的是 造成线程安全问题的主要诱因有两点 一是存在共享数据 也称临界资源 二是存在多条线程共同操作共享数据 因此为了解决这个问题 我们可能需要这样一个方案 当存在多个线程操作共享数据时 需要保证同一
  • 【运维知识进阶篇】Ansible实现一套完整LNMP架构

    前面介绍了PlayBook怎么写服务部署 把服务部署上后 我们来用Ansible来部署项目 实现一套完整的LNMP架构 我们部署wordpress wecenter phpshe phpmyadmin这四个项目 将其所有的剧本都写入lnmp
  • python第二阶段(14)numpy入门基础-可视化之折线图

    numpy入门基础 可视化之折线图 1 numpy的折线图plot date函数 2 示例 1 简单的示例 2 股票时间序列图 演示 1 numpy的折线图plot date函数 折线图 折线图是用直线段将各数据连接起来组成的图形 常用来观
  • 【自我解析】2020华为杯数学建模比赛C题

    C题相较于A题专业性不是那么强 更偏向对给出数据的处理 这里我看了三篇优秀论文进行此题的学习 分别为0319 同济 0034 上海理工 0095 上海交通 题目提供两个数据附件 P300的介绍 睡眠过程 问题一 0319对于问题一的分析 0
  • opencv 人脸识别 (二)训练和识别

    上一篇中我们对训练数据做了一些预处理 检测出人脸并保存在 pic color x文件夹下 x 1 2 3 类别号 本文做训练和识别 为了识别 首先将人脸训练数据 转为灰度 对齐 归一化 再放入分类器 EigenFaceRecognizer
  • VUE实现v-for循环遍历图片方法

    写项目时 遇到后台无法提供背景图片 需要自己在本地循环遍历到页面上 并和后台数据一起展示的需求 解决方法如下 resourceList是后台传过来的数组对象 我们需要展示它的name 同时 在本地把图片按以下方式命名 使用 src动态获取图
  • react+antd select下拉框实现模糊搜索匹配

    我们在开发过程中 经常会出现下拉框数据很多得情况 这个时候客户一个个得找就很浪费时间 那该怎么办呢 我们可以实现一边输入一遍模糊匹配 实现后的效果是 具体代码实现请看下面 我们可以在Select Option 里面返回我们想要搜索得字段 然
  • c++之const指针

    我们知道 const可以修饰一般的变量 这样的变量我们称之为常变量 常变量的值是不能修改的 const也可以修饰指针变量 可以指定指针变量是一个常量 或者指定指针变量指向的对象是一个常量 有以下几种情况 一 指向常量的指针变量 const
  • iphone投屏ipad_原来这才是苹果手机投屏的正确方式!一秒小屏变大屏!追剧必备...

    作为一只七年果粉 不得不说 苹果手机确实很好用 不仅因为它的安全性高 还因为它拥有很多实用的小功能 今天小编就来跟大家分享苹果手机中一个很好用的功能 投屏功能 喜欢追剧的小伙伴赶紧get起来 1秒小屏变大屏 一 无线投屏 1 屏幕镜像功能
  • Java实现"栈"结构

    一提到栈首先映入我们脑海的一个词就是 后进先出 即其为单通道 只能有一个出口 显然这是栈最明显且重要的特点 栈的内部实现可以使用数组或链表来完成 1 栈的解析 栈之所有容易被理解是因为其包含的方法非常简单 主要包括以下三个方法 push 一
  • 2、QT的信号与槽

    一 什么是信号与槽 一个对象发送一个信号出去 另外一个对象接收到该信号后 会触发相应的槽函数 二 信号与槽的语法 connect 信号的发送者 SIGNAL 信号名称 信号的接收者 SLOT 槽函数 1 写法 QT 4 的写法 connec
  • 正则表达式-学习2 - 语法

    2017年11月08日09 57 27再次重新系统的开始学习正则表达式 希望这次可以真正的学会 语法学习 1 Character classes Character classes match a character from a spec
  • arm64下liunx的python安装

    anaconda安装 参考该篇博客 大体就是下载为arm liunx开发的anaconda包后进行bash命令安装 正常安装 参考该篇博客 大体就是 官网下载压缩包 解压 configure 安装必要库 安装 查看 ls l usr bin
  • 【Python】 sort、sorted高级排序技巧

    文章转载自 脚本之家 这篇文章主要介绍了python sort sorted高级排序技巧 本文讲解了基础排序 升序和降序 排序的稳定性和复杂排序 cmp函数排序法等内容 需要的朋友可以参考下 Python list内置sort 方法用来排序
  • 联邦学习工程实践中的三大难题

    实践是检验真理的唯一标准 联邦学习谈概念的文章已经很多 今天我们来从实践中聊几个实事求是的问题 联邦学习领域已有众多论文支撑 但在实践中 因为涉及到多学科的交叉 真正能落地应用的平台 少之又少 所以你可以看到已经有三四十家做联邦学习的公司