区块链如何应用于边缘计算、隐私计算联邦学习

2023-10-30

近年来数据安全事件频发,数据安全威胁日益严峻。

随着《中华人民共和国数据安全法》的颁布和实施,对企业合规安全地发挥数据价值提出了更高的要求。

如何在保障数据安全的前提下发挥数据价值,平衡效率和风险,是当前面临的重要课题。

本文探讨如何将区块链应用于边缘计算、隐私计算联邦学习的场景下的实现数据安全和发挥数据价值效率。

什么是边缘计算

边缘计算是一种分布式系统模型,它由终端设备、边缘服务器、中心服务器三层网络架构组成。

由于边缘服务器位于终端设备和中心服务器之间,相比中心服务器更靠近终端设备,不仅能为终端设备提供更实时的响应,同时也有效减少了在数据传输时带来的通信开销。

边缘计算目前已经广泛应用在车联网、无人驾驶、智慧医疗等领域。

边缘计算系统逻辑架构

边缘计算存在的数据安全问题

在训练机器学习任务时,需要大量的数据集作为支撑,边缘节点通常负责收集终端设备的数据,并将其发送到中心服务器,进行模型训练。

终端设备上传数据后会失去对数据的控制,这些数据中往往包含着用户不愿透漏的私人信息,如位置信息、医疗信息等。

因此直接将数据上传至边缘服务器或中心服务器可能会造成隐私泄露的问题。

什么是隐私计算

隐私计算是指利用隐私保护的计算系统和技术(软件或硬件方案),能够不泄露原始数据前提的下,对数据进行采集、加工、处理、分析的全过程,保证数据所有者权益、保护用户隐私的同时,充分挖掘数据的价值。

隐私计算体系架构主要包括,以同态加密、差分隐私等为代表的隐私保护底层技术;以联邦学习、可信计算、多方安全计算为代表的应用技术;和上层的数据场景应用。

隐私计算主要应用场景

  • 联合建模
  • 联合营销
  • 联合风控
  • 联合画像
  • 数据交易
  • 智慧医疗
  • 电子政务

什么是联邦学习

联邦学习(FederatedLearning,简称FL)最早是谷歌于2016年提出的一个分布式机器学习技术,初衷是用来解决中心方使用大量手机终端用户数据建模的问题,其设计目标是保护终端和个人数据隐私,终端数据不离开本地的前提下在中心方协调下完成建模。

随后因为其有效的解决了数据孤岛问题而被大力推广,其场景范围也越来越广泛。

现在只要是基于多方的并且各自原始数据不对外输出的建模就可以称为联邦学习。

目前联邦学习也是隐私计算发展的重要技术方向。

根据参与各方数据源分布的情况不同,联邦学习可以被分为三类:横向联邦学习、纵向联邦学习、联邦迁移学习。

联邦学习逻辑架构图

联邦学习的优点

联邦学习是近年来备受关注的分布式训练框架,在这个框架中,多个终端设备可以联合训练一个机器学习模型,而无需将数据上传,用户数据保留在本地,只上传模型参数到中心服务器,避免了直接上传数据所带来的隐私泄露问题。

联邦机器学习是一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。

联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现AI协作。

边缘计算结合联邦学习

基于联邦学习的优点,可以将联邦学习和边缘计算结合进行机器学习模型训练。

即三层架构下的联邦训练,分别为终端设备层,边缘服务器层,和中心服务器层。

终端设备在本地的数据集上进行训练,上传本地模型参数至边缘服务器。

边缘服务器进行部分聚合后,再将部分聚合结果上传至中心服务器进行聚合。

在经典的联邦平均(Federated Averaging, FedAvg)算法中,参与训练的用户直接与中心服务器进行通信,系统的通信复杂度比较高。

在用户和中心服务器中间增加边缘服务器,与 FedAvg 算法相比降低了通信开销。

联邦学习存在的问题

在联邦学习训练过程中只上传本地模型参数,也会泄露隐私数据信息。

边缘服务器和中心服务器可能是不可信的,通过用户上传的模型参数可以获得用户的隐私数据信息。

此外终端设备在本地训练时可能会发起投毒攻击或者使用低质量的数据集进行模型训练,进而来损害全局模型。

区块链解决模型安全和信任问题

在训练过程中,首先用户在其本地数据集上进行训练,将训练得到的模型参数以秘密共享的方式上传至附近的边缘节点,实现了对用户本地模型参数的保护,然后边缘节点在本地计算它所收到的份额之间的欧几里得距离,并将这些计算结果上传至区块链,最后由区块链负责对模型参数之间的欧几里得距离进行重构,进而去除有毒的更新后,再进行全局模型的聚合。

区块链代替中心服务器对模型参数进行筛选和聚合,避免了不可信中心服务器返回错误结果和中心服务器存在的单点故障。

区块链结合边缘计算、联邦学习

网络模型

图片来源中国知网
本网络模型由三种实体组成: 终端设备(用 户)、边缘节点、区块链。

1)终端设备:终端设备即参与联邦训练的移动用户端, 终端设备负责在本地数据集上进行训练,并将本地模型参数上传至附近的边缘节点。

2)边缘节点:边缘节点位于终端设备的附近,是由一定计算能力的服务器组成。

在模型上传阶段,边缘节点负责对终端设备上传的模型参数进行处理并上传至区块链。

在模型下载阶段,边缘节点从区块链上下载全局模型,并将全局模型分发给所在区域参与训练的用户。

3)区块链:区块链负责用户、边缘节点的注册和全局模型的聚合。

区块链在收到注册请求后,会校验时间戳的有效性和相关计算等式是否相等,如果不相等则拒绝注册请求,如果相等则注册成功。

注册成功的用户需要向区块链缴纳一定数量的代币作为押金(这些代币主要用于激励用户参加训练,用户可以使这些代币换取其他服务),区块链上会存储这些注册成功的边缘节点信息和用户信息。

这些注册成功的边缘节点负责从区块链上下载固定序列和当前轮的全局模型参数。并将固定序列和当前轮的全局模型参数下发给所在区域的用户。

逻辑交互图

图片来源中国知网

区块链在接收到边缘节点上传的消息后,首先检验边缘节点的身份标识和时间戳是否是有效的。如果有效则验证签名的有效性,使用等式进行批量验证,进而减少区块链上的计算开销。

如果验证通过,区块链可通过拉格朗日插值重构出第i 个用户的梯度 和第 j 个用户的梯度之间的欧几里得距离,根据 Multi-Krum 算法选取合法更新的用户列表 。

区块链将判定为投毒用户的提前交付的押金进行扣除,并将这些扣除的押金平均分发给诚实的用户。

边缘节点从区块链上下载列表 ,根据列表边缘节点在本地将合法用户上传的份额 进行求和并上传至区块链,区块链通过拉格朗日插值即可重构出聚合结果。

边缘节点从区块链下载聚合之后的模型参数,并下发给所在区域的用户,用户使用更新后的模型参数进行下一轮的训练,如此迭代,直到模型收敛或达到理想的模型精度。

总结

区块链应用于边缘计算场景下的联邦学习,避免了恶意中心服务器返回错误结果和中心服务器存在的单点故障问题。

在数据上传阶段,既保护了用户数据的隐私,又对数据的合法性和完整性进行了认证。 在数据聚合阶段,能够去除有毒的更新,实现安全可靠的聚合。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

区块链如何应用于边缘计算、隐私计算联邦学习 的相关文章

  • 为什么要使用零知识证明来开发跨链协议

    用户需要什么样的跨链服务 在过去的几年当中出现了各种各样的独立公链以及以太坊 Layer 2 由于在安全性 低成本 快速交易以及开发者和用户社区差异等方面 不同链都具有各自不同的优势 用户在不同链之间切换使用的行为是很常见的 比起以太坊链
  • 最简单的区块链实现,不到50行代码!(一)

    什么是区块链 Blockchain 一个电子记账本 以比特币和其他密码加密货币进行的交易公开地 按照日期顺序记录其中 总的来说 它是一个公开的数据库 新的数据存储在一个称为区块的容器中 并且附加到一个 不可变 的链条 即区块链 上 链条上还
  • 以太坊区块链学习之在私链上部署合约

    上一篇博客介绍了如何搭建私链并在私链上创建账户 挖矿 查看余额 本篇将介绍在私链上部署合约并与之交互 本篇开发环境为MacOS 10 12 建议读者使用macOS系统或者Ubuntu系统 第一步 进入geth客户端 启动私链 进入geth客
  • [区块链安全-CTF Protocol]区块链智能合约安全实战(已完结)

    区块链安全 CTF Protocol 区块链智能合约安全实战 前言 1 The Lost Kitty 2 RootMe 3 Trickster 4 The Golden Ticket 5 Smart Horrocrux 6 Gas Valv
  • Go语言实现区块链与加密货币-Part3(交易优化,单机模拟多节点通信)

    交易 二 在这个系列文章的一开始 我们就提到了 区块链是一个分布式数据库 不过在之前的文章中 我们选择性地跳过了 分布式 这个部分 而是将注意力都放到了 数据库 部分 到目前为止 我们几乎已经实现了一个区块链数据库的所有元素 今天 我们将会
  • 两万字整理Fabric(超级账本) 配置文件 掌握了它就掌握了Fabric的核心

    导语 文章没有重复的地方 没有废话 如果能帮助到你 那是我的荣幸 记得一键三连哟 Fabric 配置文件详解 一 四个核心配置文件 二 Fabric 的核心配置文件 三 网络启动步骤 1 生成认证证书 crypto config yaml
  • FISCO BCOS 2.0新特性解读

    FISCO BCOS是完全开源的联盟区块链底层技术平台 由金融区块链合作联盟 深圳 简称金链盟 成立开源工作组通力打造 开源工作组成员包括博彦科技 华为 深证通 神州数码 四方精创 腾讯 微众银行 亦笔科技和越秀金科等金链盟成员机构 代码仓
  • 区块链数字存证平台有哪些功能模块

    区块链数字存证平台通常包括以下功能模块 数字存证 将数字文件的哈希值存储到区块链上 确保文件的完整性和不可篡改性 时间戳 记录数字文件的创建时间和存证时间 确保存证的时效性和证据的可信度 鉴定证书 提供数字文件的鉴定证书 证明文件的真实性和
  • Bridge Champ举办人机对战赛:NFT游戏与传统竞技共生发展编织新格局

    概要 现在 NFT与体育竞技正日益紧密地联系在一起 一些体育项目开始推出与赛事或球队相关的NFT 同时也有部分NFT游戏开始举办电子竞技赛事 这种共生发展正在改变体育竞技的生态 笔者采访了桥牌冠军项目相关负责人 探讨NFT游戏与传统体育竞技
  • 就现在!为元宇宙和Web3对互联网的改造做准备!

    欢迎来到Hubbleverse 关注我们 关注宇宙新鲜事 预计阅读时长 8分钟 本文仅代表作者个人观点 不代表平台意见 不构成投资建议 如今 互联网是各种不同的网站 应用程序和平台的集合 由于彼此分离 它们缺乏互操作性和数据可移植性 因此
  • 使用web3和infura开发以太坊ethereum区块链

    web3 Github https github com ethereum web3 js web3 js是以太坊提供的一个Javascript库 它封装了以太坊的RPC通信API 提供了一系列与区块链交互方法 使js与以太坊交互变得简单
  • 扬帆证券:玻璃期价涨势强劲 投资者需理性看待

    上个交易周 国内产品期货商场全体工作平稳 其间 玻璃期货体现较为出色 主力合约上星期五午后忽然大幅拉升 毕竟收涨逾7 周内累计涨幅超越10 业内人士以为 近期玻璃期价走势强劲主要是受地产政策利好和本钱增加的推动 后市行情或将偏震动 上涨持续
  • 凌晨!比特币突破4万美元,本轮上涨分析与未来展望!

    比特币在上周五 1日 成功突破38000美元大关后 就持续震荡走高 在今晨06 30左右 更是一举突破4万大关 最高来到41750美元 再度刷下2023年新高 以太坊 ETH 在差不多同样时间 最高来到2265美元 刷新年内新高 近24小时
  • Stellar Consensus Protocol(SCP)的共识算法

    Stellar Consensus Protocol SCP 是一种用于Stellar网络的共识算法 旨在确保网络中所有节点对账本的一致性 SCP的设计灵感来自于拜占庭将军问题 Byzantine Generals Problem 它采用了
  • zkSend — — 在Sui上发红包像发电子邮件一样简单

    12月14日 知名区块链媒体平台The Block发表了这篇关于对Mysten Labs联合创始人Adeniyi Abiodun的采访 文中 我们 指代该媒体 数据均为截止撰写文章时数据 以下是正文 两年前 当五名前Facebook工程师创
  • 什么是虚值期权?什么是深度虚值期权?

    在期权市场里有一种合约的价格往往比较便宜 它就是虚值期权 也是最受欢迎的期权之一 虚值期权也就是高杠杆和波动被世人所爱 久闻的一日192倍行情就是出自于虚值期权 下文科普什么是虚值期权 什么是深度虚值期权 一 虚值期权是什么 虚值合约因为价
  • 在区块链中看CHAT的独特见解

    问CHAT 谈谈对区块链以及区块链金融的理解 CHAT回复 区块链是一种去中心化的分布式数据库技术 这种技术通过加密算法 使数据在网络中传输和存储的过程变得更加安全可靠 区块链的出现引领了存储 交易等形式的革命 改变了诸多行业的运作模式 首
  • NFTScan | 01.01~01.07 NFT 市场热点汇总

    欢迎来到由 NFT 基础设施 NFTScan 出品的 NFT 生态热点事件每周汇总 周期 2024 01 01 2024 01 07 NFT Hot News 01 空投 Mint Blockchain 将于 2024 年 1 月 10 号
  • 英国金融时报关注TRX登陆Mercado Bitcoin交易所:波场TRON强化南美洲布局,国际化进程持续加速

    近日 波场TRON网络原生代币TRX正式上线巴西最大的合规加密交易所Mercado Bitcoin 英国金融时报 Decrypt Blockworks等财经及加密行业权威媒体对该话题进行了报道 表示此次合作是波场TRON全球业务增长的有力证
  • 案例研究:YGG 如何通过 GAP 帮助 Pixels 扩大玩家群体

    在 Sky Mavis 联合创始人 Jeffrey Jihoz Zirlin 在 YGG Web3 游戏峰会 W3GS 上发表主题演讲时 他向在场的人们透露 MMO 农场游戏 Pixels 的日活跃用户数已经超过了 130 000 人 这使

随机推荐

  • 用Python手撸一个神经网络

    单隐藏层神经网络的实现 用Python实现用于分类任务的简单神经网络 神经网络简述 编程弯路 从矩阵视角看神经网络 反向传播及其实现 效果测试 用神经网络解决更复杂的分类任务 结语 用Python实现用于分类任务的简单神经网络 一年前接触
  • 分类算法概述

    摘 要 分类是数据挖掘 机器学习和模式识别中一个重要的研究领域 通过对当前数据挖掘中具有代表性的优秀分类算法进行分析和比较 总结出了各种算法的特性 为使用者选择算法或研究者改进算法提供了依据 1 概述分类是一种重要的数据挖掘技术 分类的目的
  • MIUI解BL锁失败

    最后解决办法是 换USB 2 0接口 分析问题 或许可能是软件兼容性不好 USB3 0影响读取设备信息 导致无法解锁
  • 基于战争策略算法优化的BP神经网络(预测应用) - 附代码

    基于战争策略算法优化的BP神经网络 预测应用 附代码 文章目录 基于战争策略算法优化的BP神经网络 预测应用 附代码 1 数据介绍 2 战争策略优化BP神经网络 2 1 BP神经网络参数设置 2 2 战争策略算法应用 4 测试结果 5 Ma
  • 运算放大器的应用之:T形电阻网络公式的三种推导方法

    上面公式怎么推导 推导1 根据KCL KVL定律 当Vi单独作用时 当VREF单独作用时 根据叠加定理得 推导2 利用戴维宁定理推导 如下图所示 在A B处把电路断开 然后 利用戴维宁定理 得到如下等效电压及等效电阻 把输出电路替换成戴维宁
  • 实现快速排序

    原理 找出一个数字 然后从该数列的右边找一个数比该数字大的第一个数 填入该数的位置中去 然后又从左往右找第一个数大于或等于该数字的数 然后填入上一个数的位置中去 也就是上一次找比该数字大的第一个数的位置中去 直到i和j 相遇就停止循环 再排
  • 追尾事故降发生:超低功耗滴滴桔视ADAS落地实践

    桔妹导读 道路交通事故每年都给人类带来巨大的生命和财产损失 滴滴作为交通领域的深度参与者 不断地探索降低交通事故的方法 本文重点介绍车载视觉团队是如何在滴滴的场景下 在桔视设备上 使用超低功耗的桔视ADAS 高级辅助驾驶系统 技术 降低交通
  • 计算机系统大作业

    摘 要 本文对hello c在Linux下的生命周期进行了分析 通过一些Linux平台的工具 如gcc objdump edb gdb readelf对程序代码的预处理 编译 汇编 链接 反汇编的过程进行了分析 对比 通过hello在she
  • 我曾经喜欢夏天

    我小时候在农村长大 夏末初秋时节 在农村院子里躺在凉席上 听大人讲他们一天的收获和明天的计划 夜风吹来树叶沙沙作响 夜空中繁星点点 偶尔飞过一两只飞鸟 发出清脆的声音 那些夜里 我要么抱着一个井里冰镇过的大西瓜 大块朵颐 要么啃着一根自家地
  • Linux yum提示Loaded plugins 错误的解决办法

    在Linux中使用yum时出现错误信息 Loaded plugins fastestmirror langpacks Existing lock var run yum pid another copy is running as pid
  • GPT3动口,RT-1动手,智能机器人开卷; 代码开源!

    机器学习 ML 研究的多个子领域 例如计算机视觉和自然语言处理 的最新重大进展是通过一种共享的通用方法实现的 该方法利用大型 多样化的数据集和能够有效吸收所有数据的表达模型 尽管已经有各种尝试将这种方法应于机器人技术 但机器人尚未利用高性能
  • 数图互通高校学生宿舍管理中会细分为哪些模块?

    数图互通学生宿舍管理系统 功能模块包括 基础数据 在线选宿舍 学生入住 宿舍调整 学生退宿 学生社区评定 外来人员来访管理 物品出楼登记 归寝管理 异性来访登记 宿舍维修管理 宿舍收费管理 辅导员管理 综合查询 统计报表
  • 24_Pandas.DataFrame,Series元素值的替换(replace)

    24 Pandas DataFrame Series元素值的替换 replace 要替换pandas DataFrame pandas Series元素的值 请使用replace 方法 这里 将描述以下内容 替换元素 一次替换多个不同的元素
  • tar: /usr/app: Not found in archive

    用tar解压文件报错 tar usr app Not found in archive 解决办法 加上 C就行 例如 tar zxvf zookeeper 3 4 10 tar gz C usr app
  • 细数华人那些代工企业

    原文地址 http www shudoo com news index php ac va aid 4438 一个不缺少人的社会 一个劳动密集型社会 廉价的社会劳动力让中国成为了世界的代工工厂 为客户提供低成本的代工服务 这其中有我们熟悉的
  • 19 【flex布局】

    34 移动Web开发之flex布局 34 1 flex布局体验 34 1 1 传统布局与flex布局 传统布局 兼容性好 布局繁琐 局限性 不能在移动端很好的布局 flex布局 操作方便 布局极为简单 移动端应用很广泛 PC 端浏览器支持情
  • iframe父子窗口通信(免跨域)(最下面附带封装好的)

    子窗口对父窗口发出消息 window parent postMessage type 自定义事件名 自定义事件名 value JSON stringify ObjData 数据 只能是字符串 父窗口接受消息 window addEventL
  • 关于QSqlDatabase::addDatabase的一个运行时错误

    这是一个在开发过程中不会出现的问题 但是当你发布程序后 将程序安装在别的机器 在运行时会出现的错误 错误如下 QSqlDatabase QSQLITE driver not loaded QSqlDatabase available dri
  • linux apache 403 forbidden,apache服务器显示403 Forbidden的原因和解决方法

    HTTP 错误 403 禁止访问 即403 Forbidden You don t have permission to access on this server 可能是权限不足引起的问题 解决方法 打开apache的配置文件httpd
  • 区块链如何应用于边缘计算、隐私计算联邦学习

    近年来数据安全事件频发 数据安全威胁日益严峻 随着 中华人民共和国数据安全法 的颁布和实施 对企业合规安全地发挥数据价值提出了更高的要求 如何在保障数据安全的前提下发挥数据价值 平衡效率和风险 是当前面临的重要课题 本文探讨如何将区块链应用