3.云原生边云协同AI框架实践## GCN ## 云原生边云协同AI框架实践  普杰 华为云边缘云创新Lab 高级工程师 KubeEdge SIG AI Tech Lead  ## 目录 Edge AI现状与趋势 01 Sedna:边云协同AI框架 02 Sedna-GM:K8S Operator 03 实践案例 04 第一部分 ## Edge AI现状与趋势 ## Why Edge AI? - Cloud中心化的AI计算范式不足以应对端上AI应用对实时性、准确性和强交互性的需求 智慧农业 智能零售 ## 分布式协同AI核心驱动力 随着边侧算力逐步强化,边缘AI持续演变至分布式协同AI 分布式协同AI 概念 将人工智能相关的部分任务部署到边缘设备,基于边缘设备、边缘服务器、云服务器,利用分布式乃至分布式协同方式实现人工智能的技术 分布式协同AI 核心驱动力 01 数据在边缘产生 02 边侧逐步具备AI能力 ## 分布式协同AI技术挑战  B 2 14 两大网络平台,全面覆盖医学生命科学领域用户 ,不用来回筛选试错,降低时间成本。 ✓ 支持对业务代码的打点监控,利用框架能力采集业务运行时的状态。 ✓ ServiceComb天然支持传统侵入式与ServiceMesh非侵入式微服务混合部署,协同治理。 - 基于PHP的存量业务,选型华为商用并开源的ServiceMesh方案Mesher,实现微服务化改造 ✓ Mesher本身是一套跨语言的微服务治理方案,治理能力与ServiceComb ServiceComb 统一服务治理中心 ServiceComb 服务注册中心 ## 支持多种开发语言 ✓ 完美解决Java和PHP共存场景 ## ● 传统与新兴微服务化方式共存 ✓ 混合部署、协同治理 ## ● 丰富的监控运维 ✓ 细化到业务层面的微服务监控运维 ## ● 遗留应用0改造 ✓ 支持0侵入业务代码,使用成本低,对原有业务无影响 ## 微服务化收益 • 整合php的资源0 码力 | 11 页 | 11.88 MB | 2 年前3
PaddleDTX 1.0.0 中文文档全存储问题,并且实现多方数据的安全交换,助其突破数据孤岛,共同建模,联合发挥数据的最大价值。 ### 1.1 主要特征 PaddleDTX 的主要特征如下: 支持多个学习过程并行运行的多方安全计算框架,集成多种横向联邦学习和纵向联邦学习算法 • 安全存储高敏感数据,防止隐私泄漏,支持故障容错,抵御存储作弊 - 去中心化管理存储节点,支持无上限数据纳管 • 保证多方数据联合建模的全链路可信 保证多方数据联合建模的全链路可信 ### 1.2 架构概览 PaddleDTX 由多方安全计算网络、去中心化存储网络、区块链网络构建而成。 ##### 1.2.1 1.1 多方安全计算网络 有预测需求的一方为计算需求节点。可获取样本数据进行模型训练和预测的一方为任务执行节点,多个任务执行节点组成一个 SMPC(多方安全计算)网络。计算需求节点将任务发布到区块链网络,任务执行节点确认后执行任务。数据持有节点对任务执行节点的计算数据做信任背书。 自己持有数据分片。通过这些机制,实现了在不泄漏隐私的前提下充分且安全地利用存储资源。 训练样本和预测数据集往往是归属于不同机构的隐私数据。这些机构可以作为数据持有节点加入到去中心化存储网络中,通过多方安全计算网络发挥数据的最大价值。 ##### 1.2.3 1.3 区块链网络 训练任务和预测任务通过区块链网络广播到任务执行节点,后者继而执行训练任务和预测任务。数据持有节点和存储节点在副本保持0 码力 | 57 页 | 624.94 KB | 2 年前3
PaddleDTX 1.1.0 中文文档存储问题,并且实现多方数据的安全交换,助其突破数据孤岛,共同建模,联合发挥数据的最大价值。 ### 1.1 主要特征 PaddleDTX 的主要特征如下: - 支持多个学习过程并行运行的多方安全计算框架,集成多种横向联邦学习和纵向联邦学习算法 · 安全存储高敏感数据,防止隐私泄漏,支持故障容错,抵御存储作弊 - 去中心化管理存储节点,支持无上限数据纳管 • 保证多方数据联合建模的全链路可信 保证多方数据联合建模的全链路可信 ### 1.2 架构概览 PaddleDTX 由多方安全计算网络、去中心化存储网络、区块链网络构建而成。 ##### 1.2.1 1.1 多方安全计算网络 有预测需求的一方为计算需求节点。可获取样本数据进行模型训练和预测的一方为任务执行节点,多个任务执行节点组成一个SMPC(多方安全计算)网络。计算需求节点将任务发布到区块链网络,任务执行节点确认后执行任务。数据持有节点对任务执行节点的计算数据做信任背书。 自己持有数据分片。通过这些机制,实现了在不泄漏隐私的前提下充分且安全地利用存储资源。 训练样本和预测数据集往往是归属于不同机构的隐私数据。这些机构可以作为数据持有节点加入到去中心化存储网络中,通过多方安全计算网络发挥数据的最大价值。 ##### 1.2.3 1.3 区块链网络 训练任务和预测任务通过区块链网络广播到任务执行节点,后者继而执行训练任务和预测任务。数据持有节点和存储节点在副本保持0 码力 | 65 页 | 687.09 KB | 2 年前3
03. Golang 在隐私计算平台建设中的实践 - 刘敬他人个人信息。该法自2021年11月1日起施行。 ## 隐私计算历史 1986年姚期智提出 基于混淆电路的通 出百万富翁问 2013年Intel推出SGX指 1982年姚期智提 题,安全多方计 用解决方案 2016年发布的《隐私计 算概念被提出 令集扩展,提供软硬件算研究范畴及发展趋势》 一体的可信执行环境 首次提出了隐私计算概念 2009年Gentry首 算法 次提出了全同态 次提出了全同态 2016年谷歌提出联 2021年国内正式提 邦学习,解决安卓 出了隐私计算+区 手机终端用户的联 块链,并达成业内 合模型训练 共识 ## 隐私计算技术分类 - 安全多方计算 纯密码学技术实现数据的可用不可见 可信执行环境 基于TEE硬件保障计算环境安全可信,提供计算模型及数据双维度安全 联邦学习 结合机器学习和密码学算法,数据联邦化训练,充分释放数据价值 0/c/8/a/0c8a340cee65dfac822e371ac463a709/p9_1.jpg) 隐私计算节点 B - 区块链协同层 数据共享目录,数据确权授权、追溯审计以及联盟治理 计算引擎 隐私计算网络 多节点通过p2p组网,并基于安全多方计算、联邦学习、可信执行环境按照数据隐私密级进行价值共享 • 业务应用层 基于SDK接入上层业务系统 ## 隐私计算流程 区块链节点0 码力 | 37 页 | 6.20 MB | 2 年前3
云计算白皮书Serverless 服务。微软发力低/无代码领域,其发布的 Power Platform 已经与 Office 365、Dynamics 365 以及 Azure 三大生态充分打通,形成完整的技术生态。二是更注重软硬协同,优化性能。在算力多样化、节点高密化、载体细粒度化等诉求下,底层硬件在云计算的驱动下也因云而变。2022 年 6 月,阿里云发布 CIPU(Cloud infrastructure Processing 导意见》,明确指出要加快云计算技术推广应用。2023年4月,工业和信息化部等八部门发布《关于推进IPv6技术演进和应用创新发展的实施意见》,鼓励推动IPv6与云计算等技术的融合创新,促进云计算和网络协同发展。 地方层面,各地结合上云用云现状,持续推动云计算与实体经济融合走深。为推动实体经济数字化转型和创新发展,各省市根据自己的上云用云情况,纷纷出台了适用地方发展的相关政策,如北京市、重庆市均明确 td>2023.3《关于印发推动川南渝西地区融合发展总体方案的通知》 以电子信息、智能装备、新材料产业为引领,推动战略性新兴产业融合集群发展,加快传统产业改造升级,协同发展智能终端、云计算等产业。 来源:根据公开信息整理 ## (二) 云计算市场处于快速增长阶段,运营商引领新一轮市场增长 从整体来看,我国云计算市场保持高速增长。据中国信息通信0 码力 | 47 页 | 1.22 MB | 2 年前3
PaddleDTX 1.0.0 中文文档数据持有节点(DataOwner Node) - 存储节点(Storage Node) - 区块链节点(Blockchain Node) - Distributed AI - 服务组件 - 多方安全计算框架 - 可信联邦学习 - 接口与消息定义 - 配置说明 - 命令行工具 - XuperDB - 背景和目标 - 特点和优势 - 架构设计 注于分布式机器学习技术的解决方案,攻克海量隐私数据的安全存储问题,并且实现多方数据的安全交换,助其突破数据孤岛,共同建模,联合发挥数据的最大价值。 ## 主要特征 PaddleDTX的主要特征如下: 支持多个学习过程并行运行的多方安全计算框架,集成多种横向联邦学习和纵向联邦学习算法 - 支持多个学习过程并行运行的多方安全计算框架,集成多种横向联邦学习和纵向联邦学习算法 • 安全存储高敏感 去中心化管理存储节点,支持无上限数据纳管 • 保证多方数据联合建模的全链路可信 ## 架构概览 PaddleDTX由多方安全计算网络、去中心化存储网络、区块链网络构建而成。  ### 1.1 多方安全计算网络 有预测需求的一方为计算需求节点0 码力 | 53 页 | 1.36 MB | 2 年前3
PaddleDTX 1.1.0 中文文档数据持有节点(DataOwner Node) - 存储节点(Storage Node) - 区块链节点(Blockchain Node) - Distributed AI - 服务组件 - 多方安全计算框架 - 可信联邦学习 - 模型评估 - 动态模型评估 - 接口与消息定义 - 配置说明 - 命令行工具 - XuperDB - 背景和目标 注于分布式机器学习技术的解决方案,攻克海量隐私数据的安全存储问题,并且实现多方数据的安全交换,助其突破数据孤岛,共同建模,联合发挥数据的最大价值。 ## 主要特征 PaddleDTX的主要特征如下: 支持多个学习过程并行运行的多方安全计算框架,集成多种横向联邦学习和纵向联邦学习算法 - 支持多个学习过程并行运行的多方安全计算框架,集成多种横向联邦学习和纵向联邦学习算法 • 安全存储高敏感 去中心化管理存储节点,支持无上限数据纳管 • 保证多方数据联合建模的全链路可信 ## 架构概览 PaddleDTX由多方安全计算网络、去中心化存储网络、区块链网络构建而成。  ### 1.1 多方安全计算网络 有预测需求的一方为计算需求节点0 码力 | 57 页 | 1.38 MB | 2 年前3
共 355 条
- 1
- 2
- 3
- 4
- 5
- 6
- 36













