云原生边云协同AI框架实践 普杰 华为云边缘云创新Lab 高级工程师 KubeEdge SIG AI Tech Lead 目 录 Edge AI现状与趋势 01 Sedna：边云协同AI框架 02 Sedna-GM：K8S Operator 03 实践案例 04 Edge AI现状与趋势 第一部分 Why Edge AI？ • Cloud中心化的AI计算范式不足以应对端上AI 应用对实时性、准确性和强交互性的需求 devices Edge AI • 随着大模型的发展，AI 计算对算力需求大 幅且快速增长 AI应用到越来越多的边缘场景 分布式协同AI 概念 将人工智能相关的部分任务部署到边缘设备，基于边缘设备、边缘服务 器、云服务器，利用分布式乃至分布式协同方式实现人工智能的技术 数据在边缘产生 边侧逐步具备AI能力 分布式协同AI 核心驱动力 分布式协同AI核心驱动力 • 随着边侧算 随着边侧算力逐步强化，边缘AI持续演变至分布式协同AI 分布式协同AI技术挑战 1. 边缘资源碎片化 2. 边缘数据孤岛 3. 边缘样本少 4. 边缘数据异构 分布式协同AI 技术挑战 边云协同AI框架 第二部分 首个分布式协同AI开源项目Sedna 基于KubeEdge提供的边云协同能力，支持现有AI类应用无缝下沉到边缘 为分布式协同机器学习服务 ✓ 降低构建与部署成本 ✓ 提升模型性能

14.3 协程的同步：关闭通道-测试阻塞的通道 14.4 使用 select 切换协程 14.5 通道、超时和计时器（Ticker） 14.6 协程和恢复（recover） 14.7 新旧模型对比：任务和worker 14.8 惰性生成器的实现 14.9 实现 Futures 模式 第 15 章 网络，模板和网页应用 15.1 tcp服务器 15.2 一个简单的网页服务器 15 语言中“头文件”的概念却导致越来越多因为依赖关系而使得 构建一个大型的项目需要长达几个小时的时间。人们越来越需要一门具有严格的、简洁的依赖关系分析系统从而能够 快速编译的编程语言。这正是 Go 语言采用包模型的根本原因，这个模型通过严格的依赖关系检查机制来加快程序构 建的速度，提供了非常好的可量测性。 整个 Go 语言标准库的编译时间一般都在 20 秒以内，其它的常规项目也只需要半秒钟的时间来完成编译工作。这种 4.2 Go 程序的基本结构和要素 4.2.1 包的概念、导入与可见性 4.2 Go 程序的基本结构和要素 - 57 - 本文档使用 书栈(BookStack.CN) 构建 Go 中的包模型采用了显式依赖关系的机制来达到快速编译的目的，编译器会从后缀名为 .o 的对象文件（需要且 只需要这个文件）中提取传递依赖类型的信息。 如果 A.go 依赖 B.go ，而 B

语言中“头文件”的概念却导致越来越多因为依赖 关系而使得构建一个大型的项目需要长达几个小时的时间。人们越来越需要一门具有严格的、简洁的依赖 关系分析系统从而能够快速编译的编程语言。这正是 Go 语言采用包模型的根本原因，这个模型通过严格 的依赖关系检查机制来加快程序构建的速度，提供了非常好的可量测性。 整个 Go 语言标准库的编译时间一般都在 20 秒以内，其它的常规项目也只需要半秒钟的时间来完成编译 工作。这种闪电般的编译速度甚至比编译 属于同一个包的源文件必须全部被一起编译，一个包既是编译时的一个单元，因此根据惯例，每个目录都 只包含一个包。 如果对一个包进行更改或重新编译，所有引用了这个包的客户端程序都必须全部重新编译。 Go 中的包模型采用了显式依赖关系的机制来达到快速编译的目的，编译器会从后缀名为 .o 的对象文件 （需要且只需要这个文件）中提取传递依赖类型的信息。 如果 A.go 依赖 B.go ，而 B.go 又依赖 中那样）。 Go 语言中的接口都很简短，通常它们会包含 0 个、最多 3 个方法。 不像大多数面向对象编程语言，在 Go 语言中接口可以有值，一个接口类型的变量或一个 接口值 ： var ai Namer ， ai 是一个多字（multiword）数据结构，它的值是 nil 。它本质上是一个指针，虽然不 完全是一回事。指向接口值的指针是非法的，它们不仅一点用也没有，还会导致代码错误。 此处的方法指针表是通过运行时反射能力构建的。

欢迎来到Go的世界，让我们开始探索吧！ Go是一种新的语言，一种并发的、带垃圾回收的、快速编译的语言。它具有以下特点： 它可以在一台计算机上用几秒钟的时间编译一个大型的Go程序。 Go为软件构造提供了一种模型，它使依赖分析更加容易，且避免了大部分C风格include文件与库的开头。 Go是静态类型的语言，它的类型系统没有层级。因此用户不需要在定义类型之间的关系上花费时间，这样感 觉起来比典型的面向对象语言更轻量级。 weight) fmt.Println("His speciality is ", mark.speciality) // 修改对应的备注信息 mark.speciality = "AI" fmt.Println("Mark changed his speciality") fmt.Println("His speciality is ", mark.speciality) 种通过网络从远程计算机程序上请求服务， 而不需要了解底层网络技术的协议。它假定某些传输协议的存在，如TCP或UDP，以便为通信程序之间携带信息数据。 通过它可以使函数调用模式网络化。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布 式多程序在内的应用程序更加容易。 RPC工作原理 RPC工作原理 图8.8 RPC工作流程图 运行时,一次客户机对服务器的RPC调用

版权所有 ©2016-2021 11 趣链科技 版权所有 ©2016-2021 11 趣链科技 版权所有 ©2016-2021 11 公有�架构（⾮�可�架构） 应⽤层 数据层 块链式结构 账户模型 时间戳 ⽹络层 共识层 激励层 发⾏机制 分配机制 PoW PoS DPoS 可编程货币 可编程⾦融 可编程社会 合约层 智能合约脚本 算法机制 合约执⾏引擎 哈希算法 数字签名 P2P⽹络 分布式⼀致性算法 典型共识算法 新型共识算法 合约层 智能合约脚本 合约执⾏引擎 分布式应⽤DApp ⽹络层 P2P⽹络 区块链⽹络模型 区块链⽹络协议 扩 展 层 扩展操作 跨链协议 链上链下计算 预⾔机 扩展组件 消息队列MQ 证书管理 测试框架 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 应⽤层 司法存证 供应链⾦融 智慧政务 物联⽹ 能源电⼒ 跨境贸易 ⼯业物联⽹ 分布式⼀致性算法 典型共识算法 新型共识算法 合约层 智能合约脚本 合约执⾏引擎 分布式应⽤DApp ⽹络层 P2P⽹络 区块链⽹络模型 区块链⽹络协议 扩 展 层 扩展操作 跨链协议 链上链下计算 预⾔机 扩展组件 消息队列MQ 证书管理 测试框架 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 应⽤层 司法存证 供应链⾦融 智慧政务 物联⽹ 能源电⼒ 跨境贸易 ⼯业物联⽹

合理，为了微服务⽽微服务） • 监控，告警，CI/CD，服务治理，分布式追踪等基础 设施不完善，维护成本⾼（⾃建—>云原⽣） 02 困境 MVC架构 微服务架构的困境与突破 ➢ 构建合理的业务模型（Monolith or Microservice） 1. 建模⽅法不只有领取驱动设计-DDD，还有⽤例驱动 设计-UDD等； 2. 并不是开始进⾏微服务拆分的时候才⽤到对应的建 模⽅法，在设计单体架构下同样也需要； 建模：通过表象看本质 ➢ 软件开发过程：描述软件开发全过程、软件开发活动以及他们之间关系的结构框架。 。。。 常⻅的软件开发模型 RUP开发模型 业务建模 01 软件开发过程 建模：通过表象看本质 ➢ 建模：对现实世界特征的模拟和抽象，⽐如机械模型，汽⻋模型等。 02 何为建模 ➢ 不同的想法 1. 不⽤建模，搞出来的系统照样跑的好好 的； 2. ⼈⼒不⾜，先顶住再优化； 3 晦涩难懂的概念，有时为了说明⼀些概念引⼊⼀些新的概念（领域服务/领域对象/领域 模型/值对象/聚合根/实体/⽤例等）； 2. ⽅法这么多，到底谁更值得信赖； 3. 案例过于陈旧，如银⾏系统，电⼒系统等，⾥⾯阐述的⽅法和步骤到较难运⽤到互联⽹ 的业务中； 忘掉⼀些晦涩难懂的概念和复杂的步骤，从⽣活的视⻆出发，来思考我们的业务模型 DDD并⾮唯⼀ 的建模⽅法！ 从建模到放弃！ 建模：通过表象看本质

负载均衡 控制器 限流降级 控制器 监控 控制器 … 应用模型 控制器 平台应用模型 平台特定业务 用户应用模型 云原生生态 EDAS 1、应用管理策略 2、应用管理机制 3、平台构建策略 4、平台构建机制 PaaS 内核（3，4） PaaS 业务（2） 用户界面（1） EDAS的平台构建策略-OAM应用模型 https://github.com/oam-dev/spec 组件1（工作负载） • 运维特征1 • 运维特征2 • … • 组件2 （工作负载） • 运维特征1 • 运维特征2 • … • … 作用域 能力定义 依赖编排 组件版本 服务绑定 OAM应用模型 apiVersion: core.oam.dev/v1alpha2 kind: ApplicationConfiguration metadata: name: helloworld spec: https://github.com/oam-dev/spec EDAS的平台构建机制-KubeVela https://github.com/oam-dev/kubevela • OAM应用模型运行时 • 内置Workloads & Traits & Scopes • Capability Management KubeVela的核心机制-运行时 func Setup(mgr ctrl

翁 问 题 ， 安 全 多 ⽅方 计 算概念被提出 1986年年姚期智提出 基于混淆电路路的通 ⽤用解决⽅方案 2016年年⾕谷歌提出联 邦学习，解决安卓 ⼿手机终端⽤用户的联 合模型训练 2009年年Gentry⾸首 次提出了了全同态 算法 2013年年Intel推出SGX指 令集扩展，提供软硬件 ⼀一体的可信执⾏行行环境 2016年年发布的《隐私计 算研究范畴及发展趋势》 趣链科技版权所有©2016 – 2021 7 隐私计算技术分类 • 安全多⽅方计算 纯密码学技术实现数据的可 ⽤用不不可⻅见 • 可信执⾏行行环境 基于TEE硬件保障计算环境安全 可信，提供计算模型及数据双维 度安全 • 联邦学习 结合机器器学习和密码学算 法，数据联邦化训练，充 分释放数据价值 02 隐私计算平台 架构 趣链科技版权所有©2016 – 2021 9 平台体系 隐私计算节点 本地数据库 发起⽅方节点 隐私计算节点 本地数据库 参与⽅方节点A 隐私计算节点 本地数据库 参与⽅方节点B 1.创建任务 2.完善⼦子模型 并分发 3. 权限校验 5. 执⾏行行隐私计 算算法 4.模型审核 6.返回隐私计算结果 7.记录上链 趣链科技版权所有©2016 – 2021 11 匿匿踪查询 集合运算 矩阵运算 基础运算 统计分析 ⽐比较排序

毛剑 Why Go？ ž 优雅简洁，少就是多； ž 性能好、系统级语言； ž 静态语言、强类型约束； ž 交叉编译&部署； ž 网络模型&并发同步模型； ž 标准库、内置工具强大支持； ž 开源&社区活跃； 我们做了啥？ ž 业务 — 猎豹移动全球passport体系； — 游戏开放平台； — 游戏支付体系； ž 平台 goconf ž xml，yaml，json，ini？ ž 阶段1：逐idc，逐机器配置修改； ž 阶段2：svn统一提交修改，每个idc一份； ž 阶段3：配置统一管理化（agent模型）； ž 一处修改，统一管理； ž 节点状态查看、回滚配置； ž 数据安全、强一致性； goconf /config/ | service/ | idc1/

Inmem + Redis、令牌桶 流控 • 轻重分离、单元化部署、容错 降级 • 实时上报、缓存汇聚/本地文件、ELK 日志监控告警 • Bind Golang to Lua 运行时类库 并发模型 异步Async 批量Batch 多核并行Parallel Lua协程绑定Go程 IO阻塞自动切换 高可用 负载均衡 寻址 限流 缓存 降级 SLA保证 并行执行单元 消息总线 正职开发核心服务，流程编 排外包 开发外包 • 运营填写表单，活动一键上 线 运营自助 • 策略嵌套、一键复制 流程复用 • 自动Mock、分支覆盖 自动测试 • 流程固化，沉淀运营模型 模型沉淀 基准数据 基准数据 总结及展望 总结及展望 服务网关 快速集成 服务编排 流程沉淀 执行单元 并发并行 技术驱动 业务优化 微服务 敏捷迭代