Evaluation Sedna Incremental-Learning Service API ③ APP运行，识别难例，上传到云上标注服务中 ① 业务APP开发者：开发时使用边云AI Lib库, 集成边云协同增量学习功能 ② 部署业务APP，启动增量学习 ④ 人工定期介入，对样本进行标注。 ⑤ 系统基于任务知识库，自动增量训练产生新模型 ⑥ 更新边缘模型 边云协同增量学习： 小样本和非同分布下，模型越用越聪明 边云协同终身学习： 云侧知识库记忆，解决新情景下数据异构和小样本 ① AI开发者：提供数据训练产生深模型和浅模型 ② 业务开发者：通过Lib库调用协同模型, 并部署 到边缘 ③ 边侧浅模型推理，判断满足置信度要求则直接返回 ④ 否则送到云上大模型推理 开发者 业务用户: 物业/安保/管理人员 业务用户: 工人/行人 Edge 1 App Shallow Model Hard example 任务失败等异常处理。 实践案例 第四部分 中国电信研究院园区ReID案例 场景描述 在给定视频中的第一帧和目标位置，实现目标检测、跟踪并预测其轨迹。 技术挑战 跨摄像头数据异构：摄像头拍摄的场景复杂，包括光照变化、遮挡严重、追 踪目标数量多等，单点的目标跟踪算法无法得到较好的效果。 业务收益 • 多目标跟踪准确度（MOTA）从70.6%提升到87.0% • 推理时延从21.2ms降低到18.5ms

模块化设计 什么是模块？ 模块化的目标？ 模块也称作组件，是软件系统中可复用的功能逻辑封装单位。 在不同的软件架构层次，模块的概念会有些不太一样。 在开发框架层面，模块是某一类功能逻辑的最小封装单位。 在Golang代码层面中，我们也可以将package称作模块。 软件进行模块化设计的目的， 是为了使得软件功能逻辑尽可能的解耦和复用， 终极目标也是为了保证软件开发维护的效率和质量。 个模块版本 • 我们只需要了解一个框架的内容变化，而不是数十个模块的内容变化 • 升级的时候只需要升级一个框架版本，而不是数十个模块版本的升级 • 减轻心智负担，提高模块可维护性，更容易保证各业务项目的模块版本一致性 改进： 模块化设计-常见问题 1. 模块低耦设计：文件层面的源文件下载与模块之间的逻辑耦合没有直接关系 2. 框架核心精简：功能强大且代码精简，包含测试与示例代码共8MB容量 B容量 3. 编译语言特性：编译型语言和解释型语言的模块管理逻辑不太一样 虽然框架每一个模块都按照低耦合设计，模块可以选择性引入，但在使用时也得全量下载完整框架代码。 源代码 编译 执行 目标代码 输出 打包发布 一次编译 多次执行 编译型语言： 发布文件往往很小 源代码 解释器 输出 每次执行都需要解释 打包发布 解释型语言： 发布文件往往较大 统一框架设计 第三部分

运维统一管理 • 流量控制能力增强 • BFE平台的主要功能 • 接入和转发，流量调度，安全防攻击，数据分析 BFE部署前 BFE部署后 L4LB 业务A 集群 业务B 集群 业务C 集群 BFE 业务A 集群 业务B 集群 业务C 集群 L4LB BFE平台架构 负载均衡器 vs 名字服务 基于负载均衡器 基于名字服务 方案对比 方案 对流量的控制力 资源消耗 对客户端的要求 BFE的转发过程 BFE的路由转发 默认集群 基础转发表 Demo-E 匹配条件 目标集群 www.a.com/a/* Demo-A www.a.com/a/b Demo-B *.a.com/ Demo-C www.c.com ADVANCED_MODE 高级转发表 匹配条件 目标集群 req_host_in(“www.c.com”) && req_cookie_val • 主动健康检查 • 负载均衡系统持续向RS发送探测请求 • 问题：在响应速度和发送压力间存在权衡 • 在分布式场景下问题更加明显 • 被动健康检查 • 利用正常业务请求来发现失败 • 失败后启动主动健康检查 • 问题：业务请求频度低时无法及时发现失败 • 主动和被动的结合 • 汇总两种检查的结果 • 可降低主动检查的频度(如30-60s) 信息透传 • 客户端IP地址透传 • X

发明点：序列截断、偏移算法、帧前进、…… - 思考： - 学习/模仿历史已吃鸡玩家的走位 - 历史玩家的状态，也可作为策略 - 通过特征向量匹配历史玩家 - 策略举例： - 关键帧内容：目标坐标、有资源、有敌人、无开火、无车 - 话术播报：“去小地图标注的地方搜刮，注意避开敌人” 方案探索——关键帧 / 路径推荐 针对具体场景开发 - 优势： - 战略级规划、序列化推荐 - - 由重排层也不是业务层存储缓存 - 破坏推荐系统架构，降低复用性 - 裁剪对局历史 - 最多缓存 10 分钟的对局历史 - 不是根本解决方法 - 微服务单体化 - 腾讯文档团队《回归单体成为潮流？腾讯文档如何实现灵活架构切换》 - 更进一步优化：网络 RPC 改为函数调用，同时保留微服务架构 微服务——上线前压测 贵 微服务——火焰图 - 以实验层火焰图为例，业务逻辑仅占 CPU 10% ---------------- // 客户端业务代码 // ...... client := pb.NewFeedsRerankClientProxy() // 自动通过北极星名字服务寻址并发起 RPC 调用 rsp, err := client.GetFeedList(ctx, req) // ---------------- // 服务端业务代码 type feedsRerankImpl

机硬件结构的显式表达 -对计算机硬件结构的高度抽象，将更有助于 Go 语言适应未来计算机硬 件发展的变化 惊喜8：C 语言的支持 • Go 语言是除了 Objective-C、C++ 这两门以兼容 C 为基础目标 的语言外的所有语言中，对 C 语言支持最友善的一个 -什么语言可以直接嵌入 C 代码？没有，除了 Go -什么语言可以无缝调用 C 函数？没有，除了 Go • 对 C 语言的完美支持，是 Go 数据是原材料（石油），无处不在，深植于业务流 DT时代对数据科学的期待 • 数学软件 • 通用语言 • 大数据 • 深度学习 • 数据科学的未来，一定是通用语言与数学软件的融合 -完成数据科学的基础设施化 为什么有了 Python 还不够？ • 因为，Python 成不了基础设施（Infrastructure） • 数据科学本质上是算力革命，是计算密集型的业务 • 数据科学进一步下沉，终局会是什么？ 进行解释执行 • 数据科学家喜欢单步执行（为什么？这并不是因为懒） -请回忆一下所有数学软件的 UI • 但最终交付仍然需要最大化的执行效率！ -因为：数据科学本质上是算力革命，是计算密集型的业务 04 Go+实现的迭代 Go+当前的架构设计 Go+进行中的重构 • exec.spec 不再是抽象的 SAX 接口，而是某个标准实现的 DOM -github.com/goplus/gox

OTel Collector • Receiver • Processor • Exporter 微服务业务架构图 项目工程layout 遥测数据处理架构 链路追踪 第二部分  无所不在的部署  持续监控  低消耗  应用级透明  延展性 链路追踪设计目标 链路追踪 Dapper 每个请求都生成一个全局唯一的 traceid，端到端透传到上下游所有节点，每一层生成一个 ，根Span没有ParentID。 • 时间戳：每个Span必须展示开始时间。 • 执行时长：每个Span都必须记录工作开始到结束时花费的时长。 Go工程插桩(Instrument) 需要对业务开发者几乎零成本的接入链路追踪，几乎完全依赖于少量通用组件库的改造。 当一个请求在处理跟踪控制路径的过程中，需要把跟踪的上下文存储在ThreadLocal中，在Go中 就是存储在Context中

⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • RTB: Real-time Bidding，实时竞价，允许⼲⼴广告买家根据 活动⺫⽬目标、⺫⽬目标⼈人群以及费⽤用⻔门槛等因素对每⼀一个⼲⼴广告 及每次⼲⼴广告展⽰示的费⽤用进⾏行竞价。 • DSP: Demand Side Platform，需求⽅方平台，允许⼲⼴广告客 户和⼲⼴广 ReservedAll Right Reserved • 内存占⽤用过⼤大时，可以切分为多个实例，减少单个实例 的内存占⽤用，减少BgSave和重启时Load数据的时间 • ⼀一致性要求不是⾮非常⾼高的业务，可以把⾃自动的BgSave 关闭，在凌晨或者空闲时候⼿手动调⽤用BgSave Redis运维 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll

按照其设计，Go打算为多核机器上系统软件的构造提供一种方法。 Go是一种编译型语言，它结合了解释型语言的游刃有余，动态类型语言的开发效率，以及静态类型的安全性。它也打 算成为现代的，支持网络与多核计算的语言。要满足这些目标，需要解决一些语言上的问题：一个富有表达能力但轻 量级的类型系统，并发与垃圾回收机制，严格的依赖规范等等。这些无法通过库或工具解决好，因此Go也就应运而生 了。 在本章中，我们将讲述Go的安装方法，以及如何配置项目信息。 获取slice的长度 cap 获取slice的最大容量 append 向slice里面追加一个或者多个元素，然后返回一个和slice一样类型的slice copy 函数copy从源slice的src中复制元素到目标dst，并且返回复制的元素的个数 注：append函数会改变slice所引用的数组的内容，从而影响到引用同一数组的其它slice。 但当slice中没有剩 余空间（即(cap-len) == 0 nil { fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error()) os.Exit(1) } } 通过把业务处理分离到函数handleClient，我们就可以进一步地实现多并发执行了。看上去是不是很帅，增加go 关键词就实现了服务端的多并发，从这个小例子也可以看出goroutine的强大之处。 控制TCP连接

团队成员，C 语言、Unix 和 Plan 9 的创始人之一，与 Rob Pike 共同开 发了 UTF-8 字符集规范。自 2008 年 1 月起，Ken Thompson 就开始研发一款以 C 语言为目标结果的编 译器来拓展 Go 语言的设计思想。 这是一个由计算机领域 “发明之父” 所组成的黄金团队，他们对系统编程语言，操作系统和并行都有着非 常深刻的见解 图 1.1 Go 语言设计者：Griesemer、Thompson otour 进行 安装。 1.2 语言的主要特性与发展的环境和影响因素 1.2.1 影响 Go 语言发展的早期编程语言 1.2.2 为什么要创造一门编程语言 1.2.3 Go 语言的发展目标 1.2.4 指导设计原则 1.2.5 语言的特性 1.2.6 语言的用途 1.2.7 关于特性缺失 1.2.8 使用 Go 语言编程 1.2.9 小结 1.2.1 影响 Go 语言发展的早期编程语言 衡：快速编译，高效执行，易于开发。 1.2.3 Go 语言的发展目标 Go 语言的主要目标是将静态语言的安全性和高效性与动态语言的易开发性进行有机结合，达到完美平 衡，从而使编程变得更加有乐趣，而不是在艰难抉择中痛苦前行。 因此，Go 语言是一门类型安全和内存安全的编程语言。虽然 Go 语言中仍有指针的存在，但并不允许进 行指针运算。 Go 语言的另一个目标是对于网络通信、并发和并行编程的极佳支持，从而更好地利用大量的分布式和多

团队成员，C 语言、Unix 和 Plan 9 的创始人之一，与 Rob Pike 共同开发了 UTF-8 字符集规范。自 2008 年 1 月起，Ken Thompson 就开始研发一款以 C 语言为目标结果的编译器来拓展 Go 语言的设计思想。 这是一个由计算机领域 “发明之父” 所组成的黄金团队，他们对系统编程语言，操作系统和并行都有着非常深刻的见 解 图 1.1 Go 语言设计者：Griesemer、Thompson 语言在这 3 个条件之间做到了最佳的平衡：快速编译，高效执行，易 于开发。 Go 语言的主要目标是将静态语言的安全性和高效性与动态语言的易开发性进行有机结合，达到完美平衡，从而使编程 变得更加有乐趣，而不是在艰难抉择中痛苦前行。 1.2.2 为什么要创造一门编程语言 1.2.3 Go 语言的发展目标 1.2 语言的主要特性与发展的环境和影响因素 - 19 - 本文档使用 书栈(BookStack 语言是一门类型安全和内存安全的编程语言。虽然 Go 语言中仍有指针的存在，但并不允许进行指针运 算。 Go 语言的另一个目标是对于网络通信、并发和并行编程的极佳支持，从而更好地利用大量的分布式和多核的计算机， 这一点对于谷歌内部的使用来说就非常重要了。设计者通过 goroutine 这种轻量级线程的概念来实现这个目标，然 后通过 channel 来实现各个 goroutine 之间的通信。他们实现了分段栈增长和 goroutine