• 流量控制能力增强 • BFE平台的主要功能 • 接入和转发，流量调度，安全防攻击，数据分析 BFE部署前 BFE部署后 L4LB 业务A 集群 业务B 集群 业务C 集群 BFE 业务A 集群 业务B 集群 业务C 集群 L4LB BFE平台架构 负载均衡器 vs 名字服务 基于负载均衡器 基于名字服务 方案对比 方案 对流量的控制力 资源消耗 对客户端的要求 七层负载均衡 BFE主要设计思想 • 转发模型优化 • 支持多租户 • 引入条件表达式，减少正则表达式使用 • 降低动态配置加载的难度 • 区分“常规配置”和“动态配置” • 增强服务状态监控能力 • 向外展现大量内部的执行状态 • 将大存储功能转移到外部 • 加快启动速度 正则表达式 方案的问题 • 配置难以维护：正则表达式存在严重的可读 性问题 • 性能存在隐患：有可能因编写不当引起严重 BFE转发的主要概念 BFE的转发过程 BFE的路由转发 默认集群 基础转发表 Demo-E 匹配条件 目标集群 www.a.com/a/* Demo-A www.a.com/a/b Demo-B *.a.com/ Demo-C www.c.com ADVANCED_MODE 高级转发表 匹配条件 目标集群 req_host_in(“www.c.com”) && req

实时⻓长连接数亿量级，⽇日独数⼗十亿量级 1分钟内亿量级⼲⼴广播,⽇日下发峰值百亿量级 400台物理机，9个独⽴立集群，国内外近10个IDC 运维管理的go语⾔言编写的常驻service服务实例接近3000个。 业务场景多样： ⽀支持聊天场景业务，稳定⽀支持多款聊天业务app 单通道多app复⽤用 上⾏行通道，回调⽀支持 对智能硬件产品，提供定制化消息推送与转发服务 性能满⾜足需要： 接入客户端 Android IOS Linux Web Windows Flash Iframe for ever 消息系统简要架构 单实例，单端⼝口，多协议复⽤用 全双⼯工，单客户端，多app复⽤用服务单通道 适⽤用于复杂环境下的⺴⽹网络的接⼊入策略 协议完备、简单、数据安全、可扩展、省流量 接⼊入层 ���� DES+RSA/ ECC+AES/ 压测平台 拆分多实例 l 缓解GC压⼒力（gc时间减少40%） 按业务类型聚类，⼲⼴广播（io密集），多播，点对点（内部通信密集），聊天室（cpu密集） 分层服务，按层次扩展改为分集群（Set/Cell思想），各⾃自独⽴立，⼜又具备全被全部功能⼦子集群 l 按业务拆分（助⼿手，卫⼠士，浏览器） l 按功能拆分（push，聊天，嵌⼊入式产品）

业务系统 C 业务 数据 业务系统 A 业务 数据 业务系统 B 资源管理在统⼀平台 应⽤运⾏在统⼀平台 构建标准的交付环境 交付产物标准化 - 业务配置 - 资源配置 - 依赖配置 - 流⽔线配置 配置即代码 : 实现⼤规模交付的部署过程可被验证 PaaS 平台：资源管理，容器编排，基础监控和告警 APM 监控：应⽤诊断，链路追踪，⽇志分析 微服务治理组件 可靠的业务 JobFlow 批计算 流计算 ⽆状态服务 DaemonSet Workloads 多集群调度 混合云调度 跨云迁移 多环境调度 业务数据统⼀调度 集群核⼼服务 Helm 镜像服务 Add-on filebeat / telegraf 监控 ⽇志 HPA Operator 注册中⼼ 配置中⼼ API ⽹关 微服务拓扑 全链路追踪 错误分析 ⽇志分析 主动监控 浏览器监控 浏览器监控 APP 监控 慢SQL JVM 诊断 ⾃定义告警 APM 微服务管理 资源管理 标签管理 系统监控 集群管理 服务⽬录 埋点 数据库 ⽇志 画像 标签 报表 推荐 … 代码管理 持续集成 编排部署 应⽤运维 测试管理 协同管理 数据源管理 数据集成 数据开发 数据资产 数据服务 数据应⽤ 资源统计 运维报告 审计⽇志 K8S 管理 数据监控

Redis集群 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • Server端：等待Redis官⽅方（当时还没有的） • Proxy中间代理：twemproxy，维护⽅方便，有⼀一定的性能消 耗 • Client端：配置、维护⿇麻烦，⼏几乎⽆无性能损耗 Redis集群 专业DSP解决⽅方案 Redis集群 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 500个Redis实例 • 占⽤用600G内存 • 峰值QPS在50万 Redis集群 专业DSP解决⽅方案 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 直接配置主从同步 • 机房间⺴⽹网络差，⾮非常差（北京<->⾹香港，北京<->北美） • 会触发Redis全量同步（超过repl-backlog-size时） Redis跨机房同步 需要替代⽅方案 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司

还有一些你看不到的东西：调度 调度的目标 ● CPU ● IO ● 内存 ● 磁盘使用量 ● 网络流量 ● Location Awareness 调度的方法 ● PD 周期性根据 Cache 中的集群信息，生成调度计划（Operator） ● Operator 是作用于一个 Region 的一系列操作 ○ Transfer Leader：将 raft group 的 leader 转让给某个 ○ 生成 Operator 使之均衡 调度的难点 ● 难以评判什么样的数据分布情况是最优解 ○ 机器配置不同 ○ CPU、内存、磁盘、网络多种因素相互制约 ○ 用户场景多变 ● 调度所依赖的集群状态不一定是最新的 ● 调度本身也会带来系统负担 多副本管理策略 ● 使用多副本保证数据安全（Data safety） ● 维持数据副本数 ○ 副本数不足：AddPeer ○ 副本数过多：RemovePeer

{1..$1}; do ${@:2} & done; wait}; fs' ，⽤来并⾏执⾏给定命令指定的次数


• 可以看到系统总共只处理了⼤概
500qps
的请求，其中
400qps
多⼀点是成功的，近
100qps
是超 时的（返回了
503
状态码）
• 随着请求的堆积，很快就会⼤量请求都超时了，并且p99，甚⾄p90都已经超过
1s
了
• 这⾥进⼀步解释⼀下，超时的 绝⽐例越⾼，否则
CPU
依然有可 能越来越靠近
100%。
反馈因⼦计算公式如下： 反馈因⼦的效果类似于神经⽹络中的
ReLU
激活函数。其中
0.1（兜底的经验值）是⽤来保证不管负载 多⾼，⾄少放过估算出来的系统容量的
10%
的请求，否则整个服务就完全不可⽤了。CPU
负载反馈因 ⼦随着
CPU
负载的变化如下图：
对⽐有⽆
CPU
反馈因⼦的情况：
• 加了反馈因⼦后能 1
的容忍幅度）时，启动增加
pod
来应对 系统容量不⾜，但这需要分钟级扩容，且当系统资源不够或者
pod
数达到最⼤设置时不⽣效。此时， 过载保护可以在
Kubernetes
未来得及扩容或者集群容量不⾜时保护我们的系统不被打到卡死。
但这⾥有个点需要注意，go-zero
默认设置的过载保护触发的
CPU
阈值是
90%，Kubernetes
HPA
⾃ 动扩容默认
CPU
阈值是
8

毛剑 Why Go？ ž 优雅简洁，少就是多； ž 性能好、系统级语言； ž 静态语言、强类型约束； ž 交叉编译&部署； ž 网络模型&并发同步模型； ž 标准库、内置工具强大支持； ž 开源&社区活跃； 我们做了啥？ ž 业务 — 猎豹移动全球passport体系； — 游戏开放平台； — 游戏支付体系； ž 平台 — 基于gopush的推送平台&goim； — 基于redis sentinel的smart client； — rpc框架； — gosnowflake发号器集群； — goconf统一配置管理； 接入层优化 ž DNS在移动网络下不适用； — 避免劫持、失效，dns提供商故障； ž 协议压缩：pb+gzip； — 节约流量； ž 协议设计：职责单一不适用； 扩展； goconf ž xml，yaml，json，ini？ ž 阶段1：逐idc，逐机器配置修改； ž 阶段2：svn统一提交修改，每个idc一份； ž 阶段3：配置统一管理化（agent模型）； ž 一处修改，统一管理； ž 节点状态查看、回滚配置； ž 数据安全、强一致性； goconf /config/ | service/

return dc.rolloutRolling(d, rsList) } ... } • 使用声明式K8s资源 作为期望终态 • 循环控制器 • Label是一等公民 • 事件触发闭环反馈 • 多控制器组合 基于控制论原理 EDAS-阿里云云原生PaaS平台 ApiServer Kube Controller manager Cloud controller manager KEDA dev/v1.Service definitionRef: name: scaledobjects.keda.k8s.io 能力定义 • 工作负载 • 运维特征 • 作用域 组件 应用配置 = 组件+运维特征+作用域 简单开放 标准可扩展 可组合 可发现 https://github.com/oam-dev/spec EDAS的平台构建机制-KubeVela https://github 控制器设计（做什么） • 基于“可重构”状态机，开放的世界 • 不要修改资源声明 • 事件驱动+主动轮询 • 重试 + 幂等 • 自愈 • e2e测试 • Ginkgo BDD • Kind本地K8s集群 新的复杂度-最终一致性 status: … phase: succeed … • 过期的状态 • 版本冲突 • 业务及时性 status: currentBatch: 1

com/kubeedge/sedna 开源分布式协同AI框架KubeEdge-Sedna 1. GlobalCoordinator ⚫ 统一边云协同AI任务管理 ⚫ 跨边云协同管理与协同 ⚫ 中心配置管理 2. LocalController ⚫ 特性本地流程控制 ⚫ 本地通用管理: 模型, 数据集等 3. Worker ⚫ 执行训练或推理任务, 训练/推理程序, 基于现有AI框 架开 行人识别 worker Sedna Lib Object Detection Sedna Lib ① 部署在不同边缘节点的多个摄像头，可以 提供不同视角、不同时间、不同光照的多 维度信息，以提升整体识别准确度。 ② 运行在不同边缘节点的AI算法可以灵活资源 卸载，包括卸载到其他边缘或云端，以提升 整体推理效率。 多边协同推理： 联合多边缘信息提升精度，卸载任务到多边缘提升资源利用率 language, such as Go. “Kubernetes Operator 是一种特定于应用的控制器，可扩展 Kubernetes API 的功能，来代表 Kubernetes 用 户创建、配置和管理复杂应用的实例。” https://www.redhat.com/zh/topics/containers/what-is-a-kubernetes-operator https://developers

- 2 - 本文档使用 看云 构建 下载这些代码到你的电脑上运行，从而加深对概念的理解。 本书会尽可能地将前后章节的内容联系起来，当然这也同时要求你通过学习不同的知识来对一个问题提出 尽可能多的解决方案。记住，学习一门新语言的最佳方式就是实践，运行它的代码，修改并尝试更多的方 案。因此，你绝对不可以忽略书中的 130 个代码练习，这将对你学习好 Go 语言有很大的帮助。比如，我 们就为斐波那契算法提供了 语言是一门类型安全和内存安全的编程语言。虽然 Go 语言中仍有指针的存在，但并不允许进 行指针运算。 Go 语言的另一个目标是对于网络通信、并发和并行编程的极佳支持，从而更好地利用大量的分布式和多 核的计算机，这一点对于谷歌内部的使用来说就非常重要了。设计者通过 goroutine 这种轻量级线程的概 念来实现这个目标，然后通过 channel 来实现各个 goroutine 之间的通信。他们实现了分段栈增长和 的编程语言，这不仅体现在它可以处理使用 UTF-8 编码的字符串，就 连它的源码文件格式都是使用的 UTF-8 编码。Go 语言做到了真正的国际化！ 1.2.6 语言的用途 Go 语言被设计成一门应用于搭载 Web 服务器，存储集群或类似用途的巨型中央服务器的系统编程语言。 对于高性能分布式系统领域而言，Go 语言无疑比大多数其它语言有着更高的开发效率。它提供了海量并 行的支持，这对于游戏服务端的开发而言是再好不过了。 Go