云原生社区Meetup 第三期·杭州站 使用 Chaos Mesh 来保障云原生系统的健壮性 演讲人：周强 GitHub 地址：https://github.com/zhouqiang-cl PingCAP 工程效率负责人，ChaosMesh 负责人 云原生社区Meetup 第三期·杭州站 The incident in the production environment

工程效能 CI/CD 之流水线引擎的建设实践 912 美团外卖搜索基于 Elasticsearch 的优化实践 933 美团图灵机器学习平台性能起飞的秘密（一） 953 提升资源利用率与保障服务质量，鱼与熊掌不可兼得？ 971 标准化思想及组装式架构在后端 BFF 中的实践 992 外卖广告大规模深度学习模型工程实践 | 美团外卖广告工程实践专题连载 1013 数据库全量 SQL 用户等排序因素强相 关，将整个大搜作为 Environment 将改写词召回向前排序的反馈机制不可借鉴，并 且请求在线排序会导致训练速度慢等一系列工程问题。结合 NMT 实际的表现，考 虑优先保障生成改写的语义相似度，使用大搜召回日志结合 BERT 语义判别模型做 Environment，目标为原词改写词在搜索系统交互中的商户集合的交叉度和自然语义 相似度。最终整体的框架图如下所示： 314 出了反事实匹配（Counterfactual Matching, CFM）方法（如下图 9），用于更加有效 的匹配关系挖掘。 图 9 如上图，CFM 包含三个主要部分，即用于自动因果因子识别的特征选择、用于保障 因果因子完整性的自我探索和用于反事实样本合成的自我调整。与传统的难负样本挖 掘相比，该方法缓解了过拟合现象，有效地捕获了图像和文本之间的细粒度匹配关 联。本文将 CFM 与三种最先进的图像文本匹配模型结合起来进行评估。在两个公开

的应用将会采用云原生技术。与此同时，用户对云原生安全的需求 日渐加强，各大厂商建设重心向高效、灵活、全面的云原生安全转 变。云厂商方面，大力发展云原生安全能力保障云上安全。云原生 的微服务架构、容器化部署等特性对传统安全提出了新的挑战，为 保障云上安全，AWS、微软、阿里云等头部云厂商积极布局云原生 安全体系，完善云原生安全能力。目前，AWS已上线Amazon Inspector、 AWS Security 灵活便捷的算力资源，一定程度上解决了不同类型芯片的共存问题； 另一方面，它可以满足单一通用云平台无法支撑的复杂业务形态， 从而满足不同场景的用户需求。例如，阿里云、腾讯云、京东云等 厂商均在金融领域有落地实践，通过灵活调度云资源，保障多样化 金融业务在云上平滑运行；中国电子云、天翼云、移动云、联通云、 华为云等厂商均在政务领域有落地实践，利用一云多芯技术打造具 有安全性和高效性的政务云平台。同时，一云多芯已逐渐完成从底 等企业已开展 FinOps 理念落地实践，并通过云成本优化技术和工具 赋能用云企业，满足企业多样性场景需求，提升企业云管理与优化 治理成效。 稳定性层面，云上系统稳定性挑战持续存在，系统稳定性保障 云计算白皮书（2023 年） 20 体系不断完善、技术不断创新。云上系统自带“分布式”属性，各 模块之间依赖关系错综复杂，给服务性能分析、故障定位、根因分 析等带来了诸多困难；云上系统故障率随设备数量的增加而呈指数

欧拉开源操作系统（openEuler，简称“欧拉”）从服务器操作系统正式升级为面向数字基础设施的操作系统，支持 服务器、云计算、边缘计算、嵌入式等应用场景，支持多样性计算，致力于提供安全、稳定、易用的操作系统。通过为应 用提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 欧拉开源社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种 处理器架构、覆盖数字设施全场景 面向未来，社区将持续创新、社区共建、繁荣生态，夯实数字基座。 引领内核创新 • 云原生调度增强：针对云场景在线和离线业务混合部署场景，创新 CPU 调度算法，保障在线业务对 CPU 的实时抢占 及抖动抑制，创新业务优先级 OOM 内存回收算法，保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， 提升文件读写性能。 分配时，将会尝试使用 huge page 而不是 base page 来映射内存，改善 TLB 的利用，降低 TLB miss。 • OOM 内存回收算法：在发生 OOM 时，优先对低优先级的进程组进行内存回收，保障在线业务的正常运行。 • 支持 PAC (Pointer Authentication Code）特性：在使用寄存器的值作为指针访问数据或代码之前验证其内容，抵 御 ROP/JOP 攻击。 •

上分别提供了交易履约、运营、 广告、营销等一系列功能，且经常有外投 H5 的场景（如外卖学院、商家社区、营销 活动等）。在这种多形态的业务场景下，如何保障多端体验的一致性，以及如何提升 多端迭代的效率，一直是商家端产研关注的重点。 1.1.1 保障多端体验一致性 由于端能力的不同，导致了业务在 App 和 Web 上存在较大的表现差异，例如：App 上自带动画转场，而在 Web 中的实现成 络算法，对过程进行进一步优化。如果您有其他的看法或建议，也欢迎在文末进行评 论，或者跟我们联系。 作者简介 田贝、少宽、腾飞等，美团平台终端业务研发团队研发工程师。 团队简介 美团平台终端业务研发团队的职责是保障平台业务高效、稳定迭代的同时，持续优化用户体验 和研发效率。团队负责的业务主要包括美团首页等千万级 DAU 高频业务以及分享、账号、音 / 视频等基础业务，支撑和对接外卖、酒店等 30 多个业务方。团队通过动态化能力建设，加快 多个业务方。团队通过动态化能力建设，加快 业务上线速度，帮助产品（PM）快速验证业务选型，做出业务决策；架构 / 服务标准化体系建 设，提升前后端以及平台与业务线的沟通、合作效率；业务监控和体验优化，有效保障核心业 务服务成功率的同时，提升用户使用美团 App 过程中的稳定性和流畅性。团队开发技术栈包括 Android、iOS、React Native、Flexbox 等。 招聘信息 美团平台终

下简称“基金会”）孵化及运营。 openEuler 是一个面向数字基础设施的操作系统，支持服务器、云计算、边缘计算、嵌入式等应用场景，支持多样性计算， 致力于提供安全、稳定、易用的操作系统。通过为应用提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 openEuler 社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种处 理器架构、覆盖数 “Earliest Eligible Virtual Deadline First“。EEVDF 调度器将调度时延作为任务调度的考虑因素之一， 在保障任务运行时间分配公平的同时，优先在没有满足应得运行时间的任务中，选择任务 deadline 最近的任务，从而保障任 务的调度时延， 解决了原有的 CFS 调度器只能公平分配任务运行时间，不能满足任务时延要求的问题。 • cgroup v2 特性：cgroup 时，通过负载算力协同技术能够保障算力供给的及时 性和有效性。负载算力协同技术具有以下特性：高负载场景下，支持轻量级的任务搜索算法，提高空闲 CPU 拉取 runnable 任 务的效率，实现多核间快速负载均衡，最大化 CPU 资源利用率；算力竞争场景下，支持按优先级对业务进行分级管控，有效 避免优先级翻转的问题，实现高优先级的前台任务绝对压制低优级的后台任务，保障关键任务的算力供给。 •

网易数帆轻舟团队基于云原生技术栈协助德邦快递建立了统一 的 DevOps 体系，通过轻量容器平台和 CICD 研发流水线，实现 了业务快速上线，按需扩容。同时通过轻舟微服务平台实现了服 务的统一治理，保障业务的稳定运行。 信息科技部 罗总 德邦快递 大数据技术的应用，对农业企业的“互联网 +”进程有重大意义。 网易数帆和温氏的携手合作，不仅是在技术上辅助温氏股份完成 信息化、数字化建设的商业闭环，同时也是希望为企业日常运营 企业级应用快速开发平台，助力企业提升开发效率降低开发成本。 轻舟低代码 14 生命周期管理 丰富的中间件及统一的管控平台，支持 全生命周期的运维操作。 高可用 支持节点、可用区级故障，灵活调度策 略，有效保障数据安全性与可用性。 故障恢复 支持 Node 级和实例级故障自动恢复， 无需人工值守。 异构网络访问 支 持 异 构 协 议 转 换 为 HTTP 协 议 RESTFUL 接口，具备请求转换能力，有 标体系和优化工具，打造360° 无死角数据资产治理体系。 指标建设流程规范化，消除指 标口径二义性，帮助企业进行 指标规范化管理，提高数据输 出效率。 数据安全保障 内置细粒度权限管控和一体 化权限申请，帮助企业提升数 据风险防御能力，保障数据安 全。 生产测试集群隔离 基于数据沙箱实现测试、开 发、生产环境多集群物理或逻 辑隔离、代码与数据解耦，打 造标准化上线发布管控流程。 PRODUCT

，降级是如 何实现的 • 缺乏UI、没有灵活的参数、策略略配置，没有预案制定管理理能⼒力力 业务保障平台建设之路路 业务保障平台建设之路路 服务管理理 策略略管理理 预案制定 线上演练 • 降级服务统⼀一注册管理理，通过降 级服务质量量数据从整体反映各应 ⽤用的降级点和可⽤用性保障措施 • 降级策略略集中管理理，通过参数 化、配置化、脚本化⽅方式实现线 上策略略的灵活调整 • SDK 熔断 降级 流控 隔离 实时策略略推送 数据采集 应⽤用管理理 策略略管理理 流控管理理 预案管理理 指标管理理 监控告警 数据⼤大盘 脚本开发 ETCD管理理 故障演练 业务保障管理理后台 应⽤用JVM进程 故障动态注⼊入 Attach 故障注⼊入 指标聚合查询 熔断降级计算（Flink） ⽇日志中⼼心 KAFKA 数据采集、计算、存储 指标（HBase） 离、延迟处理理 • 策略略灵活调整，实时监控策略略运⾏行行状态 应⽤用 / 服务 降级代码管理理 • 线上代码开发、测试、发布 • 降级代码统⼀一管理理 • 脚本代码动态编译，对象管理理 业务保障平台应 SDK 线下开发 策略略配置 测试 发布 WEB IDE 线上开发 降级⽅方法使⽤用 Git 降级代码 线下代码管理理 脚本 降级服务如何⾃自动探测恢复 ⽅方法代理理

中的某个配置集的 ID。配置集 ID 是划分配置的维度之⼀。Data ID 通常用于划分系统的配 置集。⼀个系统或者应用可以包含多个配置集，每个配置集都可以被⼀个有意义的名称标识。Data ID 尽量保障全局唯⼀，可以参考 Nacos Spring Cloud 中的命名规则： Nacos 架构 < 24 ${prefix}-${spring.profiles.active}-${file-extension} 存储数据的⼀个组件，因此，为了实现这个目标，就需要在 Nacos 内部实现数据存储。单机下其 实问题不大，简单的内嵌关系型数据库即可；但是集群模式下，就需要考虑如何保障各个节点之间 的数据⼀致性以及数据同步，而要解决这个问题，就不得不引入共识算法，通过算法来保障各个节 点之间的数据的⼀致性。 为什么 Nacos 选择了 Raft 以及 Distro 为什么 Nacos 会在单个集群中同时运行 CP 协议以及 协议以及 AP 协议呢？这其实要从 Nacos 的场景出 发的：Nacos 是⼀个集服务注册发现以及配置管理于⼀体的组件，因此对于集群下，各个节点之间 的数据⼀致性保障问题，需要拆分成两个方面 从服务注册发现来看 服务发现注册中心，在当前微服务体系下，是十分重要的组件，服务之间感知对方服务的当前可正 常提供服务的实例信息，必须从服务发现注册中心进行获取，因此对于服务注册发现中心组件的可 用

简称“欧拉”）从服务器操作系统正式升级为面向数字基础设施的操作系统，支持服务器、 云计算、边缘计算、嵌入式等应用场景，支持多样性计算，致力于提供安全、稳定、易用的操作系统。通过为应用提供确定 性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 欧拉开源社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种 处理器架构、覆盖数字设施全场景 探索，打造全场景协同的面向数字基础 设施的开源操作系统。 引领内核创新 云原生调度增强：针对云场景在线和离线业务混合部署场景，创新 CPU 调度算法保障在线业务对 CPU 的实时抢占及抖动 抑制，创新业务优先级 OOM 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， 提升文件读写性能。 使用 huge page 而不是 base page 来映射内存， 改善 TLB 的利用，降低 TLB miss。 OOM 内存回收算法：在发生 OOM 时，优先对 低优先级的进程组进行内存回收，保障在线业 务的正常运行。 支持 PAC（Pointer Authentication Code）特性： 在使用寄存器的值作为指针访问数据或代码之前验 证其内容，抵御 ROP/JOP 攻击。 支持