Operator Pattern：用 Go 扩展 K8s 的最佳实践 吴学强 ApeCloud KubeBlocks Maintainer & 研发总监 目 录 认识我们 00 什么是 Operator 01 Operator 基础模型 02 Operator 最佳实践 03 我们是谁 云猿生（ApeCloud）是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks （ThirdPartyResource），首次尝 试解决 K8s API 的扩展性问题， 但存在诸多问题，Alpha 阶段既 夭折 CoreOS 提出 Operator 概念，用 于管理和运行基于应用程序领 域的复杂有状态应用程序。 给出了用 TPR + controller- runtime 早期版本的 sample： etcd operator K8s 1.9 版本发布，CRD进入 beta （create、update、delete）完一个对象后马上去 读（get、list）最新版本，等controller-runtime 触发下一次 reconcile 遵循惯例开发模式 即 controller 用读 cache，UT 中不用 cache 附加题：Stale Cache 情况下 情况下 Operator 正确性如何保证 Cache\Planned Action Create Update Delete

Nacos 账号权限体系 103 Nacos 认证机制 110 Nacos 前端设计 117 Nacos 前端设计 117 Nacos 性能报告 122 Nacos Naming 大规模测试报告 122 Nacos ⽣态 130 Nacos Spring 生态 130 Nacos Docker & Kubernetes 生态 137 Nacos 服务网格生态 148 Nacos 以及动态配置数据的推送。这里面最简单的需求就是将⼀个配置准时的推送到不同的节点。即便如 此简单需求，随着业务规模变大也会变的非常复杂。如何能将数据准确的在 3 秒钟之内推送到每⼀ 个计算节点，这是当时提出的⼀个要求，围绕这个要求，系统要做大量的研发和改造，类似的这种 关键的技术挑战点还非常非常的多。本书就是将面对复杂的分布式计算场景，海量并发的业务场景， 对软负载⼀个系统的进行阐述，通过 Nacos 开源分享阿里软负载最佳实践，希望能够帮助到各位开 相比当时比较流行的竞品，我们确实开源晚了⼀些，但是相比于整个行业其实不晚，因为当时云原 生和微服务整个普及度还很低；还有我主管当时还强调两个点，第⼀个点是我们当时是⼀个闭源的 ⼀个软件，经常有业务方跳出来说你看 Eureka 多好，你们哪里哪里不行，如果我们不开源去打⼀ 打，怎么更好的证明我们更好，还有⼀个点是当时我们有商业化产品的，虽然我们知道我们更好， 但是奈何用户选择的是 Eure

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 83 3.1.1 部署本地测试集群 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 603 6 5.7 测试集群性能· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 606 5.7.1 如何用 Sysbench 测试 TiDB · · · · · · · · · · · 606 5.7.2 如何对 TiDB 进行 TPC-C 测试 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 610 5.7.3 如何对 TiDB 进行 CH-benCHmark 测试· · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 79 3.1.1 部署本地测试集群 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 598 5.6 测试集群性能· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 601 5.6.1 如何用 Sysbench 测试 TiDB · · · · · · · · · · · 601 5.6.2 如何对 TiDB 进行 TPC-C 测试 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 605 5.6.3 如何对 TiDB 进行 CH-benCHmark 测试· · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 63 3.1.1 部署本地测试集群 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 540 5.6 测试集群性能· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 543 5.6.1 如何用 Sysbench 测试 TiDB · · · · · · · · · · · 543 5.6.2 如何对 TiDB 进行 TPC-C 测试 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 547 5.6.3 如何对 TiDB 进行 CH-benCHmark 测试· · · · · · · · · · · · · · · · ·

RC1 1.1 Beta 1.1 Alpha 1.0 Pre-GA RC4 RC3 RC2 RC1 TiDB 路线图 性能测试 TiDB Sysbench 性能测试报告 - v1.0.0 TiDB TPC-H 50G 性能测试报告 - v2.0 TiDB Sysbench 性能对比测试报告 - v2.0.0 对比 v1.0.0 - 5 - 本文档使用 书栈(BookStack.CN) 构建 致谢 当前文档 OLTP 场景和 80% 的 OLAP 场景，更复杂的 OLAP 分析可以通过 TiSpark 项目 来完成。 TiDB 对业务没有任何侵入性，能优雅的替换传统的数据库中间件、数据库分库分表等 Sharding 方案。同时它也 让开发运维人员不用关注数据库 Scale 的细节问题，专注于业务开发，极大的提升研发的生产力。 三篇文章了解 TiDB 技术内幕： 说存储 说计算 谈调度 TiDB 简介 TiDB 负责处理 SQL 请求，随着业务的增长，可以简单的添加 TiDB Server 节点，提高整体的处理能力，提供更高的吞吐。TiKV 负责存储数据，随着数据量的增长，可以部署更多的 TiKV Server 节点解决数据 Scale 的问题。PD 会在 TiKV 节点之间以 Region 为单位做调度，将部分数据迁移到新加的节点上。所以在业务的早期，可以只部署少量的服务实 例（推荐至少部署 3 个 TiKV，

地位。 开源生态的繁荣与协作 随着开源模型影响力的提高，中国开源社区的活跃度也明显提升。无论是企业、研究机构还 是个体开发者都更加积极地参与到开源工作中。 以阿里巴巴的通义千问 Qwen 为例，据不完全统计，截止 2024 年 9 月，全球已有近 8 万基于 Qwen 的衍生模型，超越了 Meta 的 Llama。该系列模型已被集成到 Hugging Face Transformers、Hugging 无法持续更新的知识库，可以通过 RAG（Retrieval Augmented Generation，检索增强 生成）来解决。 RAG 的出现，让各界越来越深刻地认识到，大模型没必要存储那么多知识，只需要如何使 用搜索引擎这个外部工具即可。大模型可以在搜索结果上做进一步的信息筛选和优化，而搜索引 擎弥补了大模型的知识缺陷，实现了 1+1>=2 的效果。 RAG 可以被理解为智能体的最简单形式。未来的智能体可以实现多种工具的混合使用，甚 为智能体核心，决定了智能体 效果下限，人人训练基座的可能性越来越低，“基座服务化”很可能是最合理的商业模式。 甚至，在错误不敏感的应用领域，出现一个开源、无商业限制的基座的可能性也很高。小应 用开发商很可能很容易获得一个低成本 serving 的“量化小基座”。 “7B”是一个 magic number！无论是 RAG 里的向量表征模型，还是文生图、文本识别 （OCR）、语音合成（TTS）、人脸识别等等垂直领域，一个

质量——向用户交付稳定可靠的软件；  监控——直观地展示Curve运行状态；  运维——保障Curve始终稳定高效运行。 质量 ✓ 质量管理体系（设计、开发、review、CI） ✓ 测试方法论（单元测试、集成测试、系统测试） 监控 ✓ 监控架构 ✓ 指标采集、后端处理、可视化展示 运维 ✓ 运维特性 （易部署、易升级、自治） ✓ 运维工具（部署工具、管理工具） 4/33背景 01 02 软件质量的定义是：软件与明确地和隐含地定义的需求相一致的程度。 为了确保最终交付的软件满足需求，必须将质量控制贯穿于设计、开发到测试的整个流程中。 设计  设计流程  文档规范 开发  编码规范与提交流程  版本管理 测试  测试方法论  CI与异常测试 6/33设计流程 Curve团队采用敏捷开发模式，负责人在制定迭代计划时，确认哪些任务需要设计 文档：  小需 Dailybuild测试 提交issue 开发设计 提交PR review +1 CI测试（编译、静态检 查、单元测试、集成测 试、覆盖率80%卡点） 合入master 分支 代码提交流程 异常自动化 测试 混沌测试 （每周一次） CI测试（编译、静态检 查、单元测试、集成测 试、覆盖率80%卡点） 邮件通知 Curve所有代码均在github托管。新 代码需要通过CI测试和code

rkLoad 间授权等)、DevSecOps（安全左右移等等，比如代码或者镜像扫描）、 RASP应用安全、数据安全、态势感知与风险隔离 由于云原生托管的应用是碎片化的，环境变化也是碎片化的，而且其业务类型越来越多，比如已经延展到边 缘计算盒子，此时攻击面被放大，在云原生环境下安全是一个核心价值，需要立体纵深式的安全保障。 由于云原生DevOps环境追求效率以及运行态的动态治理能力，导致传统安全实施方法、角色、流程、技术 SAST(静态应用程序 安全测试) 白盒测试，通过污点跟踪对源代码或者二进制程序（也包括Docker镜像等） 进行静态扫描，尽可能前置，在IDE编写代码或者提交代码时进行，将极 大优化整体效率和成本 可以无视环境随时可以进行，覆盖漏洞类型全面， 可以精确定位到代码段 路径爆炸问题，并一定与实际相符合，误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试，通过模拟业务流量发起请求，进行模糊测试，比如故障注入 或者混沌测试 语言无关性，很高的精确度。 难以覆盖复杂的交互场景，测试过程对业务造成 较大的干扰，会产生大量的报错和脏数据，所以 建议在业务低峰时进行。 IAST(交互式应用程序 安全测试) 结合了上面两种的优点并克服其缺点，将SAST和DAST相结合，通过插桩 等手段在运行时进行污点跟踪，进而精准的发现问题。是DevSecOps的一 种推荐方式。 如果在被动模式下运行IAST，那么开发测试过程 中