Kubernetes Operator 实践 —— MySQL 容器化 刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作，在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域，负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL MySQL Operator 设计实践 4. 小结 搜狗商业平台 技术体系广 服务多迭代快 搜狗产品矩阵 商业平台 信息流广告 搜索广告 品牌广告 代理商 广告主 技术体系 CRM 广告平台 物料展现 审核平台 大数据平台 基础架构 Golang C++ JavaScript Java Python 质量要求高 业务响应快 故障恢复快 Cluster1 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 无状态服务 服务调度 有状态服务集群 服务调度 状态保存 集群管理 有状态服务 服务调度 状态保存 带来的新挑战 服务调度 状态存储 集群管理 成员管理 扩缩容 故障迁移 高可用 CoreOS 提出了 operator Deployment StatefulSet

TiDB Operator: Design & Implemention Presented by Yecheng Fu (@cofyc) PingCAP.com Agenda ● TiDB Operator 简介 ● 扩展 Kubernetes 的几种方式 ● TiDB Operator 实现 TiDB Operator 是什么 PingCAP.com Cloud Native Scaling - Handle network, hardware failures, etc. - Backup/Restore/Data migration - ... TiDB Operator TiDB PingCAP.com Kubernetes Pattern - Declarative Model - 用户描述自己的期望，提交给 Kubernetes API Server implemented TiDB Operator Kubernetes Pattern - Declarative Model PingCAP.com Operator Pattern - Extending Kubernetes TiDB Operator TiDB PD API Kubernetes API PingCAP.com Operator Pattern - Custom

. . . . . . . . . . . . . . . . . . . . . . . . . . 87 The advantages of Middleware encryption service . . . . . . . . . . . . . . . . . 93 Solution . . . . . . . . . . . . . . . . . . . . . . . . . work with JPA? . . . . . . . . . . . . . . . 299 7.18 How to speed up the metadata loading when service starts up? . . . . . . . . . . . . . . 300 7.19 How to allow range query with using inline sharding lightweight Java framework that provides extra service at Java JDBC layer. With the client end connecting directly to the database, it provides service in the form of jar and requires no extra deployment

. . . . . . . . . . . . . . . . . . . . . . 273 7.4.3 The advantages of Middleware encryption service . . . . . . . . . . . . . . . . 278 7.4.4 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311 7.7.24 24. [Other] How to speed up the metadata loading when service starts up? . . . 311 7.7.25 25. [Other] The ANTLR plugin generates codes in the same level directory all database access in the form of a sidecar. It provides a mesh layer interacting with the database, we call this Database Mesh. Database Mesh emphasizes how to connect distributed data‐access applications

. . . . . . . . . . . . . . . . . . . . . . 284 7.5.3 The advantages of Middleware encryption service . . . . . . . . . . . . . . . . 288 7.5.4 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354 7.8.27 [Other] How to speed up the metadata loading when service starts up? . . . . . 354 7.8.28 [Other] The ANTLR plugin generates codes in the same level directory all database access in the form of a sidecar. It provides a mesh layer interacting with the database, we call this Database Mesh. Database Mesh emphasizes how to connect distributed data‐access applications

. . . . . . . . . . . . . . . . . . . . . . 295 7.5.3 The advantages of Middleware encryption service . . . . . . . . . . . . . . . . 299 7.5.4 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366 7.8.27 [Other] How to speed up the metadata loading when service starts up? . . . . . 366 7.8.28 [Other] The ANTLR plugin generates codes in the same level directory all database access in the form of a sidecar. It provides a mesh layer interacting with the database, we call this Database Mesh. Database Mesh emphasizes how to connect distributed data‐access applications

Currently // Develop and maintain private OpenStack cloud. Develop and maintain Kubernetes as a Service platform. Kubernetes organization member (sig-docs-ja) CKA / CKAD / CKS Job Title // Executive ワールドワイドにビジネスを展開中 (1600社以上の採用実績) CNCF に「TiKV」及び「Chaos Mesh」を寄与 Open Source Conference 2022 Online/Spring 5 TiKV は CNCF で「Graduated」プロジェクトと認定されています Chaos Mesh は現在「Incubating」ステータスとなっています Open Source Conference tidb-operator Open Source Conference 2022 Online/Spring 36 tidb-operator は Kubernetes 上で動くコントローラー tiup で使用する topology.yaml と同じような内容を Kubernetes の カスタムリソース TidbCluster で定義してあげる tidb-operator は定義された通りに

的形式代理所有对数据库的访问。通过无中心、零 侵入的方案提供与数据库交互的啮合层，即 Database Mesh，又可称数据库网格。 Database Mesh 的关注重点在于如何将分布式的数据访问应用与数据库有机串联起来，它更加关注的是 交互，是将杂乱无章的应用与数据库之间的交互进行有效地梳理。使用 Database Mesh，访问数据库的 应用和数据库终将形成一个巨大的网格体系，应用和数据库只需在网格体系中对号入座即可，它们都是 TOR_ENABLED : “true”Jaeger: host: “localhost” #jaeger 服务的 host port: 5775 #jaeger 服务的端口 props: SERVICE_NAME: “shardingsphere‐agent” JAEGER_SAMPLER_TYPE:“const”JAEGER_SAMPLER_PARAM:“1”JAEGER_REPORTER_LOG_SPANS: LUSH_INTERVAL: “1”Zipkin: host: “localhost”#zipkin 服务的 host port: 9411 #zipkin 服务的 prot props: SERVICE_NAME: “shardingsphere‐agent”URL_VERSION: “/api/v2/spans”#zipkin 服务的抓取 span 的 uri Logging: props:

的形式代理所有对数据库的访问。通过无中心、零 侵入的方案提供与数据库交互的啮合层，即 Database Mesh，又可称数据库网格。 Database Mesh 的关注重点在于如何将分布式的数据访问应用与数据库有机串联起来，它更加关注的是 交互，是将杂乱无章的应用与数据库之间的交互进行有效地梳理。使用 Database Mesh，访问数据库的 应用和数据库终将形成一个巨大的网格体系，应用和数据库只需在网格体系中对号入座即可，它们都是 ShardingSphere document, v5.0.0 3.4 可插拔架构 3.4.1 背景 在 Apache ShardingSphere 中，很多功能实现类的加载方式是通过 SPI（Service Provider Interface）注 入的方式完成的。SPI 是一种为了被第三方实现或扩展的 API，它可以用于实现框架扩展或组件替换。 3.4.2 挑战 可插拔架构对程序架构设计的 agent.yaml 中填写好配置即可，例如将 Traces 数据导出到 Zipkin 。 OpenTelemetry: props: otel.resource.attributes: "service.name=shardingsphere-agent" otel.traces.exporter: "zipkin" otel.exporter.zipkin.endpoint: "http://127

的形式代理所有对数据库的访问。通过无中心、零 侵入的方案提供与数据库交互的啮合层，即 Database Mesh，又可称数据库网格。 Database Mesh 的关注重点在于如何将分布式的数据访问应用与数据库有机串联起来，它更加关注的是 交互，是将杂乱无章的应用与数据库之间的交互进行有效地梳理。使用 Database Mesh，访问数据库的 应用和数据库终将形成一个巨大的网格体系，应用和数据库只需在网格体系中对号入座即可，它们都是 ShardingSphere‐Proxy，ShardingSphere‐JDBC 暂不提供。 3.4 可插拔架构 3.4.1 背景 在 Apache ShardingSphere 中，很多功能实现类的加载方式是通过 SPI（Service Provider Interface）注 入的方式完成的。SPI 是一种为了被第三方实现或扩展的 API，它可以用于实现框架扩展或组件替换。 3.4.2 挑战 可插拔架构对程序架构设计的 props: JVM_INFORMATION_COLLECTOR_ENABLED : "true" Jaeger: host: "localhost" port: 5775 props: SERVICE_NAME: "shardingsphere-agent" JAEGER_SAMPLER_TYPE: "const" 4.10. 可观察性 62 Apache ShardingSphere