Kubernetes Operator 实践 —— MySQL 容器化 刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作，在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域，负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL MySQL Operator 设计实践 4. 小结 搜狗商业平台 技术体系广 服务多迭代快 搜狗产品矩阵 商业平台 信息流广告 搜索广告 品牌广告 代理商 广告主 技术体系 CRM 广告平台 物料展现 审核平台 大数据平台 基础架构 Golang C++ JavaScript Java Python 质量要求高 业务响应快 故障恢复快 Cluster1 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 无状态服务 服务调度 有状态服务集群 服务调度 状态保存 集群管理 有状态服务 服务调度 状态保存 带来的新挑战 服务调度 状态存储 集群管理 成员管理 扩缩容 故障迁移 高可用 CoreOS 提出了 operator Deployment StatefulSet

TiDB Operator: Design & Implemention Presented by Yecheng Fu (@cofyc) PingCAP.com Agenda ● TiDB Operator 简介 ● 扩展 Kubernetes 的几种方式 ● TiDB Operator 实现 TiDB Operator 是什么 PingCAP.com Cloud Native Automated Full lifecycle management of TiDB cluster - Deployment - Upgrading - Scaling - Handle network, hardware failures, etc. - Backup/Restore/Data migration - ... TiDB Operator TiDB PingCAP implemented TiDB Operator Kubernetes Pattern - Declarative Model PingCAP.com Operator Pattern - Extending Kubernetes TiDB Operator TiDB PD API Kubernetes API PingCAP.com Operator Pattern - Custom

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 Table Lifecycle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 Suggested implementation: table lifecycle aka table garbage collection . . . . . . . . . . . . . . . . . . . . . . . . 48 Transitioning and . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 Vitess Operator for Kubernetes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 Table Lifecycle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 Suggested implementation: table lifecycle aka table garbage collection . . . . . . . . . . . . . . . . . . . . . . . . 52 Transitioning and . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 Vitess Operator for Kubernetes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 Table Lifecycle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 Suggested implementation: table lifecycle aka table garbage collection . . . . . . . . . . . . . . . . . . . . . . . . 50 Transitioning and . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 5 Vitess Operator for Kubernetes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 OnlineDDL & VTTablet state manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 General operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 Table Lifecycle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 Suggested implementation: table lifecycle aka table garbage collection . . . . . . . . . . . . . . . . . . . . . . . . 60 Transitioning and

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 Vitess Operator for Kubernetes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 Install the Operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Problems with DROP TABLE 70 Vitess table lifecycle 70 Lifecycle subsets and configuration 71 Automated lifecycle 71 User-facing DROP TABLE lifecycle 71 Tablet throttler . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 Vitess Operator for Kubernetes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 Install the Operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . plan represents each operator as a node in the tree. Each operator takes as input zero or more rows, and produces as output zero or more rows. This means that the output from one operator becomes the input

Helm 3 are not yet supported. We are working on fixing this in issue #5411, but also depend on etcd-operator which will require changes to support these newer versions. {{< /warning >}} Prerequisites Before path After installing helm, run helm init. 4. Install etcd-operator: git clone git@github.com:coreos/etcd-operator.git cd etcd-operator example/rbac/create_role.sh kubectl create -f example/deployment pod/etcd -1578351858-0 1/1 Running 0 7m21s pod/etcd-global -mvbkhllcwz 1/1 Running 0 2m21s pod/etcd-operator -866875d5dc-czhmf 1/1 Running 0 4m57s pod/etcd-zone1-x8khdmnbhk 1/1 Running 0 2m21s pod/vtctld

TiUP · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 831 8.1.2 Use TiDB Operator · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 841 8.1 Cluster Using TiUP· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 845 8.2.2 Use TiDB Operator · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 856 8.3 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2022 13.5 TiDB Operator· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·