TiDB Operator: Design & Implemention Presented by Yecheng Fu (@cofyc) PingCAP.com Agenda ● TiDB Operator 简介 ● 扩展 Kubernetes 的几种方式 ● TiDB Operator 实现 TiDB Operator 是什么 PingCAP.com Cloud Native lifecycle management of TiDB cluster - Deployment - Upgrading - Scaling - Handle network, hardware failures, etc. - Backup/Restore/Data migration - ... TiDB Operator TiDB PingCAP.com Kubernetes to operate a TiDB cluster... Kubernetes Pattern - Declarative Model PingCAP.com - Kubernetes has pod, deployment, statefulset, etc. - But it does not know how to operate TiDB cluster… - Until we implemented

Operator Pattern：用 Go 扩展 K8s 的最佳实践 吴学强 ApeCloud KubeBlocks Maintainer & 研发总监 目 录 认识我们 00 什么是 Operator 01 Operator 基础模型 02 Operator 最佳实践 03 我们是谁 云猿生（ApeCloud）是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks 从被收购到卷王（si） 回到初（qi）心（dian） KubeBlocks Maintainer & 研发总监 free6om 什么是 Operator 第一部分 Operator 前世今生 TPR Operator CRD Operator Pattern 2015.11 2016.12 2017.12 Now K8s 1.1 版本中正式推出 TPR （ThirdPartyResource），首次尝 K8s API 的扩展性问题， 但存在诸多问题，Alpha 阶段既 夭折 CoreOS 提出 Operator 概念，用 于管理和运行基于应用程序领 域的复杂有状态应用程序。 给出了用 TPR + controller- runtime 早期版本的 sample： etcd operator K8s 1.9 版本发布，CRD进入 beta 阶段并正式取代 TPR； controller-runtime

INGRESS OPERATOR 2.3. OPENSHIFT CONTAINER PLATFORM 网络的常见术语表 第 第 3 章 章 访问 访问主机 主机 3.1. 访问安装程序置备的基础架构集群中 AMAZON WEB SERVICES 上的主机 第 第 4 章 章 网 网络 络 OPERATOR 概述 概述 4.1. CLUSTER NETWORK OPERATOR 4.2. DNS DNS OPERATOR 4.3. INGRESS OPERATOR 4.4. 外部 DNS OPERATOR 4.5. INGRESS NODE FIREWALL OPERATOR 4.6. NETWORK OBSERVABILITY OPERATOR 第 第 5 章 章 OPENSHIFT CONTAINER PLATFORM 中的 中的 CLUSTER NETWORK OPERATOR 5 5.1. CLUSTER NETWORK OPERATOR 5.2. 查看集群网络配置 5.3. 查看 CLUSTER NETWORK OPERATOR 状态 5.4. 查看 CLUSTER NETWORK OPERATOR 日志 5.5. CLUSTER NETWORK OPERATOR 配置 5.6. 其他资源 第 第 6 章 章 OPENSHIFT CONTAINER PLATFORM 中的

INGRESS OPERATOR 1.3. OPENSHIFT CONTAINER PLATFORM 网络的常见术语表 第 第 2 章 章 访问 访问主机 主机 2.1. 访问安装程序置备的基础架构集群中 AMAZON WEB SERVICES 上的主机 第 第 3 章 章 网 网络 络 OPERATOR 概述 概述 3.1. CLUSTER NETWORK OPERATOR 3.2. DNS DNS OPERATOR 3.3. INGRESS OPERATOR 第 第 4 章 章 OPENSHIFT CONTAINER PLATFORM 中的 中的 CLUSTER NETWORK OPERATOR 4.1. CLUSTER NETWORK OPERATOR 4.2. 查看集群网络配置 4.3. 查看 CLUSTER NETWORK OPERATOR 状态 4.4. 查看 CLUSTER CLUSTER NETWORK OPERATOR 日志 4.5. CLUSTER NETWORK OPERATOR 配置 4.6. 其他资源 第 第 5 章 章 OPENSHIFT CONTAINER PLATFORM 中的 中的 DNS OPERATOR 5.1. DNS OPERATOR 5.2. 更改 DNS OPERATOR MANAGEMENTSTATE 5.3. 控制 DNS POD 放置

INGRESS OPERATOR 1.2.1. 路由和 Ingress 的比较 第 第 2 章 章 访问 访问主机 主机 2.1. 访问安装程序置备的基础架构集群中 AMAZON WEB SERVICES 上的主机 第 第 3 章 章 网 网络 络 OPERATOR 概述 概述 3.1. CLUSTER NETWORK OPERATOR 3.2. DNS OPERATOR 3.3. INGRESS INGRESS OPERATOR 第 第 4 章 章 OPENSHIFT CONTAINER PLATFORM 中的 中的 CLUSTER NETWORK OPERATOR 4.1. CLUSTER NETWORK OPERATOR 4.2. 查看集群网络配置 4.3. 查看 CLUSTER NETWORK OPERATOR 状态 4.4. 查看 CLUSTER NETWORK OPERATOR 日志 4.5. CLUSTER NETWORK OPERATOR 配置 4.5.1. Cluster Network Operator 配置对象 defaultNetwork 对象配置 配置 OpenShift SDN CNI 集群网络供应商 配置 OVN-Kubernetes CNI 集群网络供应商 kubeProxyConfig 对象配置 4.5.2. Cluster Network Operator

MACHINEHEALTHCHECK 资源示例 3.5. 创建 MACHINEHEALTHCHECK 资源 第 第 4 章 章 使用 使用 NODE TUNING OPERATOR 4.1. 关于 NODE TUNING OPERATOR 4.2. 访问 NODE TUNING OPERATOR 示例规格 4.3. 在集群中设置默认配置集 4.4. 验证是否应用了 TUNED 配置集 4.5. 自定义调整规格 4.6. 自定义调整示例 POD 与拓扑管理器策略的交互 第 第 6 章 章 调 调度 度 NUMA 感知工作 感知工作负载 负载 6.1. 关于 NUMA 感知调度 6.2. 安装 NUMA RESOURCES OPERATOR 6.3. 创建 NUMARESOURCESOPERATOR 自定义资源 6.4. 部署 NUMA 感知辅助 POD 调度程序 6.5. 使用 NUMA 感知调度程序调度工作负载 6.6. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 第 第 7 章 章 扩 扩展 展 CLUSTER MONITORING OPERATOR 7.1. PROMETHEUS 数据库存储要求 7.2. 配置集群监控 第 第 8 章 章 根据 根据对 对象限制 象限制规 规划您的 划您的环 环境 境 8.1. OPENSHIFT

手动将计算机器添加到 VSPHERE 11.4. 在裸机中添加计算机器 第 第 12 章 章 使用 使用 CLUSTER API 管理机器 管理机器 优点 限制 12.1. 集群 API 架构 12.2. YAML 文件示例 12.3. 创建 CLUSTER API 计算机器集 12.4. 对使用 CLUSTER API 的集群进行故障排除 第 第 13 章 章 管理 管理 CONTROL PLANE 服务器处理对象的整个生命周期。 Machine API Operator 置备以下资源： MachineSet 机器 机器 ClusterAutoscaler MachineAutoscaler MachineHealthCheck 1.1. MACHINE API 概述 Machine API 将基于上游 Cluster API 项目的主要资源与自定义 OpenShift Container get infrastructure cluster -o jsonpath='{.status.platform}' apiVersion: machine.openshift.io/v1beta1 kind: MachineSet metadata: labels: machine.openshift.io/cluster-api-cluster:

如何使用 CLUSTER SAMPLES OPERATOR 1.13. 关于模板 1.14. 如何使用 RUBY ON RAILS 第 第 2 章 章 配置 配置 CLUSTER SAMPLES OPERATOR 2.1. 了解 CLUSTER SAMPLES OPERATOR 2.2. CLUSTER SAMPLES OPERATOR 配置参数 2.3. 访问 CLUSTER SAMPLES SAMPLES OPERATOR 配置 2.4. 从 CLUSTER SAMPLES OPERATOR 中删除已弃用的镜像流标签 第 第 3 章 章 使用 使用带 带有 有备 备用 用 REGISTRY 的 的 CLUSTER SAMPLES OPERATOR 3.1. 关于镜像 REGISTRY 3.2. 配置允许对容器镜像进行镜像的凭证 3.3. 镜像 OPENSHIFT CONTAINER PLATFORM PLATFORM 镜像存储库 3.4. 使用带有备用或镜像 REGISTRY 的 CLUSTER SAMPLES OPERATOR 镜像流 第 第 4 章 章 创 创建 建镜 镜像 像 4.1. 学习容器最佳实践 4.2. 包括镜像中的元数据 4.3. 使用 SOURCE-TO-IMAGE 从源代码创建镜像 4.4. 关于测试 SOURCE-TO-IMAGE 镜像 第 第 5 章 章 管理 管理镜

的故障排除 13.1. 检查为什么用户定义的指标不可用 13.2. 确定为什么 PROMETHEUS 消耗大量磁盘空间 第 第 14 章 章 CLUSTER MONITORING OPERATOR 的 的 CONFIGMAP 参考 参考 14.1. CLUSTER MONITORING 配置参考 14.2. ADDITIONALALERTMANAGERCONFIG 14.3. ALERTMANAGERMAINCONFIG 描述 描述 Cluster Monitoring Operator Cluster Monitoring Operator (CMO) 是监控堆栈的核 心组件。它部署、管理和自动更新 Prometheus 和 Alertmanager 实例、Thanos Querier、Teleme Client 和 metrics 目标。CMO 由 Cluster Version Operator (CVO) 部署。 部署。 Prometheus Operator openshift-monitoring 项目中的 Prometheus Operator (PO) 负责创建、配置和管理平台 Prometheus 实例和 Alertmanager 实例。它还会根据 Kubernetes 标签查询来自动生成监控目标配置。 第 第 1 章 章 监 监控概述 控概述 5 Prometheus Prometheus

标记的镜像(mirror)registry 3.7. 镜像 OPENSHIFT CONTAINER PLATFORM 镜像存储库 3.8. 在断开连接的环境中的 CLUSTER SAMPLES OPERATOR 3.8.1. 协助镜像的 Cluster Samples Operator 3.9. 后续步骤 3.10. 其他资源 第 第 4 章 章 在 在 AWS 上安装 上安装 4.1. 准备在 AWS 上安装 4 Platform 的方法 4.1.4. 后续步骤 4.2. 配置 AWS 帐户 4.2.1. 配置路由 53（Route 53） 4.2.1.1. AWS Route 53 的 Ingress Operator 端点配置 4.2.2. AWS 帐户限值 4.2.3. IAM 用户所需的 AWS 权限 50 50 51 52 52 52 54 54 56 56 56 56 57 57 57 3. AWS 的自定义 install-config.yaml 文件示例 4.6.6.4. 在安装过程中配置集群范围代理 4.6.7. Cluster Network Operator 配置 4.6.7.1. Cluster Network Operator 配置对象 defaultNetwork 对象配置 配置 OpenShift SDN CNI 集群网络供应商 配置 OVN-Kubernetes