Kubernetes Operator 实践 —— MySQL 容器化 刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作，在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域，负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL BizNginx （Load Balancer） Kafka Zookeeper etcd AppEngine（Resin/Tomcat…) 统一服 务管理 Kubernetes 模板管理 自动化测试 部署中心 服务发现 灰度发布 监控中心 日志系统 PaaS SaaS 编 译 发 布 授 权 监 控 IaaS Registry SOA服务框架 DevOps 测 试 Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 • 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 无状态服务 服务调度 有状态服务集群 服务调度 状态保存 集群管理 有状态服务

《MySQL 容器化部署实践》 演讲者／王晓波 背景 ■ 同程旅游早期的数据库都以单库的MySQL。 ■ MySQL的单库，导致TPS最终还是会成为一个瓶颈。 ■ MySQL+DB中间件解决水平拆分问题。 ■ MySQL水平拆分的引入会使数据库实例数量大幅上升,传统运维手段维护成本高,交付能力差。 MySQL数据库为何要Docker化 1.MySQL数据库迅速爆炸式增长后，服务器规模不断增大，快速部署是个问题。 是个问题。 2.随着业务的发展，扩容数据库的不方便不快捷，也是个问题。 3.大量数据量小的数据库系统也单独部署在物理机，浪费问题突出。 4.DBA的数据库自动化标准化运维的需求。 5.Docker在同程的大规模使用，应用部署环境100%容器化，有Docker丰富的经验 。 让数据库的部署点单化开启 2核4G 4核4G 4核8G 8核8G 8核16G 16核16G 16核64G 32核64G DB架构 硬件选型 机房 A机房 B机房 C机房 D机房 容器化之后的MySQL就是一个私有DB云 主 从 集 群 创 建 分 片 集 群 创 建 集 成 高 可 用 方 案 巨 细 无 遗 的 监 控 项 精 美 的 图 形 展 示 便 捷 的 告 警 管 理 慢 日 志 分 析 及 查 看 自 动 化 备 份 资 源 池 管 理 高 可 用 切 换 集 群 节 点

并不仅仅是可靠地存储数据 支持高可用性的各个层 数据的冗余访问路径 数据冗余存储 冗余应用服务器 数据路由 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 6 并不仅仅是可靠地存储数据 支持高可用性的各个层 数据的冗余访问路径 数据冗余存储 冗余应用服务器 数据路由 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 MySQL Cluster 从数据库 • 会话线程：处理来自应用程序的查询 － 将 数据写入主数据库，将关联事件写入二进制 日志 • 转储线程：读取二进制日志中的事件，然后 将其发送到从数据库 • I/O 线程：接收复制事件，并将其存储在从 数据库的中继日志中 • SQL 线程：读取从数据库的中继日志中的复 制事件，然后将其应用到从数据库 MySQL 复制工作流 会话 二进制 日志 和/或其附属公司。保留所有权利。 为何进行复制？ •将数据库从“主服务器”复制到“从服务器” – 数据的冗余副本奠定了高可用性的基础 – 通过在复制场中进行分布式查询来扩展 主 从 Web/应用服务器 写入和读取 读取 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 9 •异步 – MySQL 默认设置 – 并行：主数据库向应 用程序发送确认，在

MySQL 企业版提供了全面的高级功能、管理工具和技术支持，实现了高水平的 MySQL 可扩展性、安全性、可靠性和无故障运行时间。 MySQL 企业版可在开发、部署和管理业务关键型 MySQL 应用的过程中降低风险、削减成本和减 少复杂性。MySQL 企业版具有以下独特优势：  使用 Oracle MySQL 服务云轻松设置、运行和管理云中的 MySQL  使用 MySQL 对现有 MySQL 应用实施基于策略的审计合规性  通过 MySQL Enterprise Monitor 提高数据库性能和可用性  通过 MySQL Query Analyzer 查明影响数据库性能的 SQL 代码  使用超过 225 个 MySQL 顾问程序实施 MySQL 优秀实践  通过 MySQL Workbench 以可视化方式设计、开发、管理和迁移数据库 凭借经济高效、可靠、高性能且可扩展的电子商务、联机事务处理和嵌入式数据库应用 成为全球使用广泛的开源数据库。它是一种事务安全、符合 ACID 标准的集成式数据库，支持全 面的提交、回滚、崩溃恢复和行锁定功能。MySQL 不仅简便易用、易于扩展、性能卓越，而且 还提供了一整套数据库驱动程序和可视化工具，可帮助开发人员和 DBA 自主构建和管理 MySQL 应用。MySQL 数据库具备以下特性：

理系统之一，在Web应用方面，MySQL 是最好的RDBMS (Relational Database Management System，关系数据库管理系 统）应用软件之一。 MySQL是一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不是将 所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。 MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了 I/O，Network I/O，如果是某个硬件指标有问题，需要深入的进行分析。 4. 如果硬件指标都没有问题，需要查看数据库相关指标，例如：等待事件、内存命 中率等。 5. 如果以上指标都正常，应用程序的算法、缓冲、缓存、同步或异步可能有问题， 需要具体深入的分析。 瓶颈点 说明 硬件/规格 一般指的是CPU、内存、磁盘I/O方面的问题，分为服务器硬件瓶 颈、网络瓶颈（对局域网可以不考虑）。 BIOS配置 2.1 BIOS 配置 目的 对于不同的硬件设备，通过在BIOS中设置一些高级选项，可以有效提升服务器性能。 方法 步骤1 关闭SMMU。 说明 此优化项只在非虚拟化场景使用，在虚拟化场景，则开启SMMU。 1. 重启服务器过程中，单击Delete键进入BIOS，选择“Advanced > MISC Config”，单击Enter键进入。 2. 将“Support Smmu”设置为“Disable”

和专家带来了大量工作，他 们花时间自动化和集成他们的定制架构 Copyright @ 2021 Oracle and/or its affiliates. 8 / 55 Present - Solutions! 2016 - M ySQL InnoDB Cluster MySQL 组复制:自动成员身份更改、网络分区处理、一致性... MySQL Shell 提供强大的界面，有助于自动化和集成所有组件 手动故障转移） 无写入性能影响 特点 • 简单易用 • 熟悉的界面和可用性 mysqlsh,CLONE,... • 在线添加/删除节点/集群 • 路由器集成， 拓扑结构发生变化时无需重新配置 应用程序 M ySQL InnoDB ClusterSet – 3 个数据中心 Copyright @ 2021 Oracle and/or its affiliates. 14 / 55 MySQL and/or its affiliates. 24 / 55 Copyright @ 2021 Oracle and/or its affiliates. 路由器集成 25 / 55 将应用程序配置为连接到本地 MySQL 路由器以连接到 ClusterSet Copyright @ 2021 Oracle and/or its affiliates. 路由器集成 26 / 55

只是要手工切换从服务器比较麻烦，后面会介绍的 MMM 能将从服务器自动切 换）并且还能实现数据库的读写分离的情况，这样 backup 机器也能用起来，提 高系统资源的利用率，减少 master 端的负载。应用中读数据库配置读 VIP，写数 据库配置写 VIP。这个方案也能够很方便的进行单台数据库的管理维护以及切换 工作。比如进行大表的表结构更改、数据库的升级等都是非常方便的。 3.5 方案实战 3 状态 watch -n 1 cat /proc/drbd /etc/init.d/drbd status 以上两种方式都可以查看 drbd 的状态  设置当前节点为主节点，并进行格式化和挂载 drbdadm -- --overwrite-data-of-peer primary all mkfs.ext3 /dev/drbd0 mkdir /drbd mount /dev/drbd0 VIP Role description 10.1.1.176 Read 应用配置的读取 IP，也可以在前端加 lvs 等，做负载均衡 。三台数据库每台一个 浮动 VIP 10.1.1.177 Read 10.1.1.178 Read 10.1.1.179 Write 应用配置的写入的 VIP，单点写入。 6.5.2 MMM 的安装 在安装 mmm

yum install docker-io 第二步 运行 Mariadb 容器 首先要将数据镜像拉下来 docker pull mariadb:latest 注意，如果不加:latest 标签，docker 会把所有的镜像版本都拉下来。 然后我们就可以启动镜像了，参数方面需要注意的有一下几点： 1，-name <给容器取个好记的名称> 2，-e MYSQL_ROOT_PASSWORD =‘<给数据库一个 MYSQL_DATABASE 环境变量可以使容器在 运行时同时创建你所需要的数据库和带有全部权限的用户及其对应密码 6，设定 TERM 环境变量的值可以解决容器不能进入 mysql 控制台的问题。 对于不是自己建立的镜像，建立出来的容器未必能一次达到要求，建议是将 run 命令写成脚本，创建后使用 docker inspect <容器名> 仔细查看容器信息，关注镜像公开的端口和文件目录。如果发现达不到要求，使 不到要求，使 用 docker rm -f <容器名> 删除容器后修改 run 脚本再次运行，直到满意为止。 下面是我的 run 命令： docker run --name mdb1 \ -p 13306:3306 \ -v /home/wonders/docker_mdb1_data:/var/lib/mysql \ -e MYSQL_ROOT_PASSWORD=wondersgroup \ -e

读写性能都非常优秀 • 能够承载大数据量的存储和访问 能够承载大数据量的存储和访问 • 拥有自己独立的缓冲池，能够缓存数据和索引 拥有自己独立的缓冲池，能够缓存数据和索引 MySQL 架构设计—应用架构 强一致性 对读一致性的权衡，如果是对读写实时性要求非常高的话， 就将读写都放在 M1 上面， M2 只是作为 standby 。 比如，订单处理流程，那么对读需要强一致性，实时写实 途径，实际中尽可能两者兼顾。 MySQL 架构设计—高可用架构  系统优化：硬件、架构 系统优化：硬件、架构  服务优化 服务优化  应用优化 应用优化 MySQL MySQL 优化方式 优化方式 影响性能的因素 影响性能的因素 应用程序 应用程序 查询 查询 事务管理 事务管理 数据库设计 数据库设计 数据分布 数据分布 网络 网络 操作系统 操作系统 硬件 配置合理的 MySQL MySQL 服务器，尽量在应用本身达到一 服务器，尽量在应用本身达到一 个 个 MySQL MySQL 最合理的使用 最合理的使用  针对 针对 MyISAM MyISAM 或 或 InnoDB InnoDB 不同引擎进行不同定制 不同引擎进行不同定制 性配置 性配置  针对不同的应用情况进行合理配置 针对不同的应用情况进行合理配置  针对 针对 my.cnf

Method swizzling Isa swizzling Isa swizzling+NSProxy Others NSURLProtocol 关于NSURLProtocol 基本步骤 应用场景 优点／缺点／坑 1、定一个NSURLProtocol子类 2、注册这个类 3、NSURLProtocol子类实现 method swizzling 拦截的要点： • 拦截到 • 调回去 加“代理方法” 2、调用method_exchangeImplementations交换IMP 3、确保你的“代理方法”调用了“原始方法” method swizzling 原理 基本步骤 应用场景 优点／缺点／坑 method swizzling（改进版） 原理 基本步骤 小例子 优点 • 利用block作为IMP • 利用自动变量的截取 存储原始IMP 原理：修改isa指针 原理：修改isa指针 isa swizzling 特点：针对一个对象 原理：修改isa指针 基本步骤 应用场景 优点／缺点／坑 isa swizzling 特点：针对一个对象 1、（动态）创建目标类子类 2、（动态）为子类添加方法 3、修改目标对象的isa 原理 基本步骤 应用场景 优点／缺点／坑 isa swizzling＋NSProxy 1、从NSProxy派生一个子类，