Kubernetes Operator 实践 —— MySQL 容器化 刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作，在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域，负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 • 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 无状态服务 服务调度 有状态服务集群 服务调度 状态保存 集群管理 MySQL Operator 设计实践 4. 小结 MySQL 容器化目标 • 快速部署 MySQL 主从集群 • 支持 MySQL 集群高可用 • 支持 MySQL 集群弹性伸缩 • 支持 MySQL 5.5 & 5.7 Master Slave1 Slave2 MySQL 集群：1 主 2 从 MySQL 容器化系统架构 REST CLI Kubernetes Master

Greenplum on Kubernetes 容器化MPP数据库 AGENDA 云数据库背景 云数据库实现方案 Greenplum on Kubernetes Greenplum Operator 总结 云数据库背景 云数据库背景 ● 资源变化 ○ 本地资源 → 云 ○ 静态资源 → 弹性需求 ● 数据变化 ○ 内部数据 → 多数据源 ○ 数据规模 → 不易预测 ○ 数据格式 网络传输 ○ 权限控制 ● 跨云 ○ 公有云 ○ 私有云 云数据库实现方案 ● 全新数据库 ○ Snowflake ● 原有数据库架构升级 ○ Vertica Eon Mode ● 容器化数据库+Kubernetes ○ Apache Spark ○ CockroachDB ○ Apache HAWQ 云数据库存储方案 ● 块存储 ○ 文件系统接口 ● 对象存储 ○ Segment Instance Segment 5 (Mirror) 容器化Greenplum ? + = 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 ● 容器资源分配 ○ CPU ○ 内存 ○ 磁盘 ● 容器间网络互联 ○ 本机网络 ○ 跨机网络 ● 容器化Greenplum部署策略 ○ Master部署策略 ○ Primary

《MySQL 容器化部署实践》 演讲者／王晓波 背景 ■ 同程旅游早期的数据库都以单库的MySQL。 ■ MySQL的单库，导致TPS最终还是会成为一个瓶颈。 ■ MySQL+DB中间件解决水平拆分问题。 ■ MySQL水平拆分的引入会使数据库实例数量大幅上升,传统运维手段维护成本高,交付能力差。 MySQL数据库为何要Docker化 1.MySQL数据库迅速爆炸式增长后，服务器规模不断增大，快速部署是个问题。 Docker在同程的大规模使用，应用部署环境100%容器化，有Docker丰富的经验 。 让数据库的部署点单化开启 2核4G 4核4G 4核8G 8核8G 8核16G 16核16G 16核64G 32核64G 32核128G 一主一从 分片集群 一主多从 SATA-SSD PCIE-SSD 大容量磁盘SAS 配置 DB架构 硬件选型 机房 A机房 B机房 C机房 D机房 容器化之后的MySQL就是一个私有DB云 数据校验 实例迁移 秒级监控诊断 慢日志分析 资源池调度 调度规则 容器调度 资源池 容器及实例创建 应用交付 资源申请 IO类型 配置 为了保证MySQL的高可用，需要在Docker容器分配时如何保障主从不在同一宿主机上。我们通过自研 Docker容器调度平台管理所有宿主机和容器,自定义Docker容器的分配算法。实现了MySQL的高密度,隔离 化,高可用化部署。 调度规则： 1

4; 服务器 B = 5,6,7,8,9。在不丢失分片 项的情况下，最大限度的利用现有资源提高吞吐量。 5.2.3 高可用 当作业服务器在运行中宕机时，注册中心同样会通过临时节点感知，并将在下次运行时将分片转移至仍 存活的服务器，以达到作业高可用的效果。本次由于服务器宕机而未执行完的作业，则可以通过失效转 移的方式继续执行。如下图所示。 5.2. 弹性调度 9 Apache ShardingSphere 。 • 定时任务触发时，如需重新分片，则通过主服务器分片，分片过程中阻塞，分片结束后才可执行任 务。如分片过程中主服务器下线，则先选举主服务器，再分片。 • 通过上一项说明可知，为了维持作业运行时的稳定性，运行过程中只会标记分片状态，不会重新分 片。分片仅可能发生在下次任务触发前。 • 每次分片都会按服务器 IP 排序，保证分片结果不会产生较大波动。 • 实现失效转移功能，在某台服务器 下次调度之前才开启重新分片流程。当作业执 行过程中服务器宕机，失效转移允许将该次未完成的任务在另一作业节点上补偿执行。 5.3.1 概念 失效转移是当前执行作业的临时补偿执行机制，在下次作业运行时，会通过重分片对当前作业分配进行 调整。举例说明，若作业以每小时为间隔执行，每次执行耗时 30 分钟。如下如图所示。 图中表示作业分别于 12:00，13:00 和 14:00 执行。图中显示的当前时间点为

yum install docker-io 第二步 运行 Mariadb 容器 首先要将数据镜像拉下来 docker pull mariadb:latest 注意，如果不加:latest 标签，docker 会把所有的镜像版本都拉下来。 然后我们就可以启动镜像了，参数方面需要注意的有一下几点： 1，-name <给容器取个好记的名称> 2，-e MYSQL_ROOT_PASSWORD =‘<给数据库一个 MYSQL_DATABASE 环境变量可以使容器在 运行时同时创建你所需要的数据库和带有全部权限的用户及其对应密码 6，设定 TERM 环境变量的值可以解决容器不能进入 mysql 控制台的问题。 对于不是自己建立的镜像，建立出来的容器未必能一次达到要求，建议是将 run 命令写成脚本，创建后使用 docker inspect <容器名> 仔细查看容器信息，关注镜像公开的端口和文件目录。如果发现达不到要求，使 不到要求，使 用 docker rm -f <容器名> 删除容器后修改 run 脚本再次运行，直到满意为止。 下面是我的 run 命令： docker run --name mdb1 \ -p 13306:3306 \ -v /home/wonders/docker_mdb1_data:/var/lib/mysql \ -e MYSQL_ROOT_PASSWORD=wondersgroup \ -e

........................................................................................... 8 高效运行时 .................................................................................................. ........................................................................................... 11 利用容器实现安全分析 ............................................................................................ 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能 优于内核态 swap。 2. 夯实云化基座 容器操作系统 KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于 K8S 的管理体验。 • 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 docker+qemu 方案，底噪和启动时间 优化 40%。 • 双平面部署工具

HAProxy 进程所接受的最大并发连接数。 user haproxy # 同 UID 参数。 group haproxy # 同 GID 参数，建议使用专用用户组。 nbproc 64 # 在后台运行时创建的进程数。在启动多个进程转发请求时， �→ 确保该值足够大，保证 HAProxy 不会成为瓶颈。 daemon # 让 HAProxy 以守护进程的方式工作于后台， �→ 等同于命令行参数 HAProxy 进程所接受的最大并发连接数。 user haproxy # 同 UID 参数。 group haproxy # 同 GID 参数，建议使用专用用户组。 nbproc 64 # 在后台运行时创建的进程数。在启动多个进程转发请求时， �→ 确保该值足够大，保证 HAProxy 不会成为瓶颈。 daemon # 让 HAProxy 以守护进程的方式工作于后台， �→ 等同于命令行参数 @Transactional 注释的对象内的函数调用时：在函数顶部将使用 transaction �→ .begin() 开启事务，函数返回后，调用 transaction.commit() 进行事务提交，而出现任何运行时错误时， 代理将会调用 transaction.rollback() 来回滚。 你可参阅数据库事务来获取更多有关事务的信息，或者阅读 Spring 官网中的文章 理解 Spring 框架的声明式事

ce/url 属性中指定的配置文件次之，最低优先级的是 properties 属性中指定 的属性。 settings 这是 MyBatis 中极为重要的调整设置，它们会改变 MyBatis 的运行时行为。下表描述了设置中各项的意图、默认值等。 设置参数 设置参数 描述 描述 有效值 有效值 默认值 默认值 cacheEnabled 该配置影响的所有 映射器中配置的缓 存的全局开关。 true JDBC 的提交和回滚设置，它依赖于从数据源得到的连接来管理事务范围。 MANAGED – 这个配置几乎没做什么。它从来不提交或回滚一个连接，而是让容器来管理事务的整个生命周期（比如 JEE 应用服务器 的上下文）。 默认情况下它会关闭连接，然而一些容器并不希望这样，因此需要将 closeConnection 属性设置为 false 来阻止它默 认的关闭行为。例如: 容器中使用，容器可以集中或在外部配置数据源，然后放置一个 JNDI 上 下文的引用。这种数据源配置只需要两个属性： initial_context – 这个属性用来在 InitialContext 中寻找

–python 人工智能资料下载，可访问百度：尚硅谷官网 3.3 settings 设置 1) 这是 MyBatis 中极为重要的调整设置，它们会改变 MyBatis 的运行时行为。 2) 包含如下的 setting 设置: 容器来管理事务的整个生命周期（比如 JEE 应用服务器的上下文）。 ManagedTransactionFactory 自定义：实现 TransactionFactory 接口，type=全类名/别名 UNPOOLED：不使用连接池， UnpooledDataSourceFactory POOLED：使用连接池， PooledDataSourceFactory JNDI： 在 EJB 或应用服务器这类容器中查找指定的数据源 自定义：实现 DataSourceFactory 接口，定义数据源的获取方式。 7) 实际开发中我们使用 Spring 管理数据源，并进行事务控制的配置来覆盖上述配置 JAVAEE

如果在开发的过程中遇到问题，可以在 AskTUG 上进行提问，寻求帮助。 4.3.1.4 使用 Spring Boot 连接到 TiDB TiDB 是一个兼容 MySQL 的数据库。Spring 是当前比较流行的开源 Java 容器框架，本文选择 Spring Boot 作为使用 Spring 的方式。 本文档将展示如何使用 TiDB 和 Spring Data JPA 及 Hibernate 作为 JPA 提供者来完成以下任务： a- �→ bundle.crt。 3. 对于 OpenSUSE，证书的默认存储路径为 /etc/ssl/ca-bundle.pem。 4. 对于 macOS 或 Alpine（docker 容器），证书的默认存储路径为 /etc/ssl/cert.pem。 尽管可以手动指定 CA 证书路径，但在多环境部署场景中这可能会引起不必要的麻烦，因为不同的机器和环 境可能存储 CA 证书的位置不同。因此，建议将 a- �→ bundle.crt。 3. 对于 OpenSUSE，证书的默认存储路径为 /etc/ssl/ca-bundle.pem。 4. 对于 macOS 或 Alpine（docker 容器），证书的默认存储路径为 /etc/ssl/cert.pem。 尽管可以手动指定 CA 证书路径，但在多环境部署场景中这可能会引起不必要的麻烦，因为不同的机器和环 境可能存储 CA 证书的位置不同。因此，建议将