Kubernetes Operator 实践 —— MySQL 容器化 刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作，在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域，负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 无状态服务 服务调度 有状态服务集群 服务调度 状态保存 集群管理 有状态服务 服务调度 状态保存 带来的新挑战 服务调度 状态存储 集群管理 成员管理 扩缩容 故障迁移 高可用 CoreOS 提出了 operator MySQL Operator 设计实践 4. 小结 MySQL 容器化目标 • 快速部署 MySQL 主从集群 • 支持 MySQL 集群高可用 • 支持 MySQL 集群弹性伸缩 • 支持 MySQL 5.5 & 5.7 Master Slave1 Slave2 MySQL 集群：1 主 2 从 MySQL 容器化系统架构 REST CLI Kubernetes Master

基于 KUBERNETES 的 容器器 + AI 平台 如何助⼒力力企业数字化和智能化转型 xiaoqin@caicloud.io VP of R&D 提纲 构建集群与管理理资源 - 73s 视频演示 多集群和镜像仓库 多租户和旧系统的集成 运⾏行行和构建应⽤用 Rudder - 应⽤用编排技术框架 Cyclone - 持续集成与交付引擎 运⾏行行 AI 应⽤用（机器器学习） kubeflow/tf-operator • 定义 TFJob Spec (CRD) • 跟踪 TensorFlow 任务运⾏行行状态 • ⽀支持分布式 TensorFlow 任务 KUBEFLOW 之上 • 借⼒力力容器器平台提供⽣生产级的集群资源管理理 • ⼯工作区隔离与共享 • 数据、模型、环境、应⽤用等 • 全⾯面⽀支持 AI ⼯工作流 • 探索开发 • 线上运⾏行行 关注并回复 kubecon18

• 标准化的操作系统，个性化 选项有限 • 需要为附加的应用程序付费 数据存放 • 方便升级和降级 • 用户数据存储在用户主目录 里 • 方便迁移、复制用户数据和 迁移到另一台计算机上 • 用户数据被分散存储在多个 地方 • 备份和迁移数据较困难 表 I.1 关 键 因 素 14 Ubuntu 和 Microsoft Windows：对比 目录 Lucid Lynx 图 I.5 花费。 图 I.7 桌 面 自 定 义 数据存储 Microsoft Windows 中，用户数据通常被分散存储在多个地方，备份和 迁移数据到另一台计算机上比较困难。Ubuntu 把所有的用户信息都存储在一个地 方——用户主目录，可以很方便的从一台旧的电脑迁移到新电脑上，或者把数据备份 到其他地方。 16 Ubuntu 和 Microsoft Windows：对比 目录 Lucid Lynx 他应用程序导入文件。点击下一步。 图 III.24 配 置 新 的 电 子 邮 件 帐 户 2. Evolution 提供了一个集成的备份系统。如果您希望将 Evolution 数据从一个系 统迁移到另一个，请使用这个功能。在从备份中恢复页，您可以恢复电子邮件、备 忘录、地址簿、个人文件和各种老版本 Evolution 所支持的数据。 80 收发邮件 目录 Lucid Lynx 图 III

令查看：ipvsadm –ln。  停掉 master 上的 keepalived，看写 VIP 是否会迁移到 backup。  启动 master 上的 mysql，看是否能切换回 master。  启动 master 上的 keepalived，看 VIP 是否会迁移回 master 上。  重启 master 的系统，看看切换过程是否 OK 3 Lvs+ mysql，使用如下命令查看：ipvsadm –ln。  停掉 master 上的 keepalived，看读写 VIP 是否会迁移到 backup 上。  启动 master 上的 mysql，看是否能切换回 master。  启动 master 上的 keepalived，看 VIP 是否会迁移回 master 上。  重启 master 的系统，看看切换过程是否 OK 4 Heartbeat 。  迁移 mysql 的数据到 drdb(假设你的 mysql 已经在该服务器上安装好了) DRBD 已经安装并且能正常同步了，那么我们接下来要做的就是将本机的 已安装的 mysql 的数据迁移到 drbd 上，这里为了简单就不考虑新安装数 据库的情形了，因为新安装的时候只需要将数据目录指定到 drbd 中并将 my.cnf 配置文件放到 drbd 中即可。具体的数据迁移步骤如下： a)

• 降低⼤规模集群的运维难度 • 可通过HDFS API和Distcp进⾏快速迁移 • 降低系统恢复时间 • 尽可能的减少NN Java GC带来的⽆ 响应问题 运维价值 Apache Ozone – 使⽤场景 #2 • 可以快速的对接已适配S3 接⼝的应⽤ • 减少数据在多个平台间的迁移 • 使⽤单⼀的API协议来应对混合云架构 业务价值 • 集约化的⼀套存储来⾯向不同的业务负载 Balancer(HDDS-4656) 时机 ● 新的节点加⼊Ozone集群 ● 删除⼤量数据后 好处 ● 充分利⽤集群资源 ● 均衡集群IO访问 实现 ● 均衡器实现为SCM的⼦功能 ● Container是数据迁移的最⼩单位， 只迁移CLOSE状态的Container ● 客户端发送命令给SCM，SCM负 责执⾏和控制流程 Ozone Manager DN1 Storage Container Manager 发送命令 & 查询结果 发送命令 汇报⼼跳 均衡器Ozone Balancer 主要配置项 • 启动服务 • 停⽌服务 • Threshold配置 • 最多连续迭代运⾏次数 • 每次迭代最⼤迁移数据量 Average使⽤率 DN1 DN2 DN3 DN4 + threshold - threshold 纠删码(HDDS-3816) 数据可靠性 (越⾼越好) 存储效率 (越⾼越好)

yum install docker-io 第二步 运行 Mariadb 容器 首先要将数据镜像拉下来 docker pull mariadb:latest 注意，如果不加:latest 标签，docker 会把所有的镜像版本都拉下来。 然后我们就可以启动镜像了，参数方面需要注意的有一下几点： 1，-name <给容器取个好记的名称> 2，-e MYSQL_ROOT_PASSWORD =‘<给数据库一个 MYSQL_DATABASE 环境变量可以使容器在 运行时同时创建你所需要的数据库和带有全部权限的用户及其对应密码 6，设定 TERM 环境变量的值可以解决容器不能进入 mysql 控制台的问题。 对于不是自己建立的镜像，建立出来的容器未必能一次达到要求，建议是将 run 命令写成脚本，创建后使用 docker inspect <容器名> 仔细查看容器信息，关注镜像公开的端口和文件目录。如果发现达不到要求，使 不到要求，使 用 docker rm -f <容器名> 删除容器后修改 run 脚本再次运行，直到满意为止。 下面是我的 run 命令： docker run --name mdb1 \ -p 13306:3306 \ -v /home/wonders/docker_mdb1_data:/var/lib/mysql \ -e MYSQL_ROOT_PASSWORD=wondersgroup \ -e

liangyongqing1@jd.com 提供的服务 1. 用于实验的 GPU 容器 2.基于 Kubeflow 的机器学习训练服务 3.模型管理和模型 Serving 服务 Experiment Training Serving 均基于容器，不对业务方直接提供 GPU 物理机 GPU 实验 JDOS 常规的容器服务 ，使用 gpu 的 zone ， 自行设定相应的镜像即 可，有完善的周边服务 选择存储来源：对接了内部的存储 – 填写代码地址，执行的命令等 – 可以选择是否监控训练，提供 tensorboard 任务列表 可以指定 git 的 commit-id 发起任务 任务详情 可以查看具体的容器列表，以及查看容器的日志和事件 Serving 服务 提供统一便捷的 Serving 服务，只需用户指定模型，即可提供 grpc 和 rest 服务，同时使用 GPU 复用 +HPA 提高 GPU 利用率 Serving 与训练集成 • 用户只需要简单选择机房和 镜像填写模型名即可完成 Serving 服务创建 自有模型 • 用户只需要填写模型地址即 可 GPU 监控 • 容器监控服务，自适 应 GPU 容器，可根据 容器 IP 查询记录 , 便 于用户查看服务状态 ，亦可作为 HPA 的数 据源 • 采集项 name,index,fan.speed,te mperature.gpu,pstate

优化目的 Config优化 关闭refcount_full。 idle_balance定制特性 新增STEAL流程，如果idle_balance迁移线程失败会触 发，STEAL流程简化了判断逻辑，会从sd_llc上的任意 overload的cpu迁移进程过来，从而提升cpu利用率。 方法 kernel的优化在openEuler 20.09中默认是关闭的，需要用以下步骤开启： 步骤1 打开/etc/grub2-efi

仅在 长文本处理、代码生成、数学推理等任务中表现出色，还为大模型的轻量化和实际应用提供了有力支持。  模型蒸馏技术 DeepSeek采用模型蒸馏技术，通过将知识从大型复杂模型 （教师模型）迁移到小型高效模型（学生模型），实现性能和 效率的双重优化。DeepSeek选择了多个开源模型作为蒸馏的 目标模型，包括Qwen 系列和Llama 系列  架构创新 通过将模型划分为多个专家模块，实

找出输入空间之间的共同特征 选择性投射 从输入空间选择相关元素进行融合 涌现结构构建 在融合空间中创造新的、创新结构 知识转移技术（KTT）：跨域智慧应用 �KTT的理论基础： KTT基于认知科学中的迁移学习理论和组织学习理论。 提出了以下关键步骤： �KTT实施步骤： 1. 定义问题：明确目标领域需要解决的问题或创新点 2. 寻找源域：搜索可能包含相关知识或方法的其他领域 3. 知识提取：从源域提取关键的知识、技能或方法