HorizonCD 云音乐在GitOps CD领域的最佳实践 朱旭 网易云音乐 云原生开发工程师 目 录 背景 01 Horizon模板体系 02 GitOps最佳实践 03 Horizon产品介绍 04 Horizon落地 05 背景 第一部分 背景 云主机时代的痛点 2020年，云音乐开始容器化转型 效率 低下 计算 焦虑 运维 繁琐 成本 高昂 背景 屏蔽复杂的资源配置：业务更容易理解 的标准资源规格 • 底层能力快速封装：混合云、服务网格 有了这样的模板，是否能直接apply使用 呢？ GitOps最佳实践 第三部分 ArgoCD的设计 什么是GitOps apiVersion: apps/v1 kind: Deployment metadata: name: demo spec: replicas: 3 ...

公司介绍 KodeRover 是国内云原⽣ DevOps 领域的领军企业，帮助企业提升产 研⼯程化⽔平，加速产业数字化进程，快速响应市场需求。核⼼团 队由国内外云计算、DevOps、⼯程运筹学领域专家组成，已连续完 成由盈动和经纬领投的天使轮/PreA 轮融资。公司旗舰产品云原⽣ DevOps 平台 Zadig 正成为软件研发的新标配，软件交付领域的规则 制定者，开启了软件交付 3.0 时代。 02 — SRE Tech Lead 肇兴 基本信息 “Zadig 毫⽆疑问是业界优秀的 CI/CD 产品，它也是真正理解微服务、重视微服务、 解决微服务痛点的产品。我们充分感受到 Zadig 的优秀设计思想是⾮常值得字节 DevOps 团队借鉴学习的。” Zadig 理念 & 应⽤ Zadig 具备丰富的开放能⼒ 可以集成⼀切 Zadig 产品特性 路特斯某运维团队，抛弃传统⼯具，⽤ Zadig 研发数字化成功案例 企业案例 Zadig 价值运营指标 业务管理简单⾼效，⽀持 RBAC/ABAC 权限隔离 流程模版统⼀规划，产研协同更⾼效，⾃动化⼀切 质量建设有的放⽮，全流程内建安全，测试驱动开发 多视⻆资源管理，业务协同更透明，成本可观测 ⼯程师数字化协作，幸福度更⾼更专注 全触点研发运营数据，可管理，可度量，可提升 备注：所有数据来⾃于落地⽤⼾的可收集实际使⽤状况 Zadig 使⽤体验

管控数十万 台服务器 孵化700＋ 应用系统 全球多云 管控 培养数百蓝鲸运 维开发 工具驱动运维：采用运维 开发的模式，实现所有运维任 务自动化、工具化、可视化。 数据驱动运维：基于大数据 的接入、存储、分析技术，对运 维数据进行全面挖掘和分析，实 现数据驱动自动化运维。 机器驱动运维：基于智能算法 的机器自我学习，训练机器智能运 维模型，实现无人值守和智能的运 维与运营。 开发 监控 告警 日志 追溯 基于PaaS的开发模式 应用需求 公共 组件 环境 构建 资源 准备 代码 部署 应用 开发 监控 告警 日志 追溯 运维开发 负责企业技术运营领域（CI、CD、CO）相关场景的系统构建，例如持续集成、日志分析、资 源管理、版本发布、环境变更、监控处理、灾备切换、日常巡检、电子工单、运营分析、运营 管控、经营管理等。 落地企业工具文化。

面向开发者的云原生 DevOps 平台 角色： 产品/架构 开发 测试 运维 运维/开发 技术支持 事件 需求设计 架构设计 拆任务、写代码 代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 事件、缺陷管理 想 法 用 户 运行阶段 需求阶段 研发阶段 现代软件交付挑战：开发 5 分钟，上线 2 小时 服务一：设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 服务二：设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 服务三：设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 以前：面向代码片段的串行交付 现在：面向多个服务编排的产品级自动化并行交付 代码编写 | 构建 | 部署 | 测试 | 发布 特点： ● 重复流程自动化 ● 边开发、边验证 ● 服务全生命周期而非只关注代码 ● 每天多次提交提早验证 Zadig 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验，工程师不再做脏活累活 传统 DevOps 体系

面向开发者的云原生 DevOps 平台 角色： 产品 / 架构 开发 测试 运维 运维 / 开发 技术支持 事件 需求设计 架构设计 拆任务、写代码 代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 研发阶段 现代软件交付挑战：开发 5 分钟，上线 2 小时 服务一：设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 服务二：设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 服务三：设计 | 代码编写 | 构建 | 测试 | 部署 | 部署 | 测试 | 发布 特点： ● 重复流程自动化 ● 边开发、边验证 ● 服务全生命周期而非只关注代码 ● 每天多次提交提早验证 Zadig 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验，工程师不再做脏活累活 传统 DevOps

工具体系演进框架门户，能够支持不断迭代建设，覆盖服务运维场景，不断提 升服务和自动化的覆盖范围，整合演进过程中的新基础架构、新运维工具，与时俱进，保持 服务化和自动化的覆盖。能够: 快速整合支持新采纳的基础架构云平台，架构设计支持以插件符合开放封闭原则进行扩 展支持，只需要开发插件，不需要动 Web 页面层和中间业务逻辑层； 模块化扩展和整合，能够在现有框架下方便扩展支持新的运维工具整合等功能，比如整 合新采纳的运 用友网络、爱数科技、容联七陌、同望科技 交通物流(12) 中航结算、中远海运、兰州朗青、苏州公交集团、远成物流、西安铁路 局、亿通国际、江苏省交通厅、浦东机场、南京地铁、广州交通信息、 厦门航空 能源资源(15) 中石油规划设计院、斯伦贝谢、北控水务、金风科技、冀北电力、正泰 集团、南瑞集团、淮南矿业、湖南电力、浙江电力、国家徐闻电力、上 海电厂、国家电网、芜湖华衍水务、中石化南工程 房地产酒店(7) 龙湖地产、中国 设置各个模块各个功能的权限。 图 18: 用户管理 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 27 图 19: 角色权限管理  工作空间管理 工作空间可以按照针对一组资源的访问管理权限进行设计划分，比如按项目、按职能组、 按个人或按一个组合的权限范围进行划分。  如果一组资源需要让一个项目的成员访问和管理，那么就可以给这个项目创建一个 工作空间，把项目下的资源都划分到这个项目工作空间下；

（6）配置运营报告，定期发送运营报告到指定的邮箱。 第七步: 运维查看性能、变更运行环境 杭州飞致云信息科技有限公司 17 2.3 模块功能界面说明及约定 2.3.1 模块及使用场景 平台的设计采用模块化设计，有多个功能独立的模块，包括管理中心、虚拟机服务、 账单中心、运营分析、负载均衡、数据库服务、对象存储服务、容器云集群服务、堡垒机 模块、工单中心、大屏模块。  当我们做系统管理，即组织用户角色权限、纳管虚拟化云平台 Tab 上的名字)、Favicon、系统名称(显示在门户左上角的系统名称)、主题 颜色、登录页图片、辅助颜色、登录页显示的系统名称。 杭州飞致云信息科技有限公司 26 图 2-11 页面样式设计页面 3 纳管云账号及资源 云管平台部署后，要实现在线提供虚拟化平台、私有云、公有云资源，后台管理资源， 首先要做的就是纳管各个虚拟化资源池、云平台的 API 账号，以能够有权限从各个平台同 用户级工作空间、项目级工作空间、应用系统级工作空间。 图 5-2 分权分域 具体功能包括: （1）创建管理工作空间 杭州飞致云信息科技有限公司 94 工作空间可以按照针对一组资源的访问管理权限进行设计划分，比如按项目、按职能 组、按个人或按一个组合的权限范围进行划分。  如果一组资源需要让一个项目的成员访问和管理，那么就可以给这个项目创建一个工 作空间，把项目下的资源都划分到这个项目工作空间下；

⚫公有云专线与自研互通 ⚫使用公有云服务 ⚫改造较大的搬迁组件上云 ⚫使用云原生PaaS ⚫边上云边改造 CFS 业务上云五部曲 规划 设计 实施 验证 维护 信息收集 需求评估 应用分析 风险分析 上云策略 方案设计 风险应对 上云计划 技术准备 功能测试 性能测试 数据备份 云上部署 业务验证 效果评估 问题优化 正式上云 运营维护 上云各环节注意点 权限控制 •基于项目管理 •角色鉴权认证 镜像仓库 •CBS(SSD/SATA) •Cehp/NFS 网络存储 •远端日志挂载 •页面日志查询 远程日志 CI/CD/CO 需求 设计 开发 构建 测试 部署 搭建 监控 计划 运营 业务上云总结 ⚫ 拥抱云原生 ⚫ 借上云革新研发模式，全面DevOps（CI/CD/CO） ⚫ 组件&工具上云，服务化，培育工程师文化 ⚫

存在) 4. 当 2 个操作的 dentry 属于同一个 copyset 有什么不一样？ 背景 当前 curvefs 并没有实现 rename 接口，本文档是对 rename 接口实现的调研及方案设计。 rename 操作，主要操作的是 dentry，如 rename /dir1/file1 /dir2/file2，主要有 2 个步骤：(1) 删除 file1 的 dentry，(2) 增加 file2 (备注：我认为利用 MVCC 可以保证事务 ACID 中的 C(一致性) 和 I(隔离性)) 方案主要借鉴 leveldb 与 etcd(boltdb) 中事务的实现（主要利用 mvcc），方案设计如下：© XXX Page 7 of 15 整体思路如下： 在 MDS 所有 copyset 中增加一个 txid 字段，保存当前 copyset 已成功的事务 id（该事务 id 顺序递增，事务每成功一次则加一）

活动⽇志 ⽀持按照时间线记录每⼀种资源的活动⽇志； 其他 Other 资产同步（X-Pack） ⽀持对公有云、私有云资产的⾃动同步；⽀持对局域⽹内资产的⾃动发现； 远程应⽤ 全新的远程应⽤设计体系，⽀持⾃动管理远程应⽤（MySQL Workbench8、Navicat Premium 16 (X-Pack) ）和⼀键部署远程应⽤发布机； 作业中⼼ ⽀持对批量资产执⾏快捷命令、命令脚本以及 DB2 数据库（X-Pack） 功能亮点 语法⾼亮 SQL 格式化 ⽀持快捷键 ⽀持选中执⾏ SQL 历史查询 ⽀持⻚⾯创建 DB、Table 会话审计 命令记录 录像回放 JumpServer 设计架构及组件功能 Load Balancer Lina Luna（Web Terminal） Chen CORE MySQL / Redis 本地存储 云存储 负载 接⼊ 核⼼ 数据