多云管下的自动化运维架构 刘宇 Bespin 高级研发总监 自我介绍 自我介绍 • DevOps专家 • 曾任职于新浪、百度、金山 • 《Puppet实战作者》 《Puppet实战手册》 《Python进阶》 • QCon金牌讲师，QCon优秀出品人 目录 ① 行业趋势分析 ② 多云下运维的挑战 ③ 多云平台架构如何设计？ ④ 困难以及挑战 资源统一管理 监控 排查定位问题成本高 —〉 跨度大 业务成本难以核算 —〉 账单难处理 。。。 多云下运维的挑战 Gartner：云管理平台需要具备多云管理、自服务、计量计费、资源弹性及服务编排， 能够自动化部署和配置相关资源，可以与企业现有IT管理系统集成的服务化能力 云管平台架构设计 私有云 公有云 虚拟化 接⼝口适配 多云统⼀一编排 ⾃自助服务 多云管理理 资源优化 云管平台架构设计 PaaS Services LDAP Zabbix Ansible CA Falcon CA Etc Puppet Other Orchestration & Governance Kong Api Gateway ELK APM Automate Storage Opsnow-S3 S3 Security Analytics Cots optimization Resources

FIT2CLOUD 以“Fit to Cloud”为使命，致力于帮助企业在多云时代更好地测试、运行、 管理和保护其 IT 基础设施和应用，实现数字化转型的目标。 FIT2CLOUD 的产品与解决方案涵盖软件测试、云原生运行时、多云管理、安全合规、 数据分析可视化、内容管理，其旗舰产品包括：MeterSphere 开源持续测试平台、 KubeOperator 开源容器平台、CloudExplorer 多云管理平台、JumpServer 成为唯一被独立统计的中立型多云管理厂商。FIT2CLOUD 的研发与服务团队分布在北京、 上海、深圳、广州、南京、杭州、武汉、成都、西安、郑州、济南、长沙、厦门等地，团队 在企业 IT 云化转型、软件持续测试、云原生体系构建等方面拥有丰富的经验，客户广泛覆 盖金融、制造、能源、交通、医疗、教育、通信、传媒、房地产、互联网等行业。 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 3 ...................................................................................10 1.4.1 对于应用开发测试运维人员........................................................................10 1.4.2 对于 IT 管理员....

...............................................237 8.4.1 开发测试环境多项目资源都部署到 1 个 VLAN..........................................238 8.4.2 开发测试环境多项目共用多个 VLAN、多个公有云 VPC 子网............... 238 9 IT 投入使用分析.. 使用方法。 1.2 阅读对象 杭州飞致云信息科技有限公司 7  IT 系统管理员、云平台管理员、运营人员  云管平台实施人员  云管平台开发测试人员 1.3 名词术语 名词 解释 基础架构平台 指为业务系统开发测试、运行提供运行环境资源的各类虚拟化平台、超融 合平台、私有云平台以及公有云平台。 虚拟化平台 指以 VMware 为代表的基于虚拟化技术整合物理机以虚拟机方式提供资源 见的超融合平台 有 Nutanix、戴尔的 VxRail，国内的 SmartX、青云超融合。 运维支撑工具平台 指运维工作中帮助运维的各种运维工具平台，如 CMDB、ITSM、监控平台、 自动化作业工具、备份工具、漏洞扫描工具等等。 VMware 平台 虚拟化平台市场中占有率最大的平台，多数大中型企业 IT 都采用了 VMware 虚拟化平台。 PowerVC IBM Power®

孵化700＋ 应用系统 全球多云 管控 培养数百蓝鲸运 维开发 工具驱动运维：采用运维 开发的模式，实现所有运维任 务自动化、工具化、可视化。 数据驱动运维：基于大数据 的接入、存储、分析技术，对运 维数据进行全面挖掘和分析，实 现数据驱动自动化运维。 机器驱动运维：基于智能算法 的机器自我学习，训练机器智能运 维模型，实现无人值守和智能的运 维与运营。 数据化 2015--2017 蓝鲸配置平台 获取资源 新建大区 主机注册 创建DB 初始化数 据 拉起业务 进程 布署监控 开新区 部署程序 测试验证 清理脏数 据 对外开放 获取新主 机 CMDB注 册信息 关闭故障 大区入口 新机程序 布署 大区服务 重启 测试验证 故障机回 收 故障 替换 业务配置 文件修改 对外开放 选择发布 范围 备份业务 程序&数 据 屏蔽监控 屏蔽监控 告警 关闭游戏 入口 更新程序 包 更新数据 库 启动游戏 进程 版本 发布 停游戏进 程 测试验证 对外开放 蓝鲸作业平台 蓝鲸进化第2步：场景与原子的分离 API Gateway 服务组件A 服务组件B 服务组件C 服务组件D 故障机替换 新版本发布 基础监控系统 扩容管理系统 …… …… 原子A 原子B 原子C 原子D 原子E IaaS管理 配置平台

DevOps 平台 角色： 产品/架构 开发 测试 运维 运维/开发 技术支持 事件 需求设计 架构设计 拆任务、写代码 代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 xN 部署生产环境 代码编写 | 构建 | 测试 | 部署 | 发布 服务二：设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 服务三：设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 以前：面向代码片段的串行交付 现在：面向多个服务编排的产品级自动化并行交付 服务一： 服务定义 | 构建 | 部署 | 测试 | 发布 服务二： 服务定义 | 构建 | 部署 | 测试 | 发布 服务三： 服务定义 服务定义 | 构建 | 部署 | 测试 | 发布 代码一： 代码编写 | 构建 | 部署 | 测试 | 发布 代码二： 代码编写 | 构建 | 部署 | 测试 | 发布 代码三： 代码编写 | 构建 | 部署 | 测试 | 发布 特点： ● 重复流程自动化 ● 边开发、边验证 ● 服务全生命周期而非只关注代码 ● 每天多次提交提早验证 Zadig 采用「云原生产品级交付」设计理念

架构 开发 测试 运维 运维 / 开发 技术支持 事件 需求设计 架构设计 拆任务、写代码 代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 构建 | 测试 | 部署 | 发布 服务二：设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 服务三：设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 以前：面向代码片段的串行交付 现在：面向多个服务编排的产品级自动化并行交付 服务一： | 构建 | 部署 | 测试 | 发布 服务二： 服务定义 | 构建 | 部署 | 测试 | 发布 服务三： 服务定义 | 构建 | 部署 | 测试 | 发布 代码一： 代码编写 | 构建 | 部署 | 测试 | 发布 代码二： 代码编写

Samba 或 NFS 实现文件共享，使用 BIND 提供域名解析服务，使用 DHCP 动态管理主机地址，使用 Postfix 与 Dovecot 部署邮件系统，使用 Ansible 服务实现自动化运维，使用 iSCSI 服务部署网络存储，使用 MariaDB 数据库管理系统，使用 PXE+Kickstart 无人值守安装服务，使用 LNMP 架构部署动态网站环境等。此外， 本书的配套站点还深度点评了红帽 .................................................................................. 99 4.3.1 if 条件测试语句 .............................................................................................. 100 ............................................................................... 104 4.3.4 case 条件测试语句 .......................................................................................... 106

最小硬件要求 架构 ARM64、x86_64 内存 为了获得更好的体验，建议不小于 4GB 硬盘 为了获得更好的体验，建议不小于 20GB openEuler 安装时，应注意虚拟机的兼容性问题，当前已测试可以兼容的虚拟机及组件列表如下： • centos-6 qemu 6.2.0-79.oe2309 libvirt 6.2.0-59.oe2309 virt-manager 4.1.0.2-oe2309 Management），提供了异构内存互联的中心化管理机制，且 GMEM API 与 Linux 原生内存管理 API 保持统一，易用性强，性能与可移植性好。 加速器使用 GMEM API 将内存接入统一地址空间后，可自动获得 GMEM 面向异构内存编程优化的能力。与此同时，加 速器驱动无需重复实现内存管理框架，大幅降低开发维护带来的成本。 开发者使用一套统一申请、释放的 API，即可完成异构内存编程，无需处理内存搬移等细节。在加速器 r 内存消息交互框架提供了设备接入抽象层。在统一的地址空间下，GMEM 可以在数据需要被访问或换页时，自动地迁移数 据到 OS 或加速器端。 功能描述 Host Device GMEM API Process Main Remote Pager GMEM( 异构内存 ) GMEM Remote Pager GMEM( 异构内存 ) Co-process 统一虚拟地址空间 mmap/hmadvise

org/debian-devel/) Debian 新维护者手册 5 / 57 在搜索时你可以在搜索引擎中使用类似这样的字符串:site:lists.debian.org ，以此限制域名从而提高效率。 制作小的测试软件包是学习打包细节的好方法，仔细查看维护较好的软件包则是了解他人如何制作软件包的最佳办法。 如果你仍然对打包存有疑问，并且在文档和 WEB 资源中都不能找到答案，你可以交互式地向他们提问： • 有些比较简单的程序源码自己带有 Makefile, 这时你可以很容易地使用 make 命令来编译它。⁸ 有一些软件的 Makefile 还支持 make check，这个命令可以完成一系列程序检验和测试。当程序编译好后即可用 make install 命令，将 程序安装到目标目录。 ⁶当通过文件扩展名不足以判断文件类型时，可以使用 file 命令来判断。 ⁷这个程序已经被打包好了。当前的版本 (http://packages fr/~adl/autotools.html) 以及 /usr/share/doc/autotools-dev/README.Debian.gz 的本地副本。 10软件包 dh-autoreconf 可以帮助你将这个过程自动化。参见第 4.4.3 节. 11在 aptitude 工具中，软件包名字段的默认最大长度为 30。而 90% 以上的软件包包名都少于 24 个字符。 Debian 新维护者手册 11 / 57

文档目的 面向使用云管理平台在线申请 IT 资源、应用运行环境的项目组应用开发测试、应用运 维人员，通过该手册了解云管平台的用户侧功能及相应的使用场景、操作使用方法。 1.2 阅读对象  应用开发测试人员  应用运维人员  云管平台实施人员 1.3 名词术语 名词 解释 基础架构平台 指为业务系统开发测试、运行提供运行环境资源的各类虚拟化平 台、超融合平台、私有云平台以及公有云平台。 形成统一的资源池。比较知名常见的超融合平台有 Nutanix、戴 尔的 VxRail，国内的 SmartX、青云超融合。 运维支撑工具平台 指运维工作中帮助运维的各种运维工具平台，如 CMDB、ITSM、 监控平台、自动化作业工具、备份工具、漏洞扫描工具等等。 VMware 平台 虚拟化平台市场中占有率最大的平台，多数大中型企业 IT 都采用 了 VMware 虚拟化平台。 OpenStack 是主流的私有 主流的硬件负载均衡产品，一直以来市场占有率非常高，直到 2021 年 3 月才被深信服超越。 云账号 用于 Human 用户登录云平台 Web 控制台的账号，以及用于给 应用通过 API 操作云平台需要的授权云平台 API 账号。 项目生命周期 指项目从开发测试、投产到系统运维、应用运维的整个过程。 杭州飞致云信息科技有限公司 7 应用系统 由多个应用组成的分布式系统。 应用 指独立部署运行的应用程序。 应用运行环境