企业的云原⽣生之旅 集群 规划、部署和运营 1 多集群 统⼀一管理理 2 基于 K8S 的 PaaS 服务 3 微服务架构 4 DevOps 5 - 规划、部署和运营⽣生产级别的 Kubernetes 集群是企业踏上云原⽣生之旅的第⼀一步 - ？ Kubernetes 集群规划、部署和运营中所⾯面临的问题 Day0 规划 Day1 部署 Day2 运营 开源容器器平台的技术优势 KubeOperator 开源容器器平台企业版 KubeOperator 的使命 KubeOperator 是开源的轻量量级 Kubernetes 发⾏行行版，专注于帮助企业规划、部署和运营 ⽣生产级别的 Kubernetes 集群。 计算 ⽹网络 存储 ⽤用途 ⼀一键部署 可视化安装 管理理 备份 伸缩 监控 ⽇日志 Day 0 Day 1 Day 等 物理理机 / vSphere / OpenStack / FusionCompute 等 Ansible / Terraform CentOS / RHEL / EulerOS 集群规划 集群部署 集群运维 集群升级 集群伸缩 集群备份 应⽤用商店 开源的轻量量级 Kubernetes 发⾏行行版 KubeOperator 的技术优势 按需创建 ⼀一键创建和部署 K8S 集群

应⽤ 数据 技术 应⽤ 数据 技术 应⽤ 数据 • 标准不统⼀ • 重复录⼊ • 数据不⼀致… 技术平台 • 规范不⼀致 • 组件不复⽤ • 集成共享难… 应⽤ • 功能单⼀ • 管理型居多 • 适应性不⾜… 系统建设 • 建设周期⻓ • 存在重复建设 • 投资回报低 • 系统维护成本⾼… 系统应⽤ • 数据分散，到处找 • 应⽤独⽴，难协同 • 协同研究 经营管理与决策 总体架构 项目背景 1 产品与技术详情 3 建设思路与整体方案 2 今⽇话题 租户体系 DEVOPS 微服务 容器平台 安全管理 瑞道容器云平台 以容器平台功能为支撑， 实现应用的容器化托管， 解决环境一致性，部署 架构复杂等问题 通过租户体系保证租户 资源相互隔离，支撑多 租户场景 通过安全体系来保障 DevOps过程中的安全问 题 项⺫管理 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 运营统计 编译打 包 代码质量 管理 多语⾔ 构建 安全管控 构建实 践 测试管理 功能测 试 性能测试 接⼝测 试 产出物管 理 持续构建与测试 ⾃动部 署 配置管理 环境管 理 数据库变 更 运维监 控 通知反馈 部署策 略 持续交付 ⼯具链 最佳实践

申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 版权 © 2023 DaoCloud 第 5 页 微服务治理 提供非侵入式流量治理功能，支持无感接入传统微服务、云原生微服务和开源微服务 框架，实现企业现有微服务体系及新旧微服务体系的融合治理，支持微服务从开发、 部署、接入、观测、运维的全生命周期管理，提供高性能云原生微服务网关，保证微 求，打造完整的解决方案体系。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 应用交付 通过一致性可推广的应用交付流程实现自助式上云，支持柔性租户体系，动态适配用 户组织架构规划和实时资源分配，基于云原生化的 CI/CD 流水线，集成丰富的工具链 并支持流水线高效并发执行流转，自动化完成应用的构建、部署，创新性引入 Gitops、渐进式交付能力体系，实现应用更精细的管理运维。 企业网络基础设施复用的最大化，降低企业使用云原生应用门槛。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 模块化搭建 DCE 5.0 所包含的各个模块可以像乐高积木一样灵活搭建。 模块名称 功能和作用 安装器 基于 Kubean 自动化安装所需模块 容器管理 管理集群/节点/负载等基础设施 全局管理 设置登录、访问权限、外观 可观测性 一站式图形化仪表盘 应用工作台

............................. 32 （一）架构方面，云计算支撑算力服务以数据为中心.................................. 32 （二）功能方面，云计算持续驱动算力服务创新发展.................................. 34 （三）模式方面，云计算重构算力服务供需新模式.................... 月，党的二十大报告强调，推动战略性新兴产业融 合集群发展，构建新一代信息技术等一批新的增长引擎。云计算作 为新型数字基础设施，已成为新一代信息技术的核心引擎。2022 年 12 月，国务院发布《扩大内需战略规划纲要（2022-2035 年），提出 云计算白皮书（2023 年） 10 要加快建设信息基础设施，推动云计算广泛、深度应用，促进“云、 网、端”资源要素相互融合、智能配置。2023 年 1 月，工业和信息 调结构强能力若干措施》 加强平台服务赋能。推动 25 万家 中小企业上平台上云。对中小企业 与数字化服务商签订的服务合同 给予不超过合同金额 30%的支持。 2022.6 《上海市数字经济发展“十四五” 规划》 培育数据新要素，推动形成数字贸 易引领优势，大力发展云服务、数 字服务、跨境电子商务等数字贸 易；提升数字新基建，大力发展云 原生产业。 广东 （深圳） 2023.5 《深圳经济特区质量条例》

Apache PaaS ��! …! 在企业级架构中，Kubernetes 更多是作为一个核心组件进行部 署。在这个核心组件的外围，我们还有其他的功能需要提供。 用户管理 • 按资源组和层级用户的区分 用户访问权限管理 根据用户功能组进行访问验证 用户操作日志 • 对用户的操作进行记录 • 对用户的资源使用状况进行统计 • 对多用户的资源使用状况进行统计 监控 模型训练会耗费巨大的资源并且长时间占用 • 多个用户在模型训练时需要通过队列的方式来解决资源短缺 问题 • 需要对不同用户进行资源池划分 模型管理与发布 • 模型发布： • 模型服务的负载均衡 • 硬件资源的规划 • 模型管理： • 模型的版本 • 模型的类型 研发环境与生产环境隔离 • 硬件资源互相隔离 • 网络资源相互连通 资源监控及分配策略 • 用户资源的限制 • - ● 用户／硬件资源监控 ● 易用的模型／服务部署 ● 商业级的模型服务平台 TaaS 主要功能列表 功能类别 功能 公有云 私有云 企业级功能 用户权限管理 N/A 有 存储管理 N/A 有 资源管理 N/A 有 个人研发功能 模型训练 有 有 模型上线服务 即将上线 有 原生态 TensorBoard 支持 即将上线

Kubernetes是⼀个旨在⾃动部署、扩展和运⾏应⽤容器的开源平台 。 使⽤Kubernetes，您可以快速有效地回应客户需求： 快速、可预测地部署应⽤。 动态缩放您的应⽤。 ⽆缝地推出新功能。 仅对需要的资源限制硬件的使⽤ 我们的⽬标是构建⼀个⽣态系统，提供组件和⼯具以减轻在公共和私有云中运⾏应⽤程序的负担。 Kubernetes是 可移植: 共有、私有、混合、多云 可扩展: 运⾏ 在⼀个⼤型机上的单体。 01-什么是Kubernetes 5 资源隔离：可预测的应⽤程序性能。 资源利⽤：效率⾼，密度⾼。 为什么我需要Kubernetes，它能⼲啥？ 最基本的功能：Kubernetes可在物理机或虚拟机集群上调度和运⾏应⽤容器。然⽽，Kubernetes还允许开发⼈员将物理 机以及虚拟机 “从主机为中⼼的基础设施转移到以容器为中⼼的基础设施”，从⽽提供容器固有的全部优势。 authorization 这提供了PaaS的简单性，并具有IaaS的灵活性，并促进了跨基础架构提供商的可移植性。 Kubernetes是⼀个怎样的平台？ 尽管Kubernetes提供了⼤量功能，但总有新的场景从新功能中受益。应⽤程序特定的⼯作流程可被简化，从⽽加快开发 ⼈员的速度。可接受的特别编排最初常常需要⼤规模的⾃动化。这就是为什么Kubernetes也被设计为提供构建组件和⼯ 具的⽣态系统，使其更容易部署，扩展和管理应⽤程序。

式的应⽤用托管服务平台，帮助开发者⼀一站 式轻松开发并部署应⽤用程序。KUN底层基 于 Kubernetes ，提供⾼高可⽤用，在线升 级，⾃自动扩缩，负载均衡，⽇日志查看，资 源监控，等多种功能。 KUN 运维管理理 监控 ⽇日志 权限 分析 集群管理理 版本管理理 配置管理理 链路路跟踪 负载均衡 ⾃自动容灾 持续集成 持续部署 灰度发布 服务注册/发现 关系数据库 KV存储 Exporter，进⾏行行各种功能的拨测，提供 metrics； • 使⽤用 Alert Manager 聚合报警，调⽤用 Monitor Manager 提供的 Web Hook； • ⾃自研 Monitor Manager： A. 提供 Web Hook 给 Alert Manager，实现告警信息的发送，发送渠道包括邮件和微信； B. 告警组管理理； C. 互相监控探测功能； • 使⽤用 Master节点部署在公有云上。Node节点分为公有云区 和托管区两部分，两个区的⽹网络实现了了互联互通。 • Node上都采⽤用underlay模式的cni插件，保证node/ pod/公有云上其他资源都可以互通，需要规划好⽹网段 保证互不不冲突。 • 公有云上underlay模式cni插件已经实现 • 托管区underlay模式cni插件可有以下⼏几种⽅方法实现： A. 基于⾃自定义路路由 B. 基于⼆二层bridge

chart 图表，海图 ①k8s对系统要求 linux内核在3.10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master 结点）到对应的ip地址，可以使用内网集群的dns服务器或写入/etc/hosts文件 里。如： 主机名 com 10.99.1.53 k8s-node01.cof-lee.com 10.99.1.61 k8s-node02.cof-lee.com 10.99.1.62 规划Pod网络： 10.244.0.0/16 规划Service网络： 10.7.0.0/16 # pod网络和service网络都要求为16位的地址块，且不能与环境中其他网络地址 段冲突 # hostnamectl set-hostname github.io/scripts/kube-flannel-v0.13.0.yml # vi kube-flannel.yml #将里面的net-conf.json下面的Network网段改为规划的pod网段 #默认使用的docker镜像是quay.io/coreos/的仓库，可改为自己集群的docker仓库 保存，退出 # kubectl apply -f kube-flannel.yml

Kubernetes 问题驱动 • Kafka 资源规划不不合理理 • 单⼀一集群造成系统单点 • 不不区分集群和 Topic 等级，影响重要业务 • 业务与 Kafka 深度耦合 多 Kafka 集群⽅方式 根据 Topic 类型划分集群 同⼀一类型 Topic 的集群细分 • Topic 服务等级、容量量和规模划分 资源规划 多变需求引发集群规模增⻓长 • Broker, Topic