多雲一體就是現在: GOOGLE CLOUD 的 KUBERNETES 混合雲戰略 安玟宇 Wayne An Customer Engineer, Google Cloud WayneAn@google.com 安玟宇 Wayne An Customer Engineer, Google Cloud WayneAn@google.com 多雲一體就是現在: Google Cloud 涵蓋Web/App/DB皆有多 樣化代管服務可以組合出 最適架構 自動化部署 與開放平台以及開發環境 整合，加速應用上線 Google Cloud Taiwan 優勢 Google Infrastructure event driven functions web apps & APIs orchestrate containers infrastructure 使用多層次的架構重塑雲端佈署

客户的需求不仅仅是更多的计算能力 Ø 安全性：更小的Attack Surface Ø 易于提供有状态服务 Ø 传统应用容易迁移 Ø Windows应用容易迁移 Ø 易于部署单体应用 Ø 用于桌面云 Ø 多服务单服务器部署 云平台技术的选择 云平台技术选型 容器编排系统的选择 ——Kubernetes的优势 vs. Mesos and Swarm Ø 来自Google的简单一致的设计理念 原生为容器集群打造 Ø 原生服务发现 Ø 统一的资源模型 Ø 支持丰富的标签Label发现机制 Ø 原生负载均衡，高可用方案 Ø 原生的Rolling Update设计 Ø 为生产环境专门打造的容器集群 Ø 多镜像Pod Ø 多种业务类型：Service+RC/Job/DaemonSet Ø 自动伸缩：AutoScaler Ø 多种Volumn驱动 Ø emptyDir, hostPath, gcePersistentDisk persistentVolumn, persistentVolumnClaim Kubernetes的统一资源模型和 丰富的标签选择器 Kubernetes的架构 Ø Pod： 最小部署单元，可支持多容器镜像 Ø RC：控制Pod的个数和Pod的生命周期 Ø Service：服务入口，由Kube-proxy支持负载均衡 Ø 原生负载均衡，高可用方案 Kubernetes所支持的存储卷类型 Kubernetes最新支持的资源类型

络、云原生存储、信创异构 中间件服务 专为有状态应用设计的云原生本地存储能力，满足中间件高 I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 用软件，面向企业实际业务需 求，打造完整的解决方案体系。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 应用交付 通过一致性可推广的应用交付流程实现自助式上云，支持柔性租户体系，动态适配用 户组织架构规划和实时资源分配，基于云原生化的 CI/CD 流水线，集成丰富的工具链 并支持流水线高效并发执行流转，自动化完成应用的构建、部署，创新性引入 Gitops、渐进式交付能力体系，实现应用更精细的管理运维。 云原生底座 提供云原生计算、网络、存储等能力，兼容各种集群接入，支持集群从部署、版本升 级、证书变更、配置变更、回收等全生命周期管理，突破 K8s API 性能瓶颈，实现企 业超大规模用户并发使用多集群。针对企业环境，提供场景化的网络方案，实现当前 企业网络基础设施复用的最大化，降低企业使用云原生应用门槛。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 模块化搭建 DCE

构建集群与管理理资源 - 73s 视频演示 多集群和镜像仓库 多租户和旧系统的集成 运⾏行行和构建应⽤用 Rudder - 应⽤用编排技术框架 Cyclone - 持续集成与交付引擎 运⾏行行 AI 应⽤用（机器器学习） - 58s 视频演示 Kubeflow 的应⽤用 Kubeflow 之上 构建集群与管理理资源 多集群和镜像仓库 • 企业想要的 • 隔离性和安全性 K8s - 单『控制集群』， 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』，多仓库集成 管理理集群和节点 • 技术概览 • cloud provider • custom resource • ansible 管理理镜像仓库 • Cargo （内部项⽬目）- ⽣生产级镜像仓库解决⽅方案，基于 • ⼀一键⾼高可⽤用部署和维护 • 为多租户和复杂权限集成⽽而增强 『token 『token service』 • 管理理基于规则的镜像仓库 • 其他企业需要的优化功能 企业典型的多租户模型 租户 Tenant User User group Namespace Deployment Registry 
 project CI/CD workspace Pod … resources CPU quota MEM quota Storage

-才云整体解决方案 海尔工业互联网 - 才云整体解决方案 多集群管理 存 储 网 络 混合云 监控日志 基础服务 镜像仓库 认证鉴权 资源管理 面向业务开发 CI/CD 微服务 应用商店 面向业务管理 弹性伸缩 API Gateway 负载均衡 应用编排 日志监控 告警 服务发现 API 业务中台 多租户管理 运维中台 云端操作系统 数据中台 面向数据与智能 数据存储方式: • OpenTSDB • Prometheus • ES 数据展现方式: • 自开发页面 • Kibana 海尔工业互联网 – 才云数据解决方案 Clever 提交多框架（TensorFlow、PyTorch 、MxNet等）的模型训练作业，支 持分布式和 GPU 加速，以及训练过 程的可视化。 模型训练 模型版本管理，模型推理服务的部署 、监控、管理和升级，提供 集群，因为可能受到vpn 等网络的限制 6. 这些分布在各个工厂的零散的机器上跑的容器服务就称 为边缘容器服务 7. 海尔希望有一个多租户平台既能管理多个 k8s 集群，也 能把这些边缘节点管理起来，为每个租户提供 k8s 分区 资源和边缘节点资源。 租户资源 NS NS NS NS NS NS Dev K8S Cluster NS NS NS NS NS NS

容器管理、编排调度、资源隔离 驱动层实现资源抽象 自由切换，到处运行 Sealos API Sealos CLI Desktop 裸金属 AWS 阿里云 更多······ boot 集群镜像 租户管理 应用管理 函数计算 消息队列 数据库 缓存 计算驱动 网络驱动 存储驱动 自由组装 内聚解耦 化整为零 大道至简 sealos 的能力 • 10 秒上线一个自带域名和 https mysql/pgsql/mongo/redis 数据 库 • 写代码像写博客一样简单 • AI 自动编码，毫秒级上线，0 运 维 数据库管理 mysql/pgsql/mongo/ redis 等多种数据库 数据库多主架构高 可用 数据库备份恢复， 故障自愈 数据库管理工具， 监控告警 Userlnterface API/CLI/GUI Cilium Gvisor/Containerd OpenEBS LVM 计算 储存 网络 kubernetes SaaS服务 30min 1人 一键打包 整体交付 一次建构 到处运行 使用sealos 技术实现 行业 痛点 在公网不可信的环境中提供多 租户共享一个kubernetes集群 的能力， ，如etcd存储， k8s apiserver，对象存储，数 据库等 技术 方案 优势 利用 等技术可做到计算安 全隔离，存储隔离且获得本地

Replicas: 3 ContainerImage2 Replicas: 2 复制控制器Replication Controller • 自动恢复 • 手动扩展 • 滚动更新 • 多版本追踪 Worker (Container Host) P1R1 Worker (Container Host) P1R2 P2R1 P1R1 P2R1 Worker 组件都封装成容器，很方便部署在容器平台上 • 需要灵活地配置和调整 • Kubernetes优势 • 面向微服务架构的容器平台，扩展方便 • 提供高可用、监控管理、自动化运维等能力 • 具备多租户的能力，可运行多个互相隔离的 Fabric实例 SACC2017 Worker1 Worker2 Master Fabric Pod Fabric Pod Fabric （Pod）都接入到这个网络。 • K8s的namespace与Fabric的organization做映射，org通 过域名进行区分。 • 采用namespace分隔各个组织的组件，配上网络策略来实 现多租户的能力。 31 架构 - 网络 (1) SACC2017 • Chaincode容器的不在Kubernetes管理范围内，因此worker 都需对docker daemon进行DNS配置。

总体架构 项目背景 1 产品与技术详情 3 建设思路与整体方案 2 今⽇话题 租户体系 DEVOPS 微服务 容器平台 安全管理 瑞道容器云平台 以容器平台功能为支撑， 实现应用的容器化托管， 解决环境一致性，部署 架构复杂等问题 通过租户体系保证租户 资源相互隔离，支撑多 租户场景 通过安全体系来保障 DevOps过程中的安全问 题 项⺫管理 快速迭代开发，更短的发布周期， 全链路指标统计，为持续改进提 供数据⽀撑 学习培训 保障平台使⽤效果，快速实践落 地 DEVOPS⼯具 DEVOPS体系构成 企业级DEVOPS全景图 调度 ⺴络 存储 K8S 基础设施 租户管理与申请 ⼈员初始化 ⾓⾊权限职责 企业场景建设 配额管理 应⽤⺫录 DevOps⼯具链 其他⼯ 具 DevOps ⼯具 初始化 ⼈员⾓⾊权限 初始化 配额管理 ⼯具链⽀撑体系 平台与工具权限打通 • 平台与工具租户联动 • 平台与工具深度集成 • 容器化持续集成与交付 平台管理员 租户管理员 • 部署或导入集群 • 创建租户 • 指定租户管理员 • 将集群资源分配给租户 • 部署或集成 DevOps 工具 • 创建工具资源 • 将工具资源分配给租户 • 在集群中创建环境（namespace） • 设定环境资源配额 • 在租户下创建小组 • 将用户添加到小组

5个maintainer，commits 3144  CNCF初创成员，国内唯一白金会员  K8S社区技术指导委员会13席位之一，国内唯一  首批KSCP认证厂商之一  主导核心设计：主导设计集群联邦，支持多调度器框架、亲和性调度 策略， 集群部署、运维监控增强 ，安全加固 CNCF & Kubenetes 社区  全球TOP3、国内TOP1贡献： 7个maintainer，commits 1200+ CNCF/OCI基金会的初创会员、白金会员， K8S TOC 成员，12个 Maintainer 8 计算（ECS/BMS/ARM） 存储（EVS/OBS/SFS） 网络（VPC/EIP） 多样的生态接入 • 支持多语言多框架服务接入 • 支持第三方模板和镜像快速部署 完全开放的原生平台 • 紧跟Kubernetes和Docker社区，迅速同步最新版本 • 支持原生API调用和命令行操作 增强的商用化特性 • 容器引擎CCE：基于开源Kubernetes和Docker技术的企业级容器服务 开源原生平台 商业增强特性 控制面 HA 跨AZ高可用 容器优雅缩容 多策略弹性伸缩 镜像加速 滚动升级 配置模板化 自动化构建 自动化部署 节点自动伸缩 GUI/CLI/API 物理共享集群 多语言多框架 Java/Python/Go/Node.js 第三方模板&镜像部署 K8S Helm/Docker Hub 第三方服务&工具