总体架构 项目背景 1 产品与技术详情 3 建设思路与整体方案 2 今⽇话题 租户体系 DEVOPS 微服务 容器平台 安全管理 瑞道容器云平台 以容器平台功能为支撑， 实现应用的容器化托管， 解决环境一致性，部署 架构复杂等问题 通过租户体系保证租户 资源相互隔离，支撑多 租户场景 通过安全体系来保障 DevOps过程中的安全问 题 项⺫管理 快速迭代开发，更短的发布周期， 全链路指标统计，为持续改进提 供数据⽀撑 学习培训 保障平台使⽤效果，快速实践落 地 DEVOPS⼯具 DEVOPS体系构成 企业级DEVOPS全景图 调度 ⺴络 存储 K8S 基础设施 租户管理与申请 ⼈员初始化 ⾓⾊权限职责 企业场景建设 配额管理 应⽤⺫录 DevOps⼯具链 其他⼯ 具 DevOps ⼯具 初始化 ⼈员⾓⾊权限 初始化 配额管理 ⼯具链⽀撑体系 平台与工具权限打通 • 平台与工具租户联动 • 平台与工具深度集成 • 容器化持续集成与交付 平台管理员 租户管理员 • 部署或导入集群 • 创建租户 • 指定租户管理员 • 将集群资源分配给租户 • 部署或集成 DevOps 工具 • 创建工具资源 • 将工具资源分配给租户 • 在集群中创建环境（namespace） • 设定环境资源配额 • 在租户下创建小组 • 将用户添加到小组

次级密钥均在持久化存储中 • 页级密钥与数据共存 主密钥 用户创建 用户信任域 主密钥 租户密钥 用户创建 租户创建 用户信任域 持久化存储区域 主密钥 租户密钥 表密钥 用户创建 租户创建 表创建 用户信任域 持久化存储区域 主密钥 租户密钥 表密钥 页密钥 用户创建 租户创建 表创建 数据写入 用户信任域 持久化存储区域 数据存储区域 透明加密实现细节 加密算法库 租户密钥生成 主密钥 用户信任域 租户创建请求 租户密钥生成 主密钥 用户信任域 密钥生成 租户创建请求 加密 租户密钥生成 持久化存储区域 主密钥 用户信任域 密钥生成 租户创建请求 加密 存储 次级密钥生成 对应存储区域 密钥生成 查询请求 加密 存储 密钥储存区 上级密钥 租户密钥读取 持久化存储区域 用户信任域 解密 主密钥 租户密钥读取 持久化存储区域 主密钥 用户信任域 密钥储存区 存储 解密 租户密钥读取 持久化存储区域 主密钥 用户信任域 密钥储存区 存储 解密 定时器 次级密钥读取 对应存储区域 内存 存储 解密 定时器 上级密钥 密钥储存区 PART 04 总结 总结 • 用户侧 • 符合审计流程 • 用户无感知 • 业务不变化 • 研发侧 • 不影响内核迭代 • 独立模块，方便后续扩展

FRAMEWORK 常用术语表 2.4. OPERATOR LIFECYCLE MANAGER (OLM) 2.5. 了解 OPERATORHUB 2.6. 红帽提供的 OPERATOR 目录 2.7. 多租户集群中的 OPERATOR 2.8. CRD 第 第 3 章 章 用 用户 户任 任务 务 3.1. 从已安装的 OPERATOR 创建应用程序 3.2. 在命名空间中安装 OPERATOR 第 CSV 而需创建的资源的计算列表。 2.3.1.10. 多租 多租户 OpenShift Container Platform 中的 租户 是为一组部署的工作负载（通常由命名空间或项目表示）共享共 同访问权限和特权的用户或组。您可以使用租户在不同的组或团队之间提供一定程度的隔离。 当集群由多个用户或组共享时，它被视为 多租户 集群。 2.3.1.11. operator 组 Operator 态来识别 是否有较新版本的 Operator 可用。与 currentCSV 字段关联的值是 OLM 已知的最新版本，而 installedCSV 是集群中安装的版本。 其他 其他资源 源 多租户和 Operator 共处 使用 CLI 查看 Operator 订阅状态 apiVersion: operators.coreos.com/v1alpha1 kind: Subscription

务器、负载均衡、云数据库等实例的网络访问控制，控制实例级别的出入 流量，是重要的网络安全隔离手段。可以通过配置安全组规则，允许或禁 止安全组内的实例的出流量和入流量。 弹性 IP 是私有云、公有云中租户能够申请获取保留专用的公网 IP 地址。在私有云、 公有云中，如果指定给虚拟机分配公网 IP，虚拟机停止后再启动会自动分 配一个新的公网 IP，及公网 IP 地址会发生变化，会导致无法使用之前的公 作为管道变得更加智能，为核心网络及应用的创新提供了良好的平台。 VPC Virtual Private Cloud, 是私有云和公有云平台用于租户隔离的网络，包括 多个子网、ACL。私有云和公有云会被多个租户使用，需要解决不同租户 之间的网络隔离问题，给租户提供一个安全、独立的私有网络。 子网 IP 地址是以网络号和主机号来表示网络上的主机的，只有在一个网络号下 的计算机之间才能“直接”互通，不同网络号的计算机要通过网关 运维管理数据同步等方面场景。 IT 运营 主要指 IT 资源投入统计分析、浪费分析，持续分析优化及时回收方面场景。 杭州飞致云信息科技有限公司 13 1.4 整体功能说明  支持多门户，面向系统管理员、租户管理员、租户用户提供不同的门户，全中文界面， Web 化的、一致性的友好用户界面， 支持常见浏览器访问（至少支持 IE9+版本、 Firefox 及 Chrome 最新版本）。支持自定义界面主题风格、Logo

SFTP ⽂件上传 / 下载；实现 Web SFTP ⽂件管理； ⼯单管理（X-Pack） ⽀持对⽤户登录⾏为进⾏控制；⽀持资产授权⼯单申请；⽀持⼆级审批流程； 组织管理（X-Pack） 实现多租户管理与权限隔离；全局组织功能； 访问控制（X-Pack） ⽀持⽤户登录资产时访问控制，包括接受、拒绝和复核； 账号管理 Accounting 账号列表 ⽀持查看所有账号信息； 账号模版 X-Pack X-Pack JumpServer 提供的特⾊功能 体验极佳的 Web Terminal ⼴泛类型 资产⽀持 超⼤规模 分布式资产⽀持 ⽀持审计录像 的云端存储 内置多租户体系 软件 / 硬件 灵活选择 体验极佳的 Web Terminal Linux Web Terminal Windows Web Terminal - 兼容纯浏览器和传统终端的访问模式 - NFS DC 特⾊功能 内置多租户体系 管理员 组织 / 分公司 / ⼆级单位 组织 / 分公司 / ⼆级单位 组织 / 分公司 / ⼆级单位 组织管理员 组织管理员 组织管理员 权限管理 权限管理 权限管理 ⽤ 户 账 号 资 产 ⽤ 户 账 号 资 产 ⽤ 户 账 号 资 产 独⽴管理 独⽴审计 统⼀管理 统⼀审计 - 多租户使⽤管理模式 - 特⾊功能 软件

的工作负载之间共享 1.4.2. 单租赁部署模型 在 Istio 中，租户是为一组部署的工作负载共享共同访问权限和特权的用户组。您可以使用租户在不同的 OpenShift Container Platform 4.8 Service Mesh 32 在 Istio 中，租户是为一组部署的工作负载共享共同访问权限和特权的用户组。您可以使用租户在不同的 团队之间提供一定程度的隔离。您可以使用 istio.io licies 和 exportTo 注解来隔离对不同租户的访问。 从 Red Hat OpenShift Service Mesh 版本 1.0 开始，单租户、集群范围的 Service Mesh control plane 配 置已弃用。Red Hat OpenShift Service Mesh 默认为多租户模型。 1.4.3. 多租户部署模型 Red Hat OpenShift Service Service Mesh 安装了一个 ServiceMeshControlPlane，它默认配置为多租户。Red Hat OpenShift Service Mesh 使用多租户 Operator 来管理 Service Mesh control plane 生命周期。在网格 内，命名空间用于租期。 Red Hat OpenShift Service Mesh 使用 ServiceMeshControlPlane

Zipkin。启用网关时，只启用 OpenTelemetry 协议 (OTLP) gRPC。 在 Query Frontend 服务上公开 Jaeger Query gRPC 端点。 支持没有网关身份验证和授权的多租户。 1.4.4.2. 程序 程序错误 错误修复 修复 在此次更新之前，Tempo Operator 与断开连接的环境不兼容。在这个版本中，Tempo Operator 支持断开连接的环境。(TRACING-3145) 计划在以后的 Red Hat OpenShift distributed tracing Platform 版本中对 Tempo Operator 提供支持。可 能的额外功能可能包括对 TLS 身份验证、多租户和多个集群的支持。如需有关 Tempo Operator 的更多 信息，请参阅 Tempo 社区文档。 1.5.4. 程序错误修复 此发行版本解决了 CVE 报告的安全漏洞问题以及程序错误。 1 distributed tracing 平台 (Jaeger) 实例应具有唯一的名称，注入注解应该明确指定追 踪数据的名称。 如果您有多租户实现，且租户由命名空间分开，请将 Red Hat OpenShift distributed tracing Platform (Jaeger)实例部署到每个租户命名空间中。 有关配置持久性存储的详情，请参考了解持久性存储以及您选择的存储选项的适当配置主题。 3.2.6.2.

Nodes Compute Node Compute Node Controller Nodes Compute Node Compute Node Storage Nodes 多租户隔离的容器和 虚拟机组合网络 kube-proxy的负载均衡原理 对外发布服务——浮动IP模式 对外发布应用服务 利用端口映射节省IP 多用户共享Kubernetes集群 通过二级域名发布服务 PaaS层网络 适用场景 Calico Kuryr 不需要多租户隔离，大量使用容器技术，对性能 要求很高 Overlay Kuryr 需要多租户隔离，需要统一管理容器网络和虚拟 机网络，将容器用作轻量级虚拟机，对性能要求 较高 Overlay Calico 需要多租户隔离，对容器网络的管理独立于虚拟 机网络 Overlay Overlay 需要多租户隔离，对容器网络的管理独立于虚拟 机网络，对性能要求不高；快速集成，用于测试 fedora- 23-atomic 要点总结 ØKubernetes+OpenStack=容 器和虚拟机组合服务 ØKubernetes专为生产环境打造 的容器集群系统 Ø支持多租户的网络解决方案： 租户隔离、负载均衡、外网访 问、端口映射、二级域名 轻元数据中心操作系统 http://www.qingyuanos.com/opening.html sales@qingyuanos

用户专注于使用，运维等工作交给IaaS/SaaS厂商 @2022 OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 OpenPie. All rights reserved. OpenPie Confidential • 将一个单一计算任务在大量独立的计算机上并行执行。 • 多租户、多集群 • 弹性伸缩：集群大小、集群类型、集群数量 • 隔离性：不同租户、不同负载 • 高并发 • 高可用 • 可按使用量付费 @2022 OpenPie. All rights reserved. OpenPie Confidential • 多租户隔离 • 容量和带宽独立于计算伸缩 • 可按使用量付费 • rights reserved. OpenPie Confidential • ACID - 支持两种隔离级别：读已提交、可重复读 • 扩展性 - 事务管理器无单点性能瓶颈 • 隔离性 - 不同租户之间的事务管理器是完全隔离的，不会相互影响 • 容错性 - 事务管理器支持对各类基础设施故障进行自动容错 事务 @2022 OpenPie. All rights reserved. OpenPie