Kubernetes安全求生指南 ©2019 VMware, Inc. 2  您的Kubernetes環境夠安全嗎?  Kubernetes安全最佳實務  VMware Enterprise PKS平台如何實踐K8s與容器的安全強化  最困難的部分其實是....  總結 本日議程 3 ©2019 VMware, Inc. 您的Kubernetes環境夠安全嗎? ©2019 VMware, Inc. 4 ​整個Kubernetes運作環境是相當不安全的....  原生Kubernetes在安全設計上就有許多改善空間  公版Kubernetes許多預設值是不適當的  關於網路層級的安全實際上還有許多地方並未涵蓋  設計上並不特別考慮企業多團隊/多應用的分工與隔離  有非常多層次例如: 容器/映像/作業系統/基礎架構也須涵蓋 您知道所謂 “安全”的“標準”是什麼?  這些“標準”涵蓋範圍夠嗎? 足夠讓我們安心推上生產嗎?  我們具體該怎麼做來強化安全?  我們怎麼知道我們做強化安全以後有滿足這個標準...還是這些標準?  我們該如何確保安全性在未來開發/維運一直維持達標?  我們如何用最低的負荷與最快的速度完成上述任務? 隨便Google就可找到好幾卡車的Kubernetes安全最佳實務/指南

模块化搭建 8 容器管理 9 全局管理 10 可观测性 10 应用工作台 11 多云编排 11 微服务引擎 12 服务网格 13 中间件 14 镜像仓库 14 云原生网络 15 存储 17 参考文档 18 版权 © 2023 DaoCloud 第 3 页 简介 DaoCloud Enterprise 并支持流水线高效并发执行流转，自动化完成应用的构建、部署，创新性引入 Gitops、渐进式交付能力体系，实现应用更精细的管理运维。 涉及的模块：全局管理、容器管理、应用工作台、云原生网络、云原生存储、镜像仓 库 版权 © 2023 DaoCloud 第 7 页 信创异构 采用信创云原生技术架构，兼容国产芯片及服务器，支持信创操作系统及信创应用生 态体系，屏蔽底层异构基础设 DaoCloud 第 9 页 中间件 RMQ, Kafka, ES, Kafka, MinIO, MySQL, Redis, PG, MongoDB 镜像仓库 基于 Harbor, Docker Hub 构建的镜像集成和托管服务 网络 多 CNI 融合方案 存储 容器化存储综合方案 容器管理 容器管理是基于 Kubernetes 开源技术构建的面向云原生应用的容器管理平台，

底层基础架构和宿主机⽂件系统解耦了，可实现跨云、跨操作系统的移植。 由于容器⼩⽽快，因此可在每个容器镜像中包装⼀个应⽤程序。这种⼀对⼀的应⽤到镜像关系解锁了容器的全部优势。 使⽤容器，可以在构建/发布期间（⽽⾮部署期间）创建不可变的容器镜像，因为每个应⽤程序⽆需与其余的应⽤程序 栈组合，也⽆需与⽣产基础架构环境结合。 在构建/发布期间⽣成容器镜像使得从开发到⽣产都能够保持⼀致的环境。 同样，容器⽐虚拟机更加透明、便于 管理容器⽆异于管理应⽤程序的部署。 容器好处概要： 灵活的应⽤创建和部署 ：与VM映像相⽐，容器镜像的创建更加容易、有效率。 持续开发，集成和部署 ：通过快速轻松的回滚（由于镜像的不可变性）提供可靠且频繁的容器镜像构建和部署。 Dev和Ops分离问题 ：在构建/发布期间⽽⾮部署期间创建镜像，从⽽将应⽤程序与基础架构分离。 开发、测试和⽣产环境⼀致 ：在笔记本电脑运⾏与云中⼀样。 云和操作系统可移植性 shboard/ 02-安装单机版Kubernetes 9 使⽤Kubespray部署⽣产可⽤的Kubernetes集群 （1.11.2） 前提：科学上⽹，或⾃⾏将gcr.io的镜像转成其他镜像仓库的镜像。 Kubernetes的安装部署是难中之难，每个版本安装⽅式都略有区别。笔者⼀直想找⼀种 ⽀持多平台 、 相对简单 、 适⽤于 ⽣产环境 的部署⽅案。经过⼀段时间的调研，有如下⼏种解决⽅案进⼊笔者视野：

长，如用户故事编写辅助、用户研究、电梯演讲和其他基于语言的任务。同时，我们希望开发人员能够负责任 地使用所有这些工具，并且始终掌控主导权，比如 hallucinated dependencies 就是其中一个需要注意的安全 和质量风险。 衡量生产力有多有效 对于非技术人员来说，软件开发有时似乎很神奇，这导致管理者需要努力衡量开发人员在完成其神秘任务时的 生产效率。我们的首席科学家 Martin Fowler 早在 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19. 大语言模型驱动的自主代理 20. 平台编排 21. 自托管式大语言模型 暂缓 22. 忽略 OWASP 十大安全风险榜单 23. 用于服务端渲染（SSR）web 应用的 web 组件 采纳 24. Colima 试验 25. CloudEvents 26. DataOps.live 27. Google 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19. 大语言模型驱动的自主代理 20. 平台编排 21. 自托管式大语言模型 暂缓 22. 忽略 OWASP 十大安全风险榜单 23. 用于服务端渲染（SSR）web 应用的 web 组件 新的 挪进 / 挪出 没有变化 © Thoughtworks, Inc. All Rights Reserved. 12

主导核心设计：主导设计集群联邦，支持多调度器框架、亲和性调度 策略， 集群部署、运维监控增强 ，安全加固 CNCF & Kubenetes 社区  全球TOP3、国内TOP1贡献： 7个maintainer，commits 1200+  OCI 初创成员，是容器镜像格式的规范和实现的主导者  主导核心设计：动态资源调整，各种安全加固措施，增强各种资源 限制，增加ARM64支持，运维增强，容器重启策略 成员，12个 Maintainer 8 计算（ECS/BMS/ARM） 存储（EVS/OBS/SFS） 网络（VPC/EIP） 多样的生态接入 • 支持多语言多框架服务接入 • 支持第三方模板和镜像快速部署 完全开放的原生平台 • 紧跟Kubernetes和Docker社区，迅速同步最新版本 • 支持原生API调用和命令行操作 增强的商用化特性 • 通过自动化配置、构建、部署提升业务上线效率 级容器服务 开源原生平台 商业增强特性 控制面 HA 跨AZ高可用 容器优雅缩容 多策略弹性伸缩 镜像加速 滚动升级 配置模板化 自动化构建 自动化部署 节点自动伸缩 GUI/CLI/API 物理共享集群 多语言多框架 Java/Python/Go/Node.js 第三方模板&镜像部署 K8S Helm/Docker Hub 第三方服务&工具 Kafka/Nginx/APM/Monitor

con mod ens33 ipv4.gateway 10.99.1.1 # nmcli con up ens33 ③关闭seLinux 若不会配置selinux，则可关闭SELinux，若对安全性要求较高，则需自行配置 # sed -i '/^SELINUX/s/enforcing/disabled/' /etc/selinux/config # setenforce 0 244.0.0/16" accept' # firewall-cmd --run�me-to-permanent # firewall-cmd --list-all ★如果有硬件交换机做ACL或基于云的安全组做访问控制，则可关闭服务器上的 防火墙软件 ⑨加载ipvs模块 # cat > /etc/modules-load.d/k8s-ipvs.conf <镜像仓库） # vi /etc/docker/daemon.json { "data-root": "/docker_data", "registry-mirrors": [ "h�ps://cof-lee

建设思路与整体方案 2 今⽇话题 租户体系 DEVOPS 微服务 容器平台 安全管理 瑞道容器云平台 以容器平台功能为支撑， 实现应用的容器化托管， 解决环境一致性，部署 架构复杂等问题 通过租户体系保证租户 资源相互隔离，支撑多 租户场景 通过安全体系来保障 DevOps过程中的安全问 题 项⺫管理 快速迭代开发，更短的发布周期， 并统⼀流程，规范化管理 持续交付 事务 跟踪 ⼯具 知识 库 代码托 管 制品仓 库 镜像仓 库 测试管 理平台 流⽔线编 排⼯具 代码质 量管控 镜像安 全扫描 运营统 计⼯具 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 运营统计 编译打 包 代码质量 管理 多语⾔ 构建 安全管控 构建实 践 测试管理 功能测 试 性能测试 接⼝测 集成 ü 代码变更管理任务 ü 本地代码扫描保证质量 ü 推荐Git 分⽀管理模型 ü 代码提交触发流⽔线 ü 流⽔线⾃动进⾏单元测 试 ü 流⽔线⾃动进⾏编译打 包 ü 流⽔线⾃动⽣成镜像 ü 流⽔线⾃动部署更新服 务 ü 事务管理⼯具跟踪状态 ü 跟踪团队开发进度 ü 测试case管理⼯具规范管 理 ü ⾃动化测试管理⼯具对测 试case进⾏图形化编排降 低⾃动化测试编写难度

Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential AWS 容器服务概览 镜像仓库 容器镜像保存地址 Amazon Elastic Container Registry 管理 容器化应用的部署，调度，扩 展和管理 Amazon Elastic Container Service Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential 自由 - 选择需要的 AMI 镜像 Amazon https://github.com/awslabs/amazon-eks-ami © 2019, Amazon Web Services, Inc. or its Affiliates Inc. or its Affiliates. All rights reserved. Amazon Confidential 云原生的CNI插件 Pod与EC2相同， 拥 有VPC地址段中地址 简单安全 GitHub开源 … { } Amazon VPC CNI Plugin 支持 © 2019, Amazon Web Services, Inc. or its Affiliates. All

视频演示 多集群和镜像仓库 多租户和旧系统的集成 运⾏行行和构建应⽤用 Rudder - 应⽤用编排技术框架 Cyclone - 持续集成与交付引擎 运⾏行行 AI 应⽤用（机器器学习） - 58s 视频演示 Kubeflow 的应⽤用 Kubeflow 之上 构建集群与管理理资源 多集群和镜像仓库 • 企业想要的 • 隔离性和安全性 • 容错性与混合云 如何实现 • K8s - 单『控制集群』， 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』，多仓库集成 管理理集群和节点 • 技术概览 • cloud provider • custom resource • ansible 管理理镜像仓库 • Cargo （内部项⽬目）- ⽣生产级镜像仓库解决⽅方案，基于 • ⼀一键⾼高可⽤用部署和维护 • 为多租户和复杂权限集成⽽而增强 为多租户和复杂权限集成⽽而增强 『token service』 • 管理理基于规则的镜像仓库 • 其他企业需要的优化功能 企业典型的多租户模型 租户 Tenant User User group Namespace Deployment Registry 
 project CI/CD workspace Pod … resources CPU quota MEM

容器管理、编排调度、资源隔离 驱动层实现资源抽象 自由切换，到处运行 Sealos API Sealos CLI Desktop 裸金属 AWS 阿里云 更多······ boot 集群镜像 租户管理 应用管理 函数计算 消息队列 数据库 缓存 计算驱动 网络驱动 存储驱动 自由组装 内聚解耦 化整为零 大道至简 sealos 的能力 • 10 秒上线一个自带域名和 nginx 应用 • 其它应用同理如博客系统 低代 码平台等 java/go/python/node.js/html 轻松运行到 sealos 上 • 一个集群多个部门多个组 织共同使用 • 相互安全隔离 • 支持共享与协作 • 20 秒启动高可用 mysql/pgsql/mongo/redis 数据 库 • 写代码像写博客一样简单 • AI 自动编码，毫秒级上线，0 运 维 数据库管理 可以把整个集群像Docker 一样打包，一键交付 ， 有轻量化、超高性能、极易管 理等特点 自研 负载均衡器， 可支撑超大规模数万节点 集群运行 ，运行速度全球领先，毫秒级发布 更高稳定性 实现安全隔离 轻量化 数万节点集群运行 运行速度 全球领先 超高性能 极易管理 使用场景 私有云 完全 离线 公有云 注册 使用 自助 服务 一键 构建 到处运行 Sealos Centos