云原生实战 Helm 及 Helm 应用仓库简介 李辉 — KubeSphere — 后端研发 _ by QingCloud Helm 及其应用仓库简介 如何开发一个 Helm 应用 KubeSphere 应用开发 1 2 3 _ by QingCloud 应用管理 5 应用仓库管理 4 Helm 及其应用仓库简介 • Helm 是 Kuberetes 的包管理器 类似于 应用程序的一系列 YAML 文件 • 安装 Helm 在 https://github.com/helm/helm 上下载二进制文件 _ by QingCloud Helm 及其应用仓库简介 • 应用仓库: 管理和分发 Helm Charts. • 安装 Harbor 1. helm repo add harbor https://helm.goharbor.io 2. helm fetch Chart 推送到应用仓库 _ by QingCloud KubeSphere 应用开发 • 应用生命周期: • 开发中: 开发中的 • 待发布: 已开发完成，等待应用商店管理员审核通过 • 已审核通过: 应用商店管理员审核通过 • 审核未通过: 应用商店管理员审核通过 • 已上架: 已经上架到应用商店 • 已下架: 从应用商店下架 _ by QingCloud 应用仓库管理 • 添加应用仓库

.......................................................................................21 2.2.2 镜像仓库攻击........................................................................................22 2.2.3 制品安全能力建设.......................................................................................47 4.1.1 代码安全............................................................................................... 48 基础设施安全能力建设...............................................................................59 4.3.1 基础设施即代码安全............................................................................59 4.3.2 权限管理.......

沉淀IT软件资产，核心代码掌控 • 提升开发交付效率 一键 上磐基 构建 打包 容器 化镜 像 自动化 部署 研发安 全扫描 需求 设计 敏捷 开发交付协同 云原生DevSecOps 安全工具链 国产化 双平面调度 敏捷开 发过程 统一代 码仓库 依赖制 品仓库 统一 镜像库 云原生 验证环境 磐基 生产运行 核心价值 核心能力 灵活的低代码能力 实现页面组件、数据组件、功能组件的快 用、内部共享、私有等多种使用方式。兼 容市面上制品管理客户端。 全功能云IDE开发 每个云IDE都是一个云端小笔记本，一人一 本，多人可形成云端小局域网。可独立编 写调试代码，可团队协作。 安全代码仓库托管 统一的安全代码仓库，按项目级别分级管 理，落盘加密，云IDE防护，显示水印等多 重防护。 云原生虚拟化开发集群 利用虚拟化技术实现开发集群，分钟级交 付，突破有限资源开发集群供给。 原生使用模式，开发组件一键部署 云原生CI持续集成 使用Dockerfile进行云原生方式的CI构建， 拓展形成ARM、x86双架构流水线，底层 安全漏洞统一修复 全面云原生安全 支持代码安全扫描、镜像安全扫描、开源 协议扫描、依赖漏洞扫描。并可给出修复 建议。支持开源风险持续治理。 108 48 78 6 84 1 1 16 14 0 50 100 150

steven zou 目录 - 开场：云原生与制品管理 - 初识Harbor：云原生制品仓库服务 - 使用Harbor搭建私有制品仓库服务 - 资源隔离与多租户管理模型 - 制品的高效分发(复制、缓存与P2P集成) - 制品的安全分发(签名、漏洞扫描与安全策略) - 资源清理与垃圾回收 - 构建高可用(HA)制品仓库服务 - Harbor集成与扩展 - 路线图 - 参与贡献Harbor社区 云原生与制品管理 [2] Registry: •制品存储仓库 •分发制品的媒介 •访问控制与管理的节点 初识Harbor [1] 官方网站：goharbor.io CNCF毕业项目 落地在很多企业级 产品中 Apache 2.0协议下 开源 GitHub代码库: https://github.com/goha rbor/harbor/ 一个开源可信的云原生制品仓库项目用来存储、签名和管理相关内容。 系统设置（鉴权模式等） 内容复制 垃圾回收(GC) 配额管理 扫描管理 用户管理 系统标签管理 P2P预热管理 Harbor 系统 系统级日志 搭建Harbor仓库服务 离线安装包 • 通过Docker-compose编 排运行 • 所需镜像皆打包在离线 包内 1 在线安装包 • 通过Docker-compose编 排运行 • 所需镜像从Dockerhub

（prometheus协议） • Kubelet 的核心职责就是管理本机的 Pod 和容器，典型的比如创建 Pod、销 毁 Pod，显然我们应该关注这些操作的 成功率和耗时 • Categraf 的仓库中 inputs/kubernetes/kubelet-metrics- dash.json 就是 Kubelet 的大盘文件 • kubelet_running_pods：运行的Pod的数量，gauge类型 暴露监控数据， 可以直接拉取 • kube-proxy 的核心职责是同步网络规则， 修改 iptables 或者 ipvs。所以要重点关 注 sync_proxy_rules 相关的指标 • Categraf 的仓库中 inputs/kubernetes/kube-proxy- dash.json 就是 kube-proxy 的大盘文件 • up 关注 kube-proxy 的存活性，应该和 node 节点的数量相等 的总入口，重点关注的是吞吐、延迟、错误率这些黄金指 标 • apiserver 也会缓存很多数据到内存里，所以进程占用的 内存，所在机器的内存使用率都应该要关注 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml，大盘可以参考 k8s/apiserver- dash.json • apiserver_request_total 请求量的指标，可以统计每秒请求数、成功率

试想⼀下，要开发由 200 个“微服务”组成的云原⽣应⽤，会遇到哪些困难呢？ Localhost 时代 在单体应⽤的时代，对于开发者来说是极为友好的，�开发者使⽤本机运⾏应⽤，修改代码后实时⽣效，通过 浏览器访问 Localhost 实时查看代码效果。 单体应⽤和“微服务”应⽤不同，单体应⽤是 “ALL-IN-ONE” 组织⽅式，所有的调⽤关系仅限于在⾃身的类和函 数，应⽤对硬件的要求⼀般也不会太⾼。 ⽽开发 得不复存在，由于应⽤很难在 Docker 容器之外运⾏，所以 每次代码修改，都需要经历以下步骤： 执⾏ docker build 构建镜像 执⾏ docker tag 对镜像进⾏标记 执⾏ docker push 推送镜像到仓库 修改 Kubernetes ⼯作负载的镜像版本 等待镜像拉取结束 等待 Pod 重建 查看修改后的代码效果 这直接拖慢了开发的循环反馈过程，每次修改，动辄需要数分钟甚⾄⼗分钟的等待时间。 为了快速理解 Nocalhost 重新定义的云原⽣开发环境，让我们⾸先站在不同的⻆⾊来看 Nocalhost 能给他们 带来什么。 开发⼈员： 摆脱每次修改需要重新 build 新镜像以及⻓时间的循环反馈，修改代码⽴即⽣效 ⼀键部署开发环境，摆脱本地环境搭建和资源不⾜的限制 本地 IDE 编辑器和开发环境联动，⽀持远程调试 图形化的 IDE 插件，⽆需熟悉 kubectl 命令即可完成云原⽣环境下的开发 管理⼈员：

成分清单用于实现可见性（透明度） • 监管机构保障成分清单的可信度 软件物料清单 • 软件物料清单（SBOM, Software Bill Of Material）是代码库中所有开放源代码和第三方组件的清单。 • SBOM能够列出管理这些组件的许可证，代码库中使用的组件的版本及其补丁程序状态。 云原生应用安全风险面 第三方组件 开源组件 应用安全 风险面 Web通用漏洞 SQL注入、命令执行、XXE、XSS等OWASP 证码绕过等 合规需求、安全配置 未能满足安全合规、未建立安全基线、敏 感数据泄漏 开源组件/闭源组件 CNNVD、CNVD、CVE等 开源许可风险 自研代码 容器环境镜像风险 软件漏洞、恶意程序、敏感信息泄漏、不安全配 置、仓库漏洞、不可信镜像 容器环境 开 发 模 式 ： 瀑 布 > 敏 捷 > D e v O p s 应 用 架 构 ： 大 型 系 统 > S O A 安全漏洞。、攻击者可利用该漏洞绕过身份验证， 并以最高权限运行恶意代码，有效接管设备。本次 暴出漏洞的芯片至少有65家供应商在使用，生产出 的设备数量超过十万台。 Realtek 的WiFi SDK漏洞 2021年12月，Apache开源组件Log4j被发现两个 相关漏洞，分别为任意代码执行漏洞和拒绝服务攻 击漏洞，攻击者可以通过构造特殊的请求进行任意 代码执行，以达到控制服务器、影响服务器执行的 目的。该漏洞已影响超6万个开源软件，涉及相关

应用组件（Components），它是整个应用的重要组成部分。应用组件既可以包括 应用运行所依赖的服务：比如 MySQL 数据库，也包括应用服务本身：比如拥 有多个副本的 PHP 服务器。开发者可以把他们写的代码“打包”成一个应用组件。 • Trait描述了应用在具体部署环境中的运维特征，比如应用的水平扩展的策略和 Ingress 规则，它们在不同的部署环境里却往往有着截然不同的实现方式。 举一 个例子，同样是 方式的交付，底层差异影响减少到最小 标准化能力-微服务PAAS-OAM-万花筒PAAS-3 以上解耦的结果，隐含着更深层次的能力，不是简单解耦那么简单，它使得统一通用PaaS成为可能 组件市场|仓库 平台运维特性 应用编排 运维特性编排 版本化 应用 • 两端解耦之后，两端方面都可以形成一个没有 私有PaaS特征依赖的市场，而强大的开源社区 比平台提供商自己还要强大，利用容器底座的 承 格式，比如HELM，很 好的兼容了现有的基 础设施，无论怎样的 基础设施，都能在高 层保持一致的情况下， 在差异化的环境下运 行，而让业务研发人 员更加关注业务，而 不是基础设施本身。 • OAM本身就是基础设 施即代码的典范设计， 在中间层隔离了用户 使用和底层执行体， 进一步加强了统一性。 标准化能力-微服务PAAS-OAM交付流程模式-抽象流程 • 基于CICD和服务市场，通过OAM 集群镜像式打包的方式向团队、

作为总体集成方，会降低安全集成成本 可信计算环境：OS安全、TPM加密、TEE可信环境 云原生安全：镜像安全、镜像仓库安全、容器加固隔离、通信零信任 (Istio零信任、Calico零信任、Cilium零信任、WorkLoad鉴权、WorkLoad 间授权等)、DevSecOps（安全左右移等等，比如代码或者镜像扫描）、 RASP应用安全、数据安全、态势感知与风险隔离 由于云原生托管的应用是碎片化的，环境 术建议方案 技术 说明 优点 缺点 SAST(静态应用程序 安全测试) 白盒测试，通过污点跟踪对源代码或者二进制程序（也包括Docker镜像等） 进行静态扫描，尽可能前置，在IDE编写代码或者提交代码时进行，将极 大优化整体效率和成本 可以无视环境随时可以进行，覆盖漏洞类型全面， 可以精确定位到代码段 路径爆炸问题，并一定与实际相符合，误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测 数据的安全生命周期返程三种不同状态：存储中、传输中、使用中，但 是对第三种场景，一直以来缺少保护手段。通过加密技术建立的可信运 行环境TEE（比如IntelSGX，蚂蚁的KubeTEE等）可以保护运行中的数据和 代码，完成了安全闭环。 依赖于硬件和更高阶密码学，可以彻底阻断物理 设备以及软件的攻击，是高级的安全保障技术。 TEE是运行态主动防护的高级手段，对高安全生产 环境建议使用。 成本较高，所以要视业务场景要求取舍。

阿里微服务产品解法和优势 云原生和微服务简介 微服务的价值和挑战 图片源自：http://www.zyiz.net/ 价值 效率（人越来越贵，算力越来越便宜） • 研发超过 10 人在 1 个代码冲突多 • 系统超过 5 个测试&上线协同代价大 • 数字化升级需要快速迭代 性能 • 单机成为性能瓶颈 可用性 • 单机成为可用性瓶颈 挑战 • 技术复杂度上升 • 运维成本上升 • 小规模场景、非Java场景下推荐 Agent Agent 开源 Spring Cloud 默认不支持双注册，MSE 提供了无侵入的双注册方案，无需修改 代码，开发无需关注，支持平迁。 Nacos 生态 几乎支持所有主流语言 阿里微服务DNS最佳实践 多语言生态集成方案 生态仓库： https://github.com/nacos-group