steven zou 目录 - 开场：云原生与制品管理 - 初识Harbor：云原生制品仓库服务 - 使用Harbor搭建私有制品仓库服务 - 资源隔离与多租户管理模型 - 制品的高效分发(复制、缓存与P2P集成) - 制品的安全分发(签名、漏洞扫描与安全策略) - 资源清理与垃圾回收 - 构建高可用(HA)制品仓库服务 - Harbor集成与扩展 - 路线图 - 参与贡献Harbor社区 云原生与制品管理 微服务、不可变基础设施和声明性API等。 v1.0 by CNCF 容器-更轻量级和灵活的虚拟化 镜像-应用软件打包与分发 OCI: https://opencontainers.org/ OCI制品（artifact）：镜像，Helm Chart，CNAB，OPA bundle等等 云原生与制品管理 [2] Registry: •制品存储仓库 •分发制品的媒介 •访问控制与管理的节点 初识Harbor [1] 官方网站：goharbor CNCF毕业项目 落地在很多企业级 产品中 Apache 2.0协议下 开源 GitHub代码库: https://github.com/goha rbor/harbor/ 一个开源可信的云原生制品仓库项目用来存储、签名和管理相关内容。 Harbor社区 有来自于5家公司的14位维护者 GitHub星 13K+ 核心提交者 200+ 数据来源: https://harbor

码、运行时、系统工具、系统库和设置。 2. 镜像（Image）：用于创建容器的只读模板。一个镜像可以包含完整的操作 系统环境。 3. Dockerfile：定义镜像内容的文本文件，包含了构建镜像的所有指令。 4. Docker Hub：公共的 Docker 镜像仓库，用于存储和分发 Docker 镜像。 5. 拉取镜像：docker pull 6. 构建镜像：在包含 Dockerfile 上拉取最新的 lobehub/lobe-chat 镜像。以下 是具体作用： docker pull：这是 Docker 命令，用于从 Docker Hub 或其他注册表中下载 容器镜像。lobehub/lobe-chat：这是 Docker 镜像的名称，其中 lobehub 是镜像 仓库的名称，lobe-chat 是具体的镜像名称。latest：表示拉取该镜像的最新版本 （tag）。如果没有指定版本标签，Docker （tag）。如果没有指定版本标签，Docker 默认会拉取 latest 标签的版本。执行这 条命令后，Docker 会将 lobehub/lobe-chat 镜像的最新版本下载到你的本地系 统，以便你可以使用它创建和运行 Docker 容器。 然后再运行一条命令就可以了： docker run -d --name lobe-chat -p 10084:3210 -e ACCESS_CODE=lobe66 lobehub/lobe-chat:latest

集群的拓扑文件配置 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1726 13.4.10 TiUP 镜像参考指南· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Support）业务 Benchmark。它包含大数据量下，一个业务决策分析系统所需要响 应的不同类型高复杂度的即席查询。如果需要体验 TPC-H 完整的 22 条 SQL，可以访问 tidb-bench 仓库 或者阅读 TPC-H 官网说明了解如何生成查询语句以及数据。 3.2.2.1 第 1 步：部署试用环境 在试用 TiDB HTAP 功能前，请按照TiDB 数据库快速上手指南中的步骤准备 TiDB 应用于实时流处理场景时，TiDB 能保证源源不断流入系统的数据实时可查，同时可兼顾高并 发数据服务与 BI 查询。 • 数据中枢场景 当将 TiDB 应用于数据中枢场景时，TiDB 作为数据中枢可以无缝连接数据业务层和数据仓库层，满足不 同业务的需求。 如果想了解更多关于 TiDB HTAP 场景信息，请参阅 PingCAP 官网中关于 HTAP 的博客。 当遇到以下技术场景时，建议使用 TiDB HTAP 提升 TiDB

集群的拓扑文件配置 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1984 13.4.10 TiUP 镜像参考指南· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Support）业务 Benchmark。它包含大数据量下，一个业务决策分析系统所需要响 应的不同类型高复杂度的即席查询。如果需要体验 TPC-H 完整的 22 条 SQL，可以访问 tidb-bench 仓库 或者阅读 TPC-H 官网说明了解如何生成查询语句以及数据。 3.2.2.1 第 1 步：部署试用环境 在试用 TiDB HTAP 功能前，请按照TiDB 数据库快速上手指南中的步骤准备 TiDB 应用于实时流处理场景时，TiDB 能保证源源不断流入系统的数据实时可查，同时可兼顾高并 发数据服务与 BI 查询。 • 数据中枢场景 当将 TiDB 应用于数据中枢场景时，TiDB 作为数据中枢可以无缝连接数据业务层和数据仓库层，满足不 同业务的需求。 如果想了解更多关于 TiDB HTAP 场景信息，请参阅 PingCAP 官网中关于 HTAP 的博客。 当遇到以下技术场景时，建议使用 TiDB HTAP 提升 TiDB

集群的拓扑文件配置 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1660 13.4.10 TiUP 镜像参考指南· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Support）业务 Benchmark。它包含大数据量下，一个业务决策分析系统所需要响 应的不同类型高复杂度的即席查询。如果需要体验 TPC-H 完整的 22 条 SQL，可以访问 tidb-bench 仓库 或者阅读 TPC-H 官网说明了解如何生成查询语句以及数据。 3.2.2.1 第 1 步：部署试用环境 在试用 TiDB HTAP 功能前，请按照TiDB 数据库快速上手指南中的步骤准备 TiDB 应用于实时流处理场景时，TiDB 能保证源源不断流入系统的数据实时可查，同时可兼顾高并 发数据服务与 BI 查询。 • 数据中枢场景 当将 TiDB 应用于数据中枢场景时，TiDB 作为数据中枢可以无缝连接数据业务层和数据仓库层，满足不 同业务的需求。 如果想了解更多关于 TiDB HTAP 场景信息，请参阅 PingCAP 官网中关于 HTAP 的博客。 当遇到以下技术场景时，建议使用 TiDB HTAP 提升 TiDB

开发和调试演示 5. 开源共建 目录 K8s 环境开发困局 01 开发举步维艰 5 微服务-Docker 微服务越来越多，运行环境变复杂。服务依赖、打包、运行、迁移越来越难。 Docker 提供镜像打包的解决方案。 Docker-Kubernetes K8s 环境的开发困局 容器越来越多，服务编排、发现、稳定性监控、自愈等成为新的挑战。 Kubernetes 提供容器编排的解决方案。 云原生开发技能广度要求急剧提升 8 云原生开发工具依然缺失 主流云原生开发方式 02 现状 1 0 全手工流程 编码后，手动构建镜像、推送到镜像 仓库、修改工作负载镜像版本，调度 10 分钟/次 自动化 CI/CD 流程 编码后，推送到代码仓库，自动触发 CI/CD 流程，等待生效。 5 分钟/次 Minikube + Telepresence Minikube 拉起本地 2、Golang Runtime 从哪来？ 3、PID=1 的进程替换成源码运行，如果进程停 止，容器将 Crash，怎么阻止？ 解决问题： 1、从本地同步到容器 2、将业务容器的镜像替换为 Runtime 镜像 3、替换 PID=1 进程为阻塞进程： /bin/sh -c tail -f /dev/null 1 6 从 Dockerfile 说起 开发和调试演示 04

Kubernetes 的普及，进⼀步屏蔽了“微服务”应⽤的复杂度，这主要体现在部署和运维阶段。 为了解决微服务应⽤在开发、测试和⽣产阶段环境⼀致性的问题，现代的微服务应⽤开发，都会将每⼀个组 件打包成 Docker 镜像，并以⼯作负载的形式对其进⾏部署。利⽤ DevOps 流⽔线中的持续集成和持续部署， 配合 Kubernetes 探针、HPA、应⽤⾃愈的能⼒，彻底解放了微服务应⽤的部署和运维环节。 但我们忽略了⼀个关键节点：开发阶段 ，由于应⽤很难在 Docker 容器之外运⾏，所以 每次代码修改，都需要经历以下步骤： 执⾏ docker build 构建镜像 执⾏ docker tag 对镜像进⾏标记 执⾏ docker push 推送镜像到仓库 修改 Kubernetes ⼯作负载的镜像版本 等待镜像拉取结束 等待 Pod 重建 查看修改后的代码效果 这直接拖慢了开发的循环反馈过程，每次修改，动辄需要数分钟甚⾄⼗分钟的等待时间。 原⽣开发体 验。 为了快速理解 Nocalhost 重新定义的云原⽣开发环境，让我们⾸先站在不同的⻆⾊来看 Nocalhost 能给他们 带来什么。 开发⼈员： 摆脱每次修改需要重新 build 新镜像以及⻓时间的循环反馈，修改代码⽴即⽣效 ⼀键部署开发环境，摆脱本地环境搭建和资源不⾜的限制 本地 IDE 编辑器和开发环境联动，⽀持远程调试 图形化的 IDE 插件，⽆需熟悉 kubectl 命令即可完成云原⽣环境下的开发

作为总体集成方，会降低安全集成成本 可信计算环境：OS安全、TPM加密、TEE可信环境 云原生安全：镜像安全、镜像仓库安全、容器加固隔离、通信零信任 (Istio零信任、Calico零信任、Cilium零信任、WorkLoad鉴权、WorkLoad 间授权等)、DevSecOps（安全左右移等等，比如代码或者镜像扫描）、 RASP应用安全、数据安全、态势感知与风险隔离 由于云原生托管的应用是碎片化的，环 标准化能力-承载无忧-E2E云原生纵深安全保障-4-技术建议方案 技术 说明 优点 缺点 SAST(静态应用程序 安全测试) 白盒测试，通过污点跟踪对源代码或者二进制程序（也包括Docker镜像等） 进行静态扫描，尽可能前置，在IDE编写代码或者提交代码时进行，将极 大优化整体效率和成本 可以无视环境随时可以进行，覆盖漏洞类型全面， 可以精确定位到代码段 路径爆炸问题，并一定与实际相符合，误报率较 决方案，从而满足不同用户的多样性需求。云原生 消息队列要求建设多个子产品线来支撑丰富的业务需求，比如消息队列RocketMQ，Kafka，微消息队列等。 标准化 容器镜像这项云原生的核心技术轻易地实现了不可变基础设施，不可变的镜像消除了IaaS层的差异，让云原生应用可以在不同的云厂商之间随意 迁移。但实际上，很多云服务提供的接入形式并不是标准的，所以依赖这些非标准化云服务的应用形成了事实上的厂商锁定，这些应用在运行时

（prometheus协议） • Kubelet 的核心职责就是管理本机的 Pod 和容器，典型的比如创建 Pod、销 毁 Pod，显然我们应该关注这些操作的 成功率和耗时 • Categraf 的仓库中 inputs/kubernetes/kubelet-metrics- dash.json 就是 Kubelet 的大盘文件 • kubelet_running_pods：运行的Pod的数量，gauge类型 暴露监控数据， 可以直接拉取 • kube-proxy 的核心职责是同步网络规则， 修改 iptables 或者 ipvs。所以要重点关 注 sync_proxy_rules 相关的指标 • Categraf 的仓库中 inputs/kubernetes/kube-proxy- dash.json 就是 kube-proxy 的大盘文件 • up 关注 kube-proxy 的存活性，应该和 node 节点的数量相等 的总入口，重点关注的是吞吐、延迟、错误率这些黄金指 标 • apiserver 也会缓存很多数据到内存里，所以进程占用的 内存，所在机器的内存使用率都应该要关注 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml，大盘可以参考 k8s/apiserver- dash.json • apiserver_request_total 请求量的指标，可以统计每秒请求数、成功率

多种东西的集成，也无法在应用级别上进行管理。 ISV研发团队 标准化能力-微服务PAAS-OAM-万花筒PAAS-2 阿里和微软在19年发布了一个叫做OAM的规范，这是基于10年云原生道路锤炼得到的自动化交付方案 构建镜像 多区域分发 配置 ApplicationConfiguration Component 微服务 数据库 MQ Cache Trait 灰度 监控告警 弹性扩缩容 高可用 ent和Trait打包成可交付的应用。 基于镜像的封装性，通过AppConfig将应 用两个维度的东西整合整体化“集群镜像” 方式的交付，底层差异影响减少到最小 标准化能力-微服务PAAS-OAM-万花筒PAAS-3 以上解耦的结果，隐含着更深层次的能力，不是简单解耦那么简单，它使得统一通用PaaS成为可能 组件市场|仓库 平台运维特性 应用编排 运维特性编排 版本化 应用 无所不在，OAM除了在交付过程中提供了基于应用的 交付方案，同时将CICD与底层实现解耦，可以插接无限制的工具组件，使得可以对应不同交付 场景所要求的不同工具链。比如叠加serverless能力加快镜像构建速度、叠加安全左移能力等等。 OAM使得整体PAAS在通用化的情况下，向多种客户环境交付赋能。 OAM应用实例 从基础设施，到容器运行环境，再到应用都可以加入编排，想要在K8s上编排一切并不