systemctl enable docker # systemctl start docker # docker info ★配置docker服务使用systemd去管理（以及信任本地镜像仓库） # vi /etc/docker/daemon.json { "data-root": "/docker_data", "registry-mirrors": [ "h�ps://cof-lee #先查看k8s版本 # GitVersion:"v1.19.4" # kubeadm config images list #查看k8s其他组件的docker镜像名，默认用 k8s.gcr.io/的镜像源地址 k8s.gcr.io/kube-apiserver:v1.19.4 k8s.gcr.io/kube-controller-manager:v1.19.4 k8s.gcr. io/pause:3.2 k8s.gcr.io/etcd:3.4.13-0 k8s.gcr.io/coredns:1.7.0 #可以先下载以上7个镜像，传到每台k8s服务器上，再docker load导入；或者使 用内部registry仓库（内部registry镜像仓库里要有以上7个镜像） ★直接使用命令行方式初始化集群 （以下是非HA模式的master初始化，如果要部署高可用集群，则参考第4章） kubeadm

模块化搭建 8 容器管理 9 全局管理 10 可观测性 10 应用工作台 11 多云编排 11 微服务引擎 12 服务网格 13 中间件 14 镜像仓库 14 云原生网络 15 存储 17 参考文档 18 版权 © 2023 DaoCloud 第 3 页 简介 DaoCloud Enterprise 并支持流水线高效并发执行流转，自动化完成应用的构建、部署，创新性引入 Gitops、渐进式交付能力体系，实现应用更精细的管理运维。 涉及的模块：全局管理、容器管理、应用工作台、云原生网络、云原生存储、镜像仓 库 版权 © 2023 DaoCloud 第 7 页 信创异构 采用信创云原生技术架构，兼容国产芯片及服务器，支持信创操作系统及信创应用生 态体系，屏蔽底层异构基础设 DaoCloud 第 9 页 中间件 RMQ, Kafka, ES, Kafka, MinIO, MySQL, Redis, PG, MongoDB 镜像仓库 基于 Harbor, Docker Hub 构建的镜像集成和托管服务 网络 多 CNI 融合方案 存储 容器化存储综合方案 容器管理 容器管理是基于 Kubernetes 开源技术构建的面向云原生应用的容器管理平台，

集群部署、运维监控增强 ，安全加固 CNCF & Kubenetes 社区  全球TOP3、国内TOP1贡献： 7个maintainer，commits 1200+  OCI 初创成员，是容器镜像格式的规范和实现的主导者  主导核心设计：动态资源调整，各种安全加固措施，增强各种资源 限制，增加ARM64支持，运维增强，容器重启策略 OCI & Docker 社区 CNCF/OCI基金会的初创会员、白金会员， 成员，12个 Maintainer 8 计算（ECS/BMS/ARM） 存储（EVS/OBS/SFS） 网络（VPC/EIP） 多样的生态接入 • 支持多语言多框架服务接入 • 支持第三方模板和镜像快速部署 完全开放的原生平台 • 紧跟Kubernetes和Docker社区，迅速同步最新版本 • 支持原生API调用和命令行操作 增强的商用化特性 • 通过自动化配置、构建、部署提升业务上线效率 级容器服务 开源原生平台 商业增强特性 控制面 HA 跨AZ高可用 容器优雅缩容 多策略弹性伸缩 镜像加速 滚动升级 配置模板化 自动化构建 自动化部署 节点自动伸缩 GUI/CLI/API 物理共享集群 多语言多框架 Java/Python/Go/Node.js 第三方模板&镜像部署 K8S Helm/Docker Hub 第三方服务&工具 Kafka/Nginx/APM/Monitor

构建集群与管理理资源 - 73s 视频演示 多集群和镜像仓库 多租户和旧系统的集成 运⾏行行和构建应⽤用 Rudder - 应⽤用编排技术框架 Cyclone - 持续集成与交付引擎 运⾏行行 AI 应⽤用（机器器学习） - 58s 视频演示 Kubeflow 的应⽤用 Kubeflow 之上 构建集群与管理理资源 多集群和镜像仓库 • 企业想要的 • 隔离性和安全性 如何实现 • K8s - 单『控制集群』， 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』，多仓库集成 管理理集群和节点 • 技术概览 • cloud provider • custom resource • ansible 管理理镜像仓库 • Cargo （内部项⽬目）- ⽣生产级镜像仓库解决⽅方案，基于 • ⼀一键⾼高可⽤用部署和维护 • 为多租户和复杂权限集成⽽而增强 为多租户和复杂权限集成⽽而增强 『token service』 • 管理理基于规则的镜像仓库 • 其他企业需要的优化功能 企业典型的多租户模型 租户 Tenant User User group Namespace Deployment Registry 
 project CI/CD workspace Pod … resources CPU quota MEM quota

开发和调试演示 5. 开源共建 目录 K8s 环境开发困局 01 开发举步维艰 5 微服务-Docker 微服务越来越多，运行环境变复杂。服务依赖、打包、运行、迁移越来越难。 Docker 提供镜像打包的解决方案。 Docker-Kubernetes K8s 环境的开发困局 容器越来越多，服务编排、发现、稳定性监控、自愈等成为新的挑战。 Kubernetes 提供容器编排的解决方案。 云原生开发技能广度要求急剧提升 8 云原生开发工具依然缺失 主流云原生开发方式 02 现状 1 0 全手工流程 编码后，手动构建镜像、推送到镜像 仓库、修改工作负载镜像版本，调度 10 分钟/次 自动化 CI/CD 流程 编码后，推送到代码仓库，自动触发 CI/CD 流程，等待生效。 5 分钟/次 Minikube + Telepresence Minikube 拉起本地 2、Golang Runtime 从哪来？ 3、PID=1 的进程替换成源码运行，如果进程停 止，容器将 Crash，怎么阻止？ 解决问题： 1、从本地同步到容器 2、将业务容器的镜像替换为 Runtime 镜像 3、替换 PID=1 进程为阻塞进程： /bin/sh -c tail -f /dev/null 1 6 从 Dockerfile 说起 开发和调试演示 04

工具的团队需要重视这类风险。 团队可以通过对依赖进行健康检查化解包幻觉风险：在选择依赖之前查看它的创建日期、下载数量、github 评论 及星标数、贡献者数量、活动历史记录等。一些依赖健康检查可以在包存储仓库和 GitHub 上执行，而像 deps. dev 和 Snyk advisor 等工具也可以提供帮助。尽管依赖健康不是一项新技术，但随着团队在软件开发过程中越 来越多地尝试 GenAI 工具，该实践正在获得新的关注。 以来，AI 领域已经发生了重大进展。自 2023 年 5 月以来，Google 推出了多项服务和功能来丰富这一领域。这些新增功能包括 Model Garden，一个拥有 100 多个预训练模型的 仓库；Generative AI Studio，一个旨在快速探索和原型生成 AI 模型的控制台；以及 Vertex AI Extensions，提 供完全托管的开发人员工具，通过 API 连接 AI 模型和实时数据或操作。 无需代理，因此提供了良好的开发者 体验，并且易于设置。另一个显著的特点是它促进了安全的左移。我们的团队使用 Orca CLI 来扫描容器镜像 和 IaC 模板，以检测漏洞和配置错误，作为预提交钩子或 CI/CD 工作流的一部分。它还持续监控和扫描容器仓 库（如 AWS ECR），以查找已发布镜像中易受攻击的基础镜像或脆弱的操作系统依赖项。根据我们团队的经验， Orca 提供了从开发到生产的安全状态的统一视图，因此我们将其放入试验阶段。

海尔集团业务转型 - 架构演进 工业互联网 - 行业分析 海尔工业互联网 -才云整体解决方案 海尔工业互联网 - 才云整体解决方案 多集群管理 存 储 网 络 混合云 监控日志 基础服务 镜像仓库 认证鉴权 资源管理 面向业务开发 CI/CD 微服务 应用商店 面向业务管理 弹性伸缩 API Gateway 负载均衡 应用编排 日志监控 告警 服务发现 API 海尔工业互联网 - 微服务之配置管理 配置中心 应用-A 应用-B 应用-C 应用-D 配置中心优势 : • 配置简单 • 易用的用户界面 • 批量动态更新配置到应用 • 编程接口简单 • 镜像与配置分离 • 按项目管理配置 海尔工业互联网 - 微服务之服务集成 服务总线 APP-A APP-B APP-C Gateway Auth N Auth Z 协议适配: • 提 Endpoint Servers Tenant #1 Tenant #2 Compass 1. 多集群多租户 2. CICD（github、gitlab，流水线配置） 3. 多镜像仓库（支持镜像同步） 4. 应用编排、模版、商店 5. 应用发布（灰度发布、滚动升级） 6. 应用弹性伸缩 7. 日志、监控告警 8. 配置管理 9. 多种存储（NFS、GlusterFS、Ceph、NAS）

底层基础架构和宿主机⽂件系统解耦了，可实现跨云、跨操作系统的移植。 由于容器⼩⽽快，因此可在每个容器镜像中包装⼀个应⽤程序。这种⼀对⼀的应⽤到镜像关系解锁了容器的全部优势。 使⽤容器，可以在构建/发布期间（⽽⾮部署期间）创建不可变的容器镜像，因为每个应⽤程序⽆需与其余的应⽤程序 栈组合，也⽆需与⽣产基础架构环境结合。 在构建/发布期间⽣成容器镜像使得从开发到⽣产都能够保持⼀致的环境。 同样，容器⽐虚拟机更加透明、便于 管理容器⽆异于管理应⽤程序的部署。 容器好处概要： 灵活的应⽤创建和部署 ：与VM映像相⽐，容器镜像的创建更加容易、有效率。 持续开发，集成和部署 ：通过快速轻松的回滚（由于镜像的不可变性）提供可靠且频繁的容器镜像构建和部署。 Dev和Ops分离问题 ：在构建/发布期间⽽⾮部署期间创建镜像，从⽽将应⽤程序与基础架构分离。 开发、测试和⽣产环境⼀致 ：在笔记本电脑运⾏与云中⼀样。 云和操作系统可移植性 shboard/ 02-安装单机版Kubernetes 9 使⽤Kubespray部署⽣产可⽤的Kubernetes集群 （1.11.2） 前提：科学上⽹，或⾃⾏将gcr.io的镜像转成其他镜像仓库的镜像。 Kubernetes的安装部署是难中之难，每个版本安装⽅式都略有区别。笔者⼀直想找⼀种 ⽀持多平台 、 相对简单 、 适⽤于 ⽣产环境 的部署⽅案。经过⼀段时间的调研，有如下⼏种解决⽅案进⼊笔者视野：

弹性伸缩 智能调度 配置管理 健康检查 服务发现 动态dns 负载均衡 容器监控 日志采集 应用监控 节点监控 动态存储 本地存储 网络存储 静态存储 代码检查 代码编译 镜像编译 服务发布 镜像同步 镜像上传 镜像下载 镜像安全 k8s tcp负载 https-http 虚拟主机 服务路由 traefik ingress-nginx nginx 流 量 入 口 k8s平台组件 k8s平台接入流程 范例 应用名称 ai-dc-server ai-dc-web ai-dc-api 镜像版本和git版本库规范 制定git版本规范，开发提交合并master代码，git版本库和业务版本进行关联，出了问题好定位问题。 采用docker容器化之后，ci-cd由运维平台集中控制，git版本和容器镜像必需保持一致关联性，方便问题回溯。 git master dev checkout v20 app-name:2019-0510-1033_dev 仓库域名+路径 空间名 应用名称 日期-时间戳 git版本库 镜像完整地址 registry.hz.local/huize ai-test ai-dc-web 20190510-1033 v20 registry.hz.local/huize/ai-test_ai-dc-web:20190510-1033_v20 k8s镜像构建过程 domain/path namespaces

Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential AWS 容器服务概览 镜像仓库 容器镜像保存地址 Amazon Elastic Container Registry 管理 容器化应用的部署，调度，扩 展和管理 Amazon Elastic Container Service Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential 自由 - 选择需要的 AMI 镜像 Amazon https://github.com/awslabs/amazon-eks-ami © 2019, Amazon Web Services, Inc. or its Affiliates Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential DockerHub 中的镜像 性能监控 – CloudWatch Agent: https://hub.docker.com/r/amazon/cloudwatch-agent • Tag: latest 日志 – FluentBit: