k8s操作手册 前言： 1.蓝色字体表示命令行命令，正式执行时不要复制前面的#号，#号只是提示应 该使用root权限操作 2.绿色字体表示注释，有时注释太多就不用绿色表示了 3.注意：本文档的所有操作请先在测环境进行实践，请不要直接在真实的服务 器中操作！ 版权声明： 本文档以开源的形式发布，所有条款如下： （1）无担保：作者不保证文档内容的准确无误，亦不承担由于使用此文档所导致的任何后果 io/coredns:1.7.0 #可以先下载以上7个镜像，传到每台k8s服务器上，再docker load导入；或者使 用内部registry仓库（内部registry镜像仓库里要有以上7个镜像） ★直接使用命令行方式初始化集群 （以下是非HA模式的master初始化，如果要部署高可用集群，则参考第4章） kubeadm init --kubernetes- version=v1.19.4 \ json文件 里配置信任此镜像仓库地址！ # cat >> /etc/hosts <命令行方式二选一） # kubeadm config print init-defaults > /etc/kubeadm-init.yaml #输出初始化配 置文件并编辑 # vi

认为的最佳实践检查，以及用于 HIPAA、NIST 和 PCI 合规 性的规则包。您可以根据需要添加额外的规则。规则可以导致警告或错误，这两者都包含在工具生成的报告中。 当存在错误时，cdk deploy 命令将无法进行部署。如果错误的原因无法及时修复，仍然可以在错误存在但已被 抑制的情况下进行部署。显然，这应该只在特殊情况下执行。 49. Checkov 试验 Checkov 是一个专门用于基础 容器结构测试（CST）是由 Google 开发的一个工具，用于测试容器镜像的结构。CST 可以用于检查镜像文件系 统中某个文件的存在或缺失，验证文件的内容，检查容器中发出的特定命令的输出或错误，并检查容器镜像的 元数据（例如标签、入口点和命令），以确保符合 CIS Docker Benchmark 的规范。我们在使用 CST 方面有很 好的经验，建议您可以试用一下。除了预防漏洞，检查容器是否暴露不必要的端口之外，我们还使用它来验证 脚本的版本与配置不匹配的问题，以及标准化管理项目中不同语言包的提供。我们发现 Devbox 显著简化了项 目入门流程，只要代码库配置了该工具，只需运行一个 CLI 命令（“devbox shell”）就能将开发环境配置到新 机器上。Devbox 支持 shell 钩子、自定义脚本和生成便于集成 VSCode 的 devcontainer.json。 55. DX DevEx 360 试验 DX DevEx

Kubernetes基础介绍 综合产品支持部——李树兵 2 www.h3c.com Confidential 秘密 22 Kubernetes基础架构介绍 01 03 Kubernetes常见命令介绍 02 Kubernetes基本概念和术语介绍 04 Kubernetes技术在H3Cloud OS中的应用介绍 3 www.h3c.com Confidential 秘密 33 Kubernetes基础架构介绍 Kubernetes基础架构介绍 01 03 02 Kubernetes基本概念和术语介绍 04 Kubernetes技术在H3Cloud OS中的应用介绍 Kubernetes常见命令介绍 4 www.h3c.com Confidential 秘密 44 Kubernetes基础结构介绍 Kubernetes（来自希腊语，意为“舵手”或者“飞行员”又称为k8s），它是谷歌开源的容器集群管理系统，是谷歌多年大规模 Kubernetes常见命令介绍 10 www.h3c.com Confidential 秘密 10 10 k8s基本概念和术语介绍（Master） 主节点（Master）： Master是集群的控制节点，每个k8s集群中至少需要一个Master节点来维护整个集群的管理和控制，几乎所有的控制命 令都是发给它，它负责执行具体的动作。它很重要，如果它不可用，那么我们所有的控制命令都会失效。 Master节点上运行一组关键进程：

master,node 172.20.0.90 node 172.20.0.91 node 172.20.0.92 node 准备⼯作 关闭selinux 所有机器都必须关闭selinux，执⾏如下命令即可。 ~]# setenforce 0 ~]# sed -i --follow-symlinks 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux 中描述了API的总体规范。 API Reference 中描述了API端点、资源类型和样本。 access doc 讨论了API的远程访问。 Kubernetes API也是系统声明式配置模式的基础。 Kubectl 命令⾏⼯具可⽤于创建、更新、删除以及获取API对象。 Kubernetes也会存储其API资源⽅⾯的序列化状态（⽬前存在 etcd 中）。 Kubernetes本身被分解成了多个组件，通过其API进⾏交互。 的⼯作负载是怎样的？这是您集群的期望状态 。 要使⽤Kubernetes对象——⽆论是创建、修改还是删除它们，您都需要使⽤ Kubernetes API 。 例如，当您使 ⽤ kubectl 命令⾏时，CLI会为您提供必要的Kubernetes API调⽤；您也可直接在⾃⼰的程序中使⽤Kubernetes API。 Kubernetes⽬前提供了⼀个 golang client library

-o "vers=4,noresvport" :/nfsshare ~/nas 挂载后，/nas ⽬录即为NAS盘的所有内容，此时可以做任意操作 使⽤后，执⾏下述命令即可卸载本次挂载： sudo umount /nas NAS盘扩容 在⽂件存储NAS⻚⾯点击扩容，即可对该盘进⾏在线扩容 在新⻚⾯中，选择容量并确定即可完成扩容 ⽬前只⽀持扩容操作，不可缩容 io/docs/tasks/configure-pod-container/attach-handler-lifecycle- event/。 启动执⾏：为容器设置预启动命令和参数。 启动后处理：为容器设置启动后的命令。 停⽌前处理：为容器设置预结束命令。 数据卷：⽀持配置本地存储和云存储。 本地存储：⽀持主机⽬录（hostpath）、配置项（configmap）、保密字典（secret）和临时⽬录四种 timeoutSeconds，探测超时时间。默认 1 秒，最⼩ 1 秒。 不健康阈值：探测成功后，最少连续探测失败多少次才被认定为失败。默认是 3，最⼩值是 1。 命令⾏ 通过在容器中执⾏探针检测命令，来检测容器的健康情况。⽀持的参数包括： 命令⾏：⽤于检测容器健康情况的探测命令。 延迟探测时间（秒）：即 initialDelaySeconds，容器启动后第⼀次执⾏探测时需要等待多少 秒，默认为 5秒。 执⾏探测频率（秒）：即

執行 Kubelet、Proxy 和 Docker Daemon 三個元件，負責對本節點上的 Pod 的生命 週期進行管理，以及實現服務代理的功能。另外在所有節點上都可以執行 Kubectl 命令列工具，它提供了 Kubernetes 的叢集管理工具集。圖 1.14 描述了 Kubernetes 的系統架構。 圖 1.14 Kubernetes 的系統架構圖 2-6 Kubernetes 在實際營運系統中，我們經常會遇到某個服務需要擴展的情境，也可能會遇到由於 資源緊張或工作負載降低而需要減少服務實例數的情形。此時可以利用命令 kubectl scale rc 來完成這些任務。以 redis-slave RC 為例，已定義的最初抄本數量為 2，透 過執行下面的命令將 redis-slave RC 控制的 Pod 抄本數量從初始的 2 更新為 3： $ kubectl scale rc spec: selector: k8s-app: kube-ui ports: - port: 80 targetPort: 8080 透過 kubectl create 命令完成建置： $ kubectl create -f kube-ui-rc.yaml $ kubectl create -f kube-ui-svc.yaml 啟動成功後，透過 Kubernetes

常规的容器服务 ，使用 gpu 的 zone ， 自行设定相应的镜像即 可，有完善的周边服务 训练服务 • 提供基于 kubeflow 的分布式训练方案 – 界面化操作，用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像，不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态 – Job 调度 （部门 quota 限制 + 优先级） • 创建训练 – 用户选择集群提供代码地址和执行命令即可 – 选择所用框架（镜像）：支持官方，亦可自制 （提供 dockerfile 生成镜像服务） – 选择存储来源：对接了内部的存储 – 填写代码地址，执行的命令等 – 可以选择是否监控训练，提供 tensorboard 任务列表 可以指定 git 的 commit-id

Minikube 简介 Minikube 可以实现⼀种轻量级的 Kubernetes 集群，通过在本地计算机上创建虚拟机并部署只包含单个节点的简单集群 MacOS 系统安装依赖 安装依赖 # 命令⾏⼯具 brew install kubectl brew install minikube # 如果遇到权限⽂图 sudo chown -R $(whoami) /usr/local/lib/pkgconfig 群集内部 IP 访问。要使 hello-node 容器从 Kubernetes 虚拟⽹络外部访问，须要使⽤ Kubernetes Service 暴露 Pod。 使⽤ kubectl expose 命令将 Pod 暴露到外部环境: kubectl expose deployment hello-node --type=LoadBalancer --port 8080 # 输出：service/hello-node ClusterIP 10.96.0.1 443/TCP 16h 浏览器访问 Service 可以通过minikube Service 命令访问。 minikube service hello-node 会即刻打开浏览器，显示 “Hello World” 消息。 更新 Nodejs 应⽤镜像和服务 修改 Nodejs 程序并出新镜像：

虛擬化或雲端環境中，關鍵資訊可能會暴露給第三方。 • 合規風險 - 許多合規性要求有嚴格的存取控制與稽查規 範。然而，許多資安團隊在管理和追蹤容器與映像內留 存資料，控制權受到限制。因此，這些資安團隊發現很 難遵守相關的資安政策與法規命令。 解決方案：CipherTrust Transparent Encryption for Kubernetes CipherTrust Transparent Encryption for Encryption for Kubernetes 效益有 : • 合規性 - CipherTrust Transparent Encryption 的這 項擴充，解決了保護機敏資料的合規要求與法規命令， 例如支付卡、健康照護紀錄或者其他機敏資產。 • 防止受到特權用戶的威脅 - 該解決方案提供資料存取控 制的加密，讓特權用戶如 Docker 或 OpenShift等群組 管理員，能夠像一般用戶執行操作，不會獲得未經授權 Kubernetes 環 境。 • 細粒度存取控制與可視性 - CipherTrust Transparent Encryption for Kubernetes 提供細部的可視性與控 制，滿足最嚴格政策與命令的法規遵循規範。採用 Kubernetes 資安解決方案，企業能依據特定用戶、程 序以及容器內的資源組來建立細粒度存取政策。最後， 該解決方案能夠在容器之間建立隔離，所以只有經過授 權的容器才可以存取機敏資料。

单纯依靠技 术手段达成，需要完整的建设方法论，具体包含五个方面，如图 7 所示：一是应用架构现代化，依据分而治之、开放设计、统一风格 三重设计原则，通过微服务、Serverless、事件驱动和命令职权分离 等先进架构升级应用范式；二是数据架构现代化，以云原生为底座 优化数据摄取、数据存储、数据分析、数据消费、数据治理等能力， 云计算白皮书（2023 年） 16 充分挖掘数据价值等；三是技术架构现代化，从资源管理、运维保 台、甘肃算力 资源统一调度平台等。 云计算白皮书（2023 年） 30 分发方面，云计算声明式部署方式推动算力资源分发模式新变 革。传统的算力分发方式是面向流程的，以分发命令为核心，分发 结果取决于分发命令的精确程度及执行程度。传统分发方式下，算 力资源主要依靠运维团队手动部署和维护，一个机房的搭建通常需 要 4 人以上的运维团队至少一周的工作量，涉及算力、网络设备等 软硬件的安 软硬件的安装、设备和场地的管理以及安全能力的部署。但传统分 发方式也存在着显著的可扩展性差、效率低的问题，难以支持用户 算力需求突增的场景。伴随着云计算的发展，算力资源也从最初的 物理机部署发展为容器化部署，实现了算力分发从命令式到声明式 的转变，即以分发结果为核心，分发过程交付给容器化部署技术自 动执行，一方面在保证分发结果的同时排除人为操作引入的异常， 极大降低出错概率与人力成本；另一方面将用户的精力从资源运维