02-安装单机版Kubernetes 03-使⽤Kubespray部署⽣产可⽤的Kubernetes集群（1.11.2） 04-K8s组件 05-Kubernetes API 06-理解K8s对象 07-Name 08-Namespace 09-Label和Selector 10-Annotation 11-K8s架构及基本概念 12-Master与Node的通信 13-Node 运⾏Controller，它们是处理集群中常规任务的后台线程。逻辑上来讲，每个Controller都是⼀ 个单独的进程，但为了降低复杂性，它们都被编译成独⽴的⼆进制⽂件并运⾏在⼀个进程中。 这些控制器包括： Node Controller：当节点挂掉时，负责响应。 Replication Controller：负责维护系统中每个replication controller对象具有正确数量的Pod。 Endpoints Endpoints Controller：填充Endpoint对象（即：连接Service＆Pod）。 Service Account & Token Controllers：为新的namespace创建默认帐户和API access tokens。 cloud-controller-manager cloud-controller-manager运⾏着与底层云提供商交互的Controller。clo

服务器 大数据查询 大数据ETL 模型训练 Alluxio核心功能三：统一的文件系统抽象 Alluxio 服务器 Alluxio在云端AI训练场景的性能好处 • 支持大规模的数据缓存 • 本地内存加速 • 支持数据预热 • LRU缓存管理 Object storage (Fuse) Worker (local) Worker (remote) Master Training fuse TensorFlow TensorFlow Alluxio Master Pod Pod MXNet MXNet Pod Pod Caffe Caffe oss 阿里云 对象存储 statefulset daemonset 一键式部署Alluxio，中心化配置集群参数 $ cat << EOF > config.yaml properties: fs.oss Alluxio读取的数据块优先保存到本地，但是当本地空间不足时， 不会驱逐本地数据块而是将读取数据缓存到邻近节点 alluxio.worker.tieredstore.level0.dirs.quota 100GB 缓存存储的容量上限。 alluxio.worker.tieredstore.level0.watermark.high.rat io 0.99 后台驱逐任务启动条件，本例子中条件本地空间超过100 x

发者体验，使大型组织更容易管理数据策略。 29. Lokalise 试验 Lokalise 是一个全自动的本地化平台，它支持特定上下文的翻译。我们的团队在 ETL 流程或开发工作流中使用 Lokalise API 来翻译可本地化的内容。 Lokalise 支持多种文件格式的可本地化字符串。一个值得强调的方面是它 支持上传整个文件，其中每个键 - 值对都被视为单独的记录并被翻译。在底层，我们利用了 我们将其放入试验阶段。 31. Trino 试验 Trino 以前被称之为 PrestoSQL，是一个专为面向大数据交互式分析查询而设计的开源分布式 SQL 查询引擎。经 过优化后，它可以在本地或者云上环境运行，并支持对 Hive、Cassandra、关系型数据库、甚至专有数据存储 等多种不同的数据源进行查询。它支持基于密码的认证、LDAP 和 OAuth 的身份验证机制，同时具备在 catalog、 务器函数中。 60. Kubeconform 试验 Kubeconform 是一个用来验证 Kubernetes 清单和自定义资源（CRD）的简化工具。它能很容易地在 CI/CD 流 水线或本地机器中部署，通过在部署前验证资源，以减少潜在的错误。鉴于 Kubeconform 在加强运行保证方 面有良好记录，特别是在跨团队共享模板资源方面，我们建议试用 Kubeconform 以提高资源验证流程的安全

# systemctl enable docker # systemctl start docker # docker info ★配置docker服务使用systemd去管理（以及信任本地镜像仓库） # vi /etc/docker/daemon.json { "data-root": "/docker_data", "registry-mirrors": [ "h�ps://cof-lee #查看ip网卡信息 1: lo: mtu 65536 qdisc noqueue state UNKNOWN # 本地环回口 inet 127.0.0.1/8 scope host lo 2: ens33: mtu 1500 qdisc pfifo_fast com/k8s/nginx:v1.19.5 #容器使用的镜像 imagePullPolicy: IfNotPresent #镜像获取方式，优先本地，后网络 拉取 #command: [ "/bin/sh", "-ce", "ping -c 3 1.1.1.1" ] #容器入口程序及参数 resources:

迁移、同步、清洗、跨地域、灾备、多活等等。 DB Operator Day-2 Operations Operator 基础模型 第二部分 K8s 架构 Cache Informer 机制 Cache 如何获取到本地（内存中） Informer 启动后会通过 reflector 的 list & watch 机制获取某种资源的 全量 objects。list 可以简单理解为一个 HTTP GET 请求，watch controller-runtime 会马上为其增加 informer 并完成初始化 Cache 注意事项 Cache 中的对象都保存在内存中，如果对象很多，内存占用会比较大， 所以一方面要根据单个对象大小以及总得对象规模来评估 controller 内 存消耗。 另一方面 informer 提供了同类型对象的共享机制，降低内存开销 近距离感受 list & watch 机制 Cache 本质及开发建议 相信 的是最新版本，也不能假设一次 reconcile 中始 终会读到同一个版本 避免写后读 同一个 controller，在一次 reconcile 中，避免写 （create、update、delete）完一个对象后马上去 读（get、list）最新版本，等controller-runtime 触发下一次 reconcile 遵循惯例开发模式 即 controller 用读 cache，UT 中不用 cache

器集群 挂载成功后，会显示私⽹IP 挂载过程可能⽤时较⻓，3-5分钟 14 挂载NAS盘到本地机器 对于已经挂载好的NAS盘，该集群内的任何⼀台计算资源（master和worker）均可访 问 ssh登录任意⼀台集群 创建⼀个新的⽬录： mkdir ~/nas 挂载NAS盘到本地： sudo mount -v -t nfs -o "vers=4,noresvport" 存储类->新建存储类，可以在弹出的对话框中新建⼀个使⽤NAS盘的存储类 创建存储类的参数如下配置： 选择集群：选择配置存储类到哪个容器集群 存储类型：选择所⽀持的存储类型，⽬前仅⽀持NAS⽂件存储 存储对象：已创建并且挂在到该集群的NAS盘 驱动提供者：⽂件NAS存储选择 cds/nas server-ip: 系统会⾃动读取NAS盘的挂载点IP path：NAS盘对应的远端挂在⽬录，默认为 /nfsshare 点击集群->存储卷->新建存储存储卷，可以在弹出的对话框中新建⼀个使⽤NAS盘的存储卷 创建存储类的参数如下配置： 选择集群：选择配置存储类到哪个容器集群 存储类型：选择所⽀持的存储类型，⽬前仅⽀持NAS⽂件存储 存储对象：已创建并且挂在到该集群的NAS盘 存储驱动：请选择CSI（Flexvolume今后会停⽌⽀持） server-ip: 系统会⾃动读取NAS盘的挂载点IP path：NAS盘对应的远端挂在⽬录，默认为

•配置文件 容器方案 •Supervisord守护其它进程 •通过ssh登陆 •集成大量工具 •使用方式与物理机无异 问题：上容器有多大性能损失？ 没有频繁的磁盘访问的应用容器和本地进程无异，网络为主要开消 想要的网络方案 •全网能够互通 •简单能掌控 •后续能定制 •尽量减少链路时延 琳琅满目的网络方案 •Flannel •Calico •Cilium •和老方式保持一至 •极速发版，快速扩容，自动伸缩 私有云建设收益 上云成果 遇到的问题 问题⼀：上容器后时延变⼤了 问题⼀：上容器后时延变⼤了 • GOMAXPROCS默认会根据CPU数创建调度线程 • 容器内看到的是宿住机的CPU • Go不是NUMA友好的 解决⽅案⼀：Lxcfs • 通⽤⽅案，适合任何语⾔ • 重新mount部署proc⽬录mock机器信息 • 守护进程失败会导致当前运⾏的容器⽆法获取

Redis, 注册中心、配置中心、服务治理中心 服务治理下沉、透明化 Java Agent, Sidecar, Java治理和Mesh治理的统一， 应用0成本上云 部署形态多云、混合云化 本地云端混部、多云混部、公私混部 云原生下微服务趋势 自研微 服务 Fat-SDK Pandora One Agent One Mesh • 基于隔离容器 • 运维治理效率 大幅提升 • 无侵入 Agent 2 主动通知 Agent 3 客户端主动刷新 Agent Agent 无损下线: 白天大流量下发布依然丝般顺滑 场景一：某应用发布，灰度几台机器，由于代码逻辑写的有问题，造成线程池满，客户端调用失败。 场景二：某应用运行过程中，某几台机器由于磁盘满，或者是宿主机资源争抢导致load很高，客户端出现调用超时。 客户端摘除 • 实时性高 • 需要关注错误率阈值、隔离机器的比

扩展。 服务发现和负载均衡：实现内部负载均衡可以实现服务访问负载。 自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 存储编排：支持多种不同类型的存储，包括本地存储、云存储、网络存储等。 批量处理执行：除服务型应用，还支持批处理作业CI（持续集成），如有需要，一样可以实现容器故障后修复。 Kubernetes特点： 可移植: 作的唯一入口，也是集群控制的入口进程。并提供认证、授权、访问控制、API注册和发现等机制 Controller Manager控制管理器（kube-controller-manager）：k8s里所有资源对象的自动化控制中心，可以理解为 资源对象的“大总管”。运行着所有处理集群日常任务的控制器。包括节点控制器、副本控制器、端点控制器及服务账号 和令牌控制器。负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。 Sch Scheduler调度器（kube-scheduler）：负责资源调度（Pod调度）的进程，相当于“调度室”。按照预定的调度策略 将Pod调度到相应的机器上 etcd：集群的数据存储，他存储着集群中所有的资源对象。数据存储采用的是键值对存储。保存了整个集群的状态。 11 www.h3c.com Confidential 秘密 11 11 K8s基本概念和术语介绍（Node） 工作节点（Node/Worker）：

.. 这是一件困难的事 1. 天然的隔离性和安全性 2. Go 的线程模型与 namespace 机制难以融合 3. 要求运行时注入和恢复 4. 和内核打交道通常都是困难的! Kubernetes 上的混沌工程方案 Chaos Mesh Cloud Native ● 在 Kubernetes 上运行，被测对象也运行在 Kubernetes 上 ● 测试的最小单元是 Pod 或 Container