务，要求交付快释放快 上云前的现状 •大量物理机部署 •技术栈单一，90%为golang •最多时有200个AB服务，均单独部署 •研发有在机器上调试的需求 私有云建设⽅案 Kubernetes提供了什么 •Pods •Services •DNS •ConfigMaps 整体思路 • 容器能不能做无状态的“物理机”来用？不用它的服 务发现，不用它的负载均衡，不用它的配置中心。 •Supervisord •Syslog •Sshd •业务二进制 •配置文件 容器方案 •Supervisord守护其它进程 •通过ssh登陆 •集成大量工具 •使用方式与物理机无异 问题：上容器有多大性能损失？ 没有频繁的磁盘访问的应用容器和本地进程无异，网络为主要开消 想要的网络方案 •全网能够互通 •简单能掌控 •后续能定制 •尽量减少链路时延 网络支持BGP，架构复杂 方案三：Macvlan网络方案 Macvlan是Linux操作系统内核提供的网络虚拟化方案之一 它可以为一张物理网卡设置多个mac地址 Macvlan Wins！ •几乎是业界最快网络模型 •网络延迟几乎与物理机一致 •简单的设计，易掌控 集群方案 一个超大集群还是多个中小集群？ 集群方案 •超级部署屏蔽K8S的各类资源 •一个部署调度到多个集群

对比虚机的优势： • 通过共享操作系统内核，细粒度资源隔离。（降低资源成本） • 定义了环境无关的标准的交付、部署规范（提高交付效率） • 秒级快速启动和停止（适合敏捷扩缩容场景） • 一台ECS实例/物理机上可以运行多个容器。 • 容器在业界的默认标准是Docker，定义容器标 准的组织是OCI。 容器技术是一种轻量级的操作系统虚拟化方案， 可以基于操作系统虚拟出更加细粒度的资源单位。 5 支持原生API调用和命令行操作 增强的商用化特性 • 通过自动化配置、构建、部署提升业务上线效率 • 通过跨可用区高可用和控制面HA提升业务可靠性 • 通过物理共享集群提供敏捷可靠的容器适应业务多样性 高性能基础设施 • 支持多种异构IaaS：虚拟机、物理机、ARM服务器 • 支持多种存储：云硬盘、对象存储、文件存储 • 对接公私网络：虚拟私有网络、EIP公网 容器引擎CCE：基于开源Kuber 容器服务 开源原生平台 商业增强特性 控制面 HA 跨AZ高可用 容器优雅缩容 多策略弹性伸缩 镜像加速 滚动升级 配置模板化 自动化构建 自动化部署 节点自动伸缩 GUI/CLI/API 物理共享集群 多语言多框架 Java/Python/Go/Node.js 第三方模板&镜像部署 K8S Helm/Docker Hub 第三方服务&工具 Kafka/Nginx/APM/Monitor

(CNCF)并把Kubernetes作为种子技术来提供。目前最新的 版本是1.16版本。（https://github.com/kubernetes/kubernetes） Kubernetes 的目标旨在消除编排物理/虚拟计算，网络和存储基础设施的负担，并使应用程序运营商和开发人员完全将重点放 在以容器为中心的业务上进行自助运营。Kubernetes 也提供稳定、兼容的基础（平台），用于构建定制化的workflows 理解k8s系统里面的三种IP： Node IP：Node节点的IP地址 Pod IP： Pod的IP地址 Cluster IP： Service的IP地址。 Node IP是k8s集群中每个节点的物理网卡IP地址，他是一个真实存在的物理网络，所有属于这个网络的服务器之间都 能通过这个网络直接通信，不管他们中是否有部分节点不属于这个k8s集群，这个也表明k8s集群之外的节点访问k8s集群 内的某个节点或者TCP/IP服务时，必须使用Node k8s位于不同Node上的Pod能够直接通信，所以k8s里的一个Pod里面容器访问另一个Pod里面的容器，就是通过Pod IP 所在的虚拟二层网络实现通信的，而真实的TCP/IP流量则是通过Node IP所在的物理网卡流出的。 Cluster IP：他也是一个虚拟的IP，更像一个“伪造”的IP地址。 22 www.h3c.com Confidential 秘密 22 22 K8s基本概念和术语介绍（Job）

基于jenkins的传统发布 K8S多环境发布一期方案 • 一期通过K8S发布，一键master • 新增服务模版，自动生成deployment K8S多环境二期优化实战 • 一套代码，支持多种环境 • 物理隔离的多环境 • 共享资源的多环境 收益总结 • 降低服务器使用成本40% • 运维100%自动化 • 多云部署，高可用 P-1 为什么要做多云多K8S多环境 ‣ 标准的dev test pre 多环境资源互不影响 微服务 • 全链路服务全部属 • 注册中心独立部署 流量隔离 • 多域名，泛域名解析匹配 数据 • 全量同步线上脱敏数据 • Mysql redis ES 全搭建 • 数据全部物理隔离 发布平台 • 按需分支发布 • 多环境完全并行 • 一期方案的问题与挑战 1 2 3 多环境资源“假”隔离 Namespace隔离，共享资源 数据依赖成本高 所有存储都是独立搭建的 如何借助多云保证有状态服务高可用 ‣ 如何做到激增流量时，全链路联动扩缩容 ‣ 如何通过共享减少资源占用 ‣ 如何识别流量，智能路由 • 资源隔离，逻辑隔离，物理隔离 逻辑隔离多环境共享一个K8S（线下） 问题1 多环境物理隔离（线下，线上） 问题2 推荐做法 • 资源严格隔离：独占K8S，根据引入流量区分线上，线下 • 资源逻辑隔离：线下环境，通过智能路由，解决多环境 • 多云部署的目的

5 资源隔离：可预测的应⽤程序性能。 资源利⽤：效率⾼，密度⾼。 为什么我需要Kubernetes，它能⼲啥？ 最基本的功能：Kubernetes可在物理机或虚拟机集群上调度和运⾏应⽤容器。然⽽，Kubernetes还允许开发⼈员将物理 机以及虚拟机 “从主机为中⼼的基础设施转移到以容器为中⼼的基础设施”，从⽽提供容器固有的全部优势。 Kubernetes提供了构建以容器为中⼼的开发环境的基础架构。 在Kubernetes集群的整个⽣命周期中创建的每个对象都有不同的UID（即：它们在空间和时间 上是唯⼀的）。 07-Name 23 Namespace（命名空间） Kubernetes⽀持在同⼀物理集群中创建多个虚拟集群。 这些虚拟集群被称为Namespace。 使⽤多个Namespace的场景 Namespace旨在⽤于这种环境：有许多的⽤户，这些⽤户分布在多个团队/项⽬中。对于只有⼏个或⼏⼗个⽤户的集 [可能有]etcd：资源对象存储中⼼，K8s的所有资源对象数据都存储在此。 Node（⼯作节点） 在K8s集群中，除Master以外的其他机器被称为Node节点。与Master⼀样，Node节点也可以是⼀台物理机或虚拟机。 由于Node节点才是K8s集群中的⼯作 kubelet：负责Pod所对应的容器的⽣命周期管理，例如容器的创建、启停等。根据从etcd中获取的信息来管理容 器、上报Pod运⾏状态等。

KubeOperator 开源容器器平台的技术优势 KubeOperator 开源容器器平台企业版 云原⽣生（Cloud Native）正在吞噬世界 云原⽣生的三个维度 企业本地部署 公有云 + 物理理资源 虚拟化资源 容器器化资源 瀑布模型 敏敏捷开发 DevOps 统⼀一架构 多层级架构 微服务架构 1. 基础设施 2. 开发模式 3. 应⽤用架构 vs. 云原⽣生能⼒力力建设的两个选择 集群是企业踏上云原⽣生之旅的第⼀一步 - ？ Kubernetes 集群规划、部署和运营中所⾯面临的问题 Day0 规划 Day1 部署 Day2 运营 a. 开发测试使⽤用，还是⽣生产使⽤用？ b. 部署在物理理机上，还是 IaaS 上？ c. ⽤用哪种⽹网络⽅方案，服务如何暴暴露露？ d. ⽤用哪种持久化存储？ e. ⽤用哪种操作系统？ a. 如何快速创建主机资源？ b. 如何实现⾃自动化⼀一键部署？ KubeOperator 的整体架构 KubeOperator NFS / vSAN / Ceph 等 Flannel / Calico / NSX-T 等 负载均衡 / CoreDNS 等 物理理机 / vSphere / OpenStack / FusionCompute 等 Ansible / Terraform CentOS / RHEL / EulerOS 集群规划 集群部署

09:33:02 开始pull V8版本的image PS：灰度升级属于原地升级，因此不需要重新过调度，升级的效率 也会提升。 每次升级可以选择要升级的实例个数以及具体哪些(个)实例。 能力扩展：存储场景 物理硬盘 cephFS ceph RBD ceph RBD 权限管理 quota 在线扩容 containe r containe r containe r 本地磁盘 containe library以拦截GPU调用并将这些调用重定向 到宿主机执行 Amazon 将设备直接挂在到vm中 GPUvm 在Zen的hypervisor层实现了全虚拟化。为了隔离运行在物理 GPU上的多个VM，GPUvm将物理GPU分成几个部分，并将每个 部分分配给单个VM。 NVIDIA GRID 在硬件层面实现GPU虚拟化，每个容器可以绑定一个虚拟GPU NVIDIA Docker 通过将GP GPU资源的发现 • 为任务分配相应的硬件 资源及配置容器运行时环境 transparent. GaiaGPU不应修改Kubernetes代码或容器镜像以共享GPU。使用共享GPU执行应用程序应该就像 在物理GPU上执行一样。 Performance. GaiaGPU应当保证vGPU的性能与原生GPU性能相近。 Isolation. GaiaGPU可以有效的分配和回收每个容器使用的GPU资源并实现不同容器间的资源隔离。

⾃自研CNI插件 与VPC⽹网络深度集成 UK8S集群⽹网络⽅方案 利利⽤用SecondaryIP API实现IP管理理 ⽆无overlay 性能与云主机⼀一致 Pod⽹网络可与物理理云 托管云直接互通 Think in Cloud . 北北京 • 根据Pod1内的路路由规则将IP包通过Pod1 eth0发 送到云主机对应vethpair设备 • 根据云主机Node1的路路由规则将IP包通过云主机 信息的速度⾜足够快。 Think in Cloud . 北北京 UK8S托管⽅方案 合理理利利⽤用存量量物理理资源 ⽆无需运维管理理K8S集群 ⽆无需部署外部负载均衡 业务⾼高峰可随时扩容集群 有效利利⽤用存量量IT资源 WHY VALUE UK8S+托管物理理机 WHAT Think in Cloud . 北北京 UK8S托管⽅方案 • Master节点部署在公有云上。Node节点分为公有云区

ECI关键技术选择 – ECI和ECS并池架构 ECI ECI ECI ECI ECS ECS ECS ECS ECI ECI ECI ECI ECS ECS ECS ECS 物理机 物理机 弹性计算统一库存调度系统 Serverless容器未来挑战 启动效率 SLO弹性 并发创建 部署密度 咨询和答疑

基于kubernetes的微服务实践 涂小刚 2019.8.11 Service Mesh Meetup #6 广州站 物理机 虚拟机 容器集群管理 私有云 容器 服 务 治 理 基 础 设 施 自动恢复 监 控 报 警 harbor 容 器 引 擎 存 储 管 理 编 译 发 布 软件定义网络跨节点通讯 统 一 集 中 运 营 管 理 gitlab jenkins annel_host-gw>calico-bgp>host 带宽：host>calico-bgp>flannel_host-gw>flannel-vxlan>calico-ipip host:指物理机直连网络 calico-bgp:二层bgp模式，自动学习路由 flannel_host-gw:二层直接路由模式 flannel-vxlan:跨三层隧道模式 calico-ipip:跨三层隧道模式