Kubernetes VM Solutions for Multi-Tenant Applications Guangxu Li, Senior Software Engineer, ZTE li.guangxu@zte.com.cn Container and VM Ecosystem Kubernetes Docker Swarm Marathon Nomad Container Container OpenStack Others Why We Run VM on Kubernetes? • Traditional Applications • No linux based Applications • Functions provided by host kernel are not satisfied • OpenStack is too complex • Unified Unified infrastructure • Better isolation VM related Projects Virtlet KubeVirt RancherVM Kata Container Focus : deploy REAL vm (traditional vm app) Focus : container security Virtlet Virtlet is

Group – please join in • See Issue #49964 14 Using a NUMA aware hypervisor to solve issues now VM composition guidelines • Assuming you workload fits with the footprint of a single node, compose to what is needed to meet requirements • Don’t assign an odd number of vCPUs • Never compose a VM larger than the number of physical cores A NUMA aware hypervisor can have IO benefits too For disruption VM DRS Cluster VM VM VM VM VM VM VM VM K8S Prod VM K8S Prod VM K8S Prod VM K8S Prod VM K8S Test VM K8S Test VM K8S Test VM K8S Prod VM K8S Prod VM K8S Prod VM K8S Prod VM K8S

Group – please join in • See Issue #49964 14 Using a NUMA aware hypervisor to solve issues now VM composition guidelines • Assuming you workload fits with the footprint of a single node, compose count to what is needed to meet requirements • Don’t assign an odd number of vCPUs • Never compose a VM larger than the number of physical cores A NUMA aware hypervisor can have IO benefits too For disruption VM DRS Cluster VM VM VM VM VM VM VM VM K8S Prod VM K8S Prod VM K8S Prod VM K8S Prod VM K8S Test VM K8S Test VM K8S Test VM K8S Prod VM K8S Prod VM K8S Prod VM K8S Prod VM K8S

Application Application Repackaging Application Refactoring Application Journey App packaged in VM App packaged in Container Platform Evolution 11 Confidential │ ©2018 VMware, Inc. 11 Confidential yaml ContainerImage1 Replicas: 1 ContainerImage2 Replicas: 2 https://youtu.be/PH-2FfFD2PU 14 VM VM VM VM Kubernetes Trend Worker Node The Kubernetes Master Node Basic Components Master Node ETCD Switch Cluster Management Nodes – Logical Switch Master ‘VM’ etcd NCP API Srv Worker ‘VM’ Pod 1 Pod 2 Worker ‘VM’ Pod 3 Pod 4 Worker ‘VM’ Pod 5 Pod 6 T1 T1 T1 T1 VMware vSphere NSX

成本 GPU使用方式 实现 VCUDA 在vm中构建wrapper library以拦截GPU调用并将这些调用重定向 到宿主机执行 Amazon 将设备直接挂在到vm中 GPUvm 在Zen的hypervisor层实现了全虚拟化。为了隔离运行在物理 GPU上的多个VM，GPUvm将物理GPU分成几个部分，并将每个 部分分配给单个VM。 NVIDIA GRID 在硬件层面实现GPU虚拟化，每个容器可以绑定一个虚拟GPU

Think in Cloud . 北北京 UK8S客户案例例 - B UHost UK8S 反向代理理 注册中⼼心 APP APP APP APP VM VM pod pod 平滑迁移 Pod具有与VM等同的⽹网络待遇，让VM与容器器混合部署成为可能， 业务迁移到K8S也更更简单 Think in Cloud . 北北京 Think in Cloud . 北北京

和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像，从⽽实现可预测的升级和回滚，但VM是重 量级、不可移植的。 新⽅法是部署容器，容器基于操作系统级别的虚拟化⽽不是硬件虚拟化。这些容器彼此隔离并且与宿主机隔离：它们有 ⾃⼰的⽂件系统，看不到对⽅的进程，并且它们的计算资源使⽤可以被界定。它们⽐VM更容易构建，并且由于它们与 底层基础架构和宿主机⽂件系统解耦了，可实现跨云、跨操作系统的移植。 进程的⽣命周期由基础架构管理⽽⾮容器内隐藏的进 程监控程序管理时。 最后，通过在每个容器中使⽤单个应⽤程序的⽅式，管理容器⽆异于管理应⽤程序的部署。 容器好处概要： 灵活的应⽤创建和部署 ：与VM映像相⽐，容器镜像的创建更加容易、有效率。 持续开发，集成和部署 ：通过快速轻松的回滚（由于镜像的不可变性）提供可靠且频繁的容器镜像构建和部署。 Dev和Ops分离问题 ：在构建/发布期间⽽⾮部 replicas 不够时，启动⼀个新的Pod）。 Master可在集群中的任意节点上运⾏。然⽽，简单起⻅，设置脚本通常在同⼀个VM上启动所有Master组件，并且不会 在该VM上运⾏⽤户的容器。请阅读 Building High-Availability Clusters 以实现多主机VM配置。 kube-apiserver kube-apiserver 暴露Kubernetes的API。它是Kube

-R $(whoami) /usr/local/lib/pkgconfig ## VM 驱动程序 VirtualBox brew install docker-machine-driver-hyperkit ~/.kube/config ⽂件中查看所有可⽤的环境 启动 # 可添加参数 # --vm-driver=hyperkit minikube start minikube

tree，网络，user IDs 和挂载的文件 系统 。 Container 框架 通过在 Kernel 层面提供的 API 来达到上层可以容器化应 用程序。 Container VS VM (Virtual Machine) 由于采用系统当前的内核，Container会启动加载更快，更 轻量，并且更省资源。 Container Image 用来将需要容器化的应用程序及其环境进行打包后存储的镜像。 在企业环境中 Node 很有可能需要进行不同类别的区分，而每 一类 Node 上的环境都有可能会不同。 关键点回顾 • Kubernetes 是什么：容器编排工具 • Container 与 VM 比较的优势：更轻量化，更快，更易部署 • Container Image 的管理 • Container 运行与 Image 的标准：OCI • Kubernetes 的基本架构：Master

"s/^SELINUX=.*/SELINUX=disabled/g" /etc/sysconfig/selinux Step5. 关闭 swap 分区 swapoff -a && sysctl -w vm.swappiness=0 //设置 swap 开机不启动 vi /etc/fstab #/dev/mapper/centos-swap swap swap bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward = 1 vm.swappiness=0 EOF sysctl -p C. 安装 ipvs 【注】ipvs 将作为 kube-proxy 的代理模式 Step1: 安装 yum