CPU the bottleneck • 1 CPU handles 500,000 pps • Make LB the bottleneck • The target server and client server shall be powerful enough Performance measurement Test topology Test result Service type components will be open source later • Support more Linux distributions • Build IPVS kernel modules in Ubuntu, Centos • IPVS-eBPF next generation on the way • Implement IPVS SNAT with eBPF without modification

• cpu 超卖 • 使用同一个cluster，在相近的时间段，比较两种mode • 使得cpu成为瓶颈点 • cpu和网卡pps的比例关系 < 1/50w pps • Target server pool /client pool 的配置要足够强大。 测试拓扑 测试数据 • 处理每一个req耗费的指令数 目降低了38% 05 解决的BUG IPVS conn_reuse_mode eBPF代码在分配lport和插入hash的外围，加了一个大循环，插入失败会重新分配lport。 06 未来的工作 未来的工作 • 适配更多的linux 发行版本 • Tencent linux , ubuntu, centos • 独立开源 • 内核修改在github.com/Tencent/TencentOS-kernel/ THANK YOU 感谢聆听 Jianmingfan 腾讯云

Confidential ALB Ingress controller AWS Resources Kubernetes Cluster Node Node Kubernetes API Server ALB Ingress Controller Node HTTP Listener HTTPS Listener Rule: /cheeses Rule: /charcuterie or its Affiliates. All rights reserved. Amazon Confidential 容器安全模型: 深层防护 • full blown distro (Ubuntu, AL) vs. minimal environment (container- optimized distribution) • multi-tenancy requirements

Dev和Ops分离问题 ：在构建/发布期间⽽⾮部署期间创建镜像，从⽽将应⽤程序与基础架构分离。 开发、测试和⽣产环境⼀致 ：在笔记本电脑运⾏与云中⼀样。 云和操作系统可移植性 ：可运⾏在Ubuntu、RHEL、CoreOS、内部部署，Google Container Engine以及任何其他 地⽅。 以应⽤为中⼼的管理：从在虚拟硬件上运⾏操作系统的抽象级别，提升到使⽤逻辑资源在操作系统上运⾏应⽤程序 Master通常会部署在⼀个独⽴的服务器或虚拟机上，它是整个集群的⾸脑，如果Master宕机或不可⽤，那么我们所有的 控制命令都将会失效。 Master节点上运⾏着如下的关键进程： API Server：K8s⾥所有资源增删改查等操作的对外⼊⼝，也是集群控制的⼊⼝进程，它提供了HTTP RESTful API 接⼝给客户端以及其他组件调⽤。 Controller Manager：Controller 有Pod对象从apiserver中删除，并释放其名称。 Kubernetes 1.8引⼊了⼀个⾃动创建代表condition的 taints 功能（⽬前处于Alpha状态）。要启⽤此特性，请向API server、controller manager和scheduler传递标志 --feature-gates=...,TaintNodesByCondition=true 。⼀旦启⽤ TaintNodesByCondition

護計畫(ESM)的一部分。與K8s RBAC, Active Directory及LDAP整合、預設CIS強化、 靜態加密以及無需停機的自動安全性更新可確保使用者獲得高度安全的 Kubernetes 部署。企業也能利用Ubuntu livepatching保護主機作業系統，無需停機，可於系統 執行期間修補 Linux 核心的安全性漏洞。最後，Canonical Kubernetes 可利用 AppArmor隔離容器與主機系統。 他Kubernetes平台方案。 如欲進一步瞭解Canonical Kubernetes，請立即造訪 ubuntu.com/kubernetes或聯繫我們。 Canonical是Ubuntu的發行商；Ubuntu這套作業系統適用於大部分的公有雲工作負 載，以及智慧閘道器、自動駕駛汽車和進階機器人等各種新興類別。Canonical向 Ubuntu 的商務使用者提供企業安全性、支援及服務。Canonical於2004年成立，是 是 一家私營企業。 ©Canonical Limited 2021. Ubuntu, Kubuntu, Canonical and their associated logos are the registered trademarks of Canonical Ltd. All other trademarks are the properties of their respective owners

In-house skills / manpower • Company culture • Tooling • Security & Compliance 10 Canonical (Ubuntu) – K8S Operation Survey @2021/Nov, 1300 受訪者 Click to edit Master title style 11 Tame operational

数万节点集群运行 运行速度 全球领先 超高性能 极易管理 使用场景 私有云 完全 离线 公有云 注册 使用 自助 服务 一键 构建 到处运行 Sealos Centos ubuntu redhat suse 麒麟 欧拉 ARM 裸金属/云服务器/私有云虚拟机 x86 除了 kubelet 其他都跑容器里 为了更好的兼容性，不用系统依赖如rpm 只 依赖内核如

com/GoogleContainerTools/jib 构建Java镜像 So I read some tutorials github.com/GoogleContainerTools/jib FROM ubuntu:14.04 RUN apt-get update && apt-get install -y python-software-properties software-properties-common

kubelet Installation - master - SSH - Install scheduler - Install controller manager - Install API server - Config them correctly - Start them Installation - etcd - SSH - Install etcd - Config them correctly etcd Kubelet Bootkube API Server Scheduler Controller Manager etcd Kubelet Bootkube API Server Scheduler Controller Manager etcd Kubelet Bootkube API Server Scheduler Controller Manager Bootkube API Server Scheduler Controller Manager etcd Kubelet Create: Deployment Daemonset Service Secret Bootkube API Server Scheduler Controller Manager etcd Kubelet Pods API Server Scheduler

k8s平台接入流程 k8s环境空间和应用名规范 k8s-namespace k8s-service k8s-app-name app-name ai-test ai-dc-server ai-dc-server ai-dc-servedr ai-preview ai-dc-web ai-dc-web ai-dc-web ai-prod ai-dc-api ai-dc-api ai-dc-api 关联。 k8s-app-name 容器host应用名称，deployment 名，通过配置文件关键字关联业务线应用名称，保持应用和k8s之间的关联。 规范 范例 应用名称 ai-dc-server ai-dc-web ai-dc-api 镜像版本和git版本库规范 制定git版本规范，开发提交合并master代码，git版本库和业务版本进行关联，出了问题好定位问题。 采用do 实例kube-apiserver，kube- scheduler和kube-controller- manager 其中三个控制平台节点运行 keeplived和haproxy,node节点 和api-server通讯通过vip对 接,haproxy将流量转发至 apiserver 每个控制平面节点创建一个本 地etcd成员，该etcd成员仅与 kube-apiserver该节点通信 kubernetes