TKE使用eBPF优化 k8s service Jianmingfan 腾讯云 目录 01 Service的现状及问题 优化的方法 02 和业界方法的比较 性能测试 03 04 解决的BUG 未来的工作 05 06 01 Service的现状及问题 什么是k8s Service • 应用通过固定的VIP访问一组pod，应用对Pod ip变化 无感知 • 本质是一个负载均衡器 控制面和数据面算法复杂度都是O(1) • 经历了二十多年的运行，比较稳定成熟 • 支持多种调度算法 优势 IPVS mode 不足之处 • 没有绕过conntrack，由此带来了性能开销 • 在k8s的实际使用中还有一些Bug 02 优化的方法 指导思路 • 用尽量少的cpu指令处理每一个报文 • 不能独占cpu • 兼顾产品的稳定性，功能足够丰富 弯路 map。避开了eBPF map没有timer的问题 • 继承了IPVS丰富的功能，稳定性。例如调度算法丰富。 • 优势 • 完全绕过了conntrack/iptables • 对内核修改更小 04 性能测试 性能测试踩过的坑 设置测试环境 • 配置一样的cluster，性能可能不同。 • 多个CVM分布在同一台物理主机 • 同一个cluster，在不同的时间段，性能可能不同 • cpu 超卖

KubeBrain 字节跳动高性能 K8s 元信息存储 许辰 字节跳动资深研发工程师 许 辰 字节跳动基础架构工程师  本科和硕士毕业于北京大学计算机系  负责大规模 Kubernetes 系统的构建和优化  KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 Kubernetes 性能要求更高  离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 单个集群规模垂直扩展 多个集群横向扩展  降低运维管理成本  减少资源碎片  提高资源利用率 Kubernetes 的架构特点 中心化架构 所有组件通过 apisever 交互 随着规模增大存储系统成为瓶颈 etcd 存在性能问题 apiserver K8s 各组件 apiserver 元信息存储 etcd etcd 存在的问题 自研元信息存储 调优 etcd 参数 按照对象拆分 etcd 设计新的元信息存储 … 如何解决存储瓶颈？ KubeBrain 1. 大脑 2. 谐音科比 Kobe Bryant • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 K8s 元信息存储的需求 (1) 

分布式 数据库 DDM 应用编排引擎 AOS App/PaaS/IaaS 资源一键式创建 应用运维 AOM 应用性能管理 APM 应用拓扑 调用链 SLA指标 日志关联分析 异常预警 故障回溯 软件开发服 务 DevCloud 云性能测试 CPTS PaaS IaaS 开发测试 统一编排 自动化部署、微服务注册发现与治理、中间件运行环境 智能运维 开放网关APIG 支持原生API调用和命令行操作 增强的商用化特性 • 通过自动化配置、构建、部署提升业务上线效率 • 通过跨可用区高可用和控制面HA提升业务可靠性 • 通过物理共享集群提供敏捷可靠的容器适应业务多样性 高性能基础设施 • 支持多种异构IaaS：虚拟机、物理机、ARM服务器 • 支持多种存储：云硬盘、对象存储、文件存储 • 对接公私网络：虚拟私有网络、EIP公网 容器引擎CCE：基于开源Kuber 第三方模板&镜像部署 K8S Helm/Docker Hub 第三方服务&工具 Kafka/Nginx/APM/Monitor 优势： 9 国内首发裸金属容器：为“高性能场景”量身打造 10 裸金属容器集群VS虚拟机容器集群 的性能对比 29880 29791 29022 15301 14706 14241 0 5000 10000 15000 20000 25000 30000

Fowler 早在 2003 年就撰写了有关此主题的文章，但问题并没有消失。在 这期雷达中，我们讨论了许多现代工具和技术，它们采用更加细致入微的方法来衡量软件的创造过程，但这仍 然不够。幸运的是，业界已经不再使用代码行数作为产出衡量标准。然而，衡量框架 SPACE 中 A（Activity，活 动）的替代方法，例如拉取请求的数量或已解决的问题的数量，仍然不足以成为衡量生产力的良好指标。相反， 行 感知产生影响的条件。新的工具，比如 DX DevEx 360，通过关注开发者体验而不是一些虚假的产出衡量标准解 决了这个问题。然而，许多领导人仍然以模糊的、定性的方式衡量开发者的“生产力”。我们怀疑，这种兴趣的 复苏至少有一部分原因是受到了人工智能辅助软件开发的影响，这不可避免地引发了一个问题：它是否产生了 积极的影响？虽然衡量标准可能变得更加细致入微，但真正的生产力衡量仍然难以捉摸。 本期主题 © 内容生成（文本、图片和视频）、代码生成到总结概述和翻译等各种问题。通过自然语言的抽象层，这些大模型 成为了强大的工具库，被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面，包括自托管式大语言 模型，相较云托管的大语言模型，它支持更多的定制和管控。随着大语言模型日益复杂，我们正在深思如何在 小型设备上运行大语言模型，特别是在边缘设备和资源受限的环境中。我们还提到有望提高性能的 ReAct 提示 工程，以及利用

头厂商在全球化布局基础上，纷纷调整发展重心，并聚焦热点区域、 热点领域和热点方向，试图在市场上抢得先机。 四是云计算技术不断推陈出新，助力产业高质量发展。随着上 云进程持续加深，企业需求逐步向用云转移，效率、性能、安全等 成为用户关注点，应用现代化、一云多芯、平台工程、云成本优化、 系统稳定性、云原生安全等新技术层出不穷，满足用户多样性场景 需求，助力产业数字化升级。 在此背景下，中国信息通信研究院继《云计算白皮书（2012 为例，其在印度、新加坡、澳大利亚、日韩等地 已建设 40 余个可用区，并计划在东南亚、新西兰等地再新建 12 个 可用区，建成之后亚太地区的可用区占全球比例将超 50%。 服务能力方面，效率和性能成为云服务商竞争的新手段。随着 用云程度持续加深，用户对云服务的要求从能用转变为好用，促使 云服务商更加关注优质云能力的供给。一是更注重敏捷迭代，提升 效率。用户对加速创新，缩短研发周期，提高迭代效率的需求日益 三大生态充分打通，形成完整的技术生态。 二是更注重软硬协同，优化性能。在算力多样化、节点高密化、载 体细粒度化等诉求下，底层硬件在云计算的驱动下也因云而变。2022 年 6 月，阿里云发布 CIPU（Cloud infrastructure Processing Units，云 基础设施处理器），其是一套全新的计算架构体系，能够在通用计算、 大数据、人工智能等场景中展现更好的性能。2022 年 12 月，AWS 云计算白皮书（2023

Kuryr 不需要多租户隔离，大量使用容器技术，对性能 要求很高 Overlay Kuryr 需要多租户隔离，需要统一管理容器网络和虚拟 机网络，将容器用作轻量级虚拟机，对性能要求 较高 Overlay Calico 需要多租户隔离，对容器网络的管理独立于虚拟 机网络 Overlay Overlay 需要多租户隔离，对容器网络的管理独立于虚拟 机网络，对性能要求不高；快速集成，用于测试 Kubernetes网络方案 Size 问题 Ø 问题 Ø Neutron网络做隧道封装时，占用了包头， 导致上层网络的最大允许MTU比默认要小， 造成虚拟机网络时通时不通 Ø 给Linux虚拟机造成问题 Ø 给Windows虚拟机造成问题 Ø 给虚拟机内的Docker造成问题 Ø 解决方案 Ø 手动改小虚拟机MTU Ø 用CloudInit脚本更改MTU，集成到云平 台中 HTTPS的负载均衡 Ø 问题 Ø如 TCP Ø要把服务器证书配置到HAProxy上 OpenStack里MySQL Galera 集群高可用 Ø问题 Ø异步多主多活情况下会出现数据 不一致 Ø同步多活情况下容易出现死锁 Ø解决方案 Ø改成同步一主两备模式 Kubernetes的PVC绑定问题 Ø问题 ØPVC每次申请PV都会占用所有 PV容量 Ø解决方案 Ø对Kubernetes的PV起初理解偏 差，PVC的设计就是占用整个PV

存储 17 参考文档 18 版权 © 2023 DaoCloud 第 3 页 简介 DaoCloud Enterprise 5.0（DCE 5.0）是一款高性能、可扩展的云原生操作系统。 它能够在任何基础设施和任意环境中提供一致、稳定的体验，支持异构云、边 缘云和多云编排。 DCE 5.0 集成了最新的服务网格和微服务技术，能够跟踪每 一个流量的生发始终， 支持多云和混合云的统一集中管理，提供跨云资源检索及跨云的应用部署、发布和运 维能力，实现多云应用高效管控，提供基于集群资源的应用弹性扩缩，实现全局负载 均衡，具备故障恢复能力，有效解决多云应用灾备问题，助力企业构建多云、混合云 的数字基础设施。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、信创异构 中间件服务 专为有状态应用设计的云原生本地存储能力，满足中间件高 I/O 提供非侵入式流量治理功能，支持无感接入传统微服务、云原生微服务和开源微服务 框架，实现企业现有微服务体系及新旧微服务体系的融合治理，支持微服务从开发、 部署、接入、观测、运维的全生命周期管理，提供高性能云原生微服务网关，保证微 服务应用的连续可用性；引入自主开源的 eBPF 网格加速技术，全面提高流量转发效 率。 涉及的模块：全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储

灵活的应⽤创建和部署 ：与VM映像相⽐，容器镜像的创建更加容易、有效率。 持续开发，集成和部署 ：通过快速轻松的回滚（由于镜像的不可变性）提供可靠且频繁的容器镜像构建和部署。 Dev和Ops分离问题 ：在构建/发布期间⽽⾮部署期间创建镜像，从⽽将应⽤程序与基础架构分离。 开发、测试和⽣产环境⼀致 ：在笔记本电脑运⾏与云中⼀样。 云和操作系统可移植性 ：可运⾏在Ubuntu、RHEL、CoreOS、内部部署，Google 松耦合，分布式，弹性，解放的微服务：应⽤程序分为更⼩、独⽴的部件，可动态部署和管理——⽽不是⼀个运⾏ 在⼀个⼤型机上的单体。 01-什么是Kubernetes 5 资源隔离：可预测的应⽤程序性能。 资源利⽤：效率⾼，密度⾼。 为什么我需要Kubernetes，它能⼲啥？ 最基本的功能：Kubernetes可在物理机或虚拟机集群上调度和运⾏应⽤容器。然⽽，Kubernetes还允许开发⼈员将物理 localhost:32345 卸载 ]# ansible-playbook -i inventory/mycluster/hosts.ini reset.yml 遇到的问题 Calico⽹络插件部署失效。这是Calico 3.2所带来的问题，原因详⻅：https://github.com/kubernetes- incubator/kubespray/issues/3223 解决⽅法：https://github