TKE使用eBPF优化 k8s service Jianmingfan 腾讯云 目录 01 Service的现状及问题 优化的方法 02 和业界方法的比较 性能测试 03 04 解决的BUG 未来的工作 05 06 01 Service的现状及问题 什么是k8s Service • 应用通过固定的VIP访问一组pod，应用对Pod ip变化 无感知 • 本质是一个负载均衡器 经历了二十多年的运行，比较稳定成熟 • 支持多种调度算法 优势 IPVS mode 不足之处 • 没有绕过conntrack，由此带来了性能开销 • 在k8s的实际使用中还有一些Bug 02 优化的方法 指导思路 • 用尽量少的cpu指令处理每一个报文 • 不能独占cpu • 兼顾产品的稳定性，功能足够丰富 弯路 • 为什么DPDK不行？ • 独占cpu，不适合分布式的lb map • 由于eBPF中没有timer机制 IPVS 如何做SNAT？ 优化方法评价 • 优势 • 大大缩短了数据通路，完全绕过了conntrack/iptables • 不足 • 对内核模块做了一定的修改，部署更困难 03 和业界方法比较 V.S. 纯粹的eBPF service 和其他的优化方法对比 V.S. Taobao IPVS SNAT patch • 复用了IPVS

热点领域和热点方向，试图在市场上抢得先机。 四是云计算技术不断推陈出新，助力产业高质量发展。随着上 云进程持续加深，企业需求逐步向用云转移，效率、性能、安全等 成为用户关注点，应用现代化、一云多芯、平台工程、云成本优化、 系统稳定性、云原生安全等新技术层出不穷，满足用户多样性场景 需求，助力产业数字化升级。 在此背景下，中国信息通信研究院继《云计算白皮书（2012 年）》 之后第 9 次发布云计算白皮书。本白皮书聚焦过去一年多来云计算 用云程度持续加深，用户对云服务的要求从能用转变为好用，促使 云服务商更加关注优质云能力的供给。一是更注重敏捷迭代，提升 效率。用户对加速创新，缩短研发周期，提高迭代效率的需求日益 增大，以 Serverless（服务器无感知）、低/无代码为代表的技术能够 屏蔽复杂的底层基础设施，让用户以最低学习成本、最小使用代价 最大化释放云的生产力，实现快速创新。AWS 贯彻全面 Serverless 化战略，提供计算、存储、数据库等全领域的 以及 Azure 三大生态充分打通，形成完整的技术生态。 二是更注重软硬协同，优化性能。在算力多样化、节点高密化、载 体细粒度化等诉求下，底层硬件在云计算的驱动下也因云而变。2022 年 6 月，阿里云发布 CIPU（Cloud infrastructure Processing Units，云 基础设施处理器），其是一套全新的计算架构体系，能够在通用计算、 大数据、人工智能等场景中展现更好的性能。2022

Web 组件测试阶段的一种考察指标。尽管诸如 chai-a11y-axe 的测试框架 插件 API 已提供了基础的可访问性断言，具有可访问性意识的组件测试设计依然能够帮助测试进一步检验屏幕 阅读器和其他辅助技术所需的全量语义元素。 首先，在测试验证元素时，通过 ARIA 角色或者元素的其它语义化属性查找元素，而不采用元素的 test id 或 class 属性。像 Testing Library ，如 OIDC，来验证流水线，而不是赋予它 们直接访问机密数据的权限。实行最小权限原则去最小化个人用户和执行器账户的权限，而不是使用具有无限 访问权限的万能账户。使用一次性执行器替代重复使用执行器，来减少暴露先前任务的机密数据或在受到攻击 的运行器上运行任务的风险。将执行代理和执行器上的软件更新到最新版本。像监控你的生产软件一样去监控 你的 CI/CD 系统的完整性、保密性和可用性。 Orchestrator。我们建议平台团队考虑这些工具，作为自己的脚本、本 地工具和基础设施即代码（infrastructure as code，IaC）的独特集合替代方案。我们还注意到，与开放应用模 型（OAM）及其参考编排器 KubeVela 有相似之处，尽管 OAM 声称更加面向应用程序而不是工作负载为中心。 21. 自托管式大语言模型 评估 大语言模型（LLMs）通常需要大量的 GPU 基础设施才能运行，但目前有强烈的推动力使它们可以在更简单的

体系的过程，目前主要负责解决阿 里巴巴集团在大规模场景下使用 k8s 碰到的稳定性、容器编排质量和性能问 题。❖ 阿里巴巴容器的发展历程 ❖ 基于 k8s 云原生改造实践 ❖ k8s 规模及性能优化实践 ❖ 云原生应用管理演进路线 主要内容阿里巴巴容器的发展历程 2013 初步探索 使用容器的方式替换传统使用 VM 部署应用的，基于 lxc 自研 了 t4 容器并构建了 AI 集团管理 统一容器与应用实例周期简化 应用启动流程 不可变基础设施 分离基础设施与应用容器简化 应用运维复杂性面向终态升级 • 过程式的运维有什么问题？ 例子：升级某服务的 3000 个实例 容 器 平 台 运 维 平 台 容 器 平 台 运 维 平 台 Kubernetes 200 最大不可用数面向终态的应用管理 • 支持终态副本数保持 • 支持容器原地升级 • 保持 IP、卷 • 支持并发更新、容错暂停 SidecarSet • BroadcastJob • CloneSet • UnitedDeployment (coming soon) https://openkruise.iok8s 规模及性能优化实践性能优化 RT/QPS 资源使用率 链路RT/QPS 服务异常 队列长度 gRPC监控 长连接分布 请求分布 限流 Authorization Authenticatio n 序列化 压缩 版本转换

我们是谁 • 问题背景 • Alluxio 助力云原生 AI 模型训练 • 相关资料 • Alluxio 是谁 • Allluxio 与 Kubernetes 结合 • Alluxio 优化实践 我们是谁？ 车漾 阿里云高级技术专家 范斌 Alluxio 创始成员 背景 硬件 软件 数据 容器化的基础架构 人工智能发展的驱动力 模拟数据训练速度 311.6 7323 Alibaba Cloud OSS Alluxio 服务器 Alluxio 服务器 大数据查询 大数据ETL 模型训练 Alluxio核心功能一：分布式数据缓存 Alluxio 服务器 A B /path1/file1 /path2/file2 C A B C A Alluxio 服务器 Alluxio 服务器 大数据查询 大数据ETL 模型训练 Alluxio核心功能二：灵活多样的数据访问API Alluxio核心功能二：灵活多样的数据访问API Alluxio 服务器 HDFS接口客户端 POSIX接口客户端 Alluxio 服务器 Alluxio 服务器 大数据查询 大数据ETL 模型训练 Alluxio核心功能三：统一的文件系统抽象 Alluxio 服务器 Alluxio在云端AI训练场景的性能好处 • 支持大规模的数据缓存 • 本地内存加速 • 支持数据预热 • LRU缓存管理

Serverless：关注应用而非基础设施 敏捷开发 极致弹性 成本优化 • 无需购买和安装机器 • 无需管理服务器 • 无需升级和更新OS • 快速部署和更新应用 • 快速发布 • “无限”容量 • 秒级弹性 • 更好的扩展性 • 更好的灵活性 • 按需创建 • 无资源闲置 Serverless容器 敏捷开发 极致弹性 成本优化 容器 Build once, Run anywhere Pod Pod ECS OS ASK: Serverless Kubernetes • Nodeless：简单易用，无节点管理，运维成本低 • 极致弹性: 30s 500 pod • 成本优化：按需创建，支持spot和预留实例劵 • Kubernetes兼容性： deployment/statfulset/job/service/ingress/CRD • ALB Ingress: Controller Manager Serverless Scheduler ECI ASK-Scheduler K8S API Server • Nodeless：最佳弹性和扩展性，无传统调度器的复杂调度逻辑，最优的调度效率。 • 支持多可用区、多规格调度。 • 支持批量调度。 • AZ亲和性和反亲和性。 • ECI Pod生命周期管理：直通ECI Pod（Pod状态查询、logs、

腾讯 专家工程师 自我介绍 罗韩梅，腾讯 T4 专家工程师，2009 年加入腾讯，现任数据平台部容器云开发组组长。 拥有多年分布式系统研发经验，对大数据、云计算、容器等有深刻理解。从事过自研容 器云平台，大数据云平台，以及面向公司内外的通用容器云平台，从无到有，从自研到 开源生态，从公司内部平台到同时面向To B市场。目前专注于容器云平台领域，负责腾 讯企业级容器云平台 。 2009年-2013年 4种告警方式——可随时修改 158项告警 87项指标采集 通用 • 不同的应用可以选择不同的网络模式 • 同一主机的不同容器可以选择不同的网络模式 自研容器网络解决方案Galaxy（CNI网络插件+调度器插件+控制器），面向所有场景： 高性能互联网业务、离线业务、在线离线混合场景、传统有状态服务、公有云… 性能 22190 7261 16462 4861 17442 5548 21461 6828 Docker、Docket、Gaiastack P2P Agent下载镜像对比 Registry与P2P Agent流量占比对比 • 镜像下载引入BT协议 • 对Docker Daemon零入侵 • 每层分别做种 • 优化blob下载策略 发表论文：《FID: A Faster Image Distribution System for Docker Platform》 2017 IEEE 2nd International