TKE使用eBPF优化 k8s service Jianmingfan 腾讯云 目录 01 Service的现状及问题 优化的方法 02 和业界方法的比较 性能测试 03 04 解决的BUG 未来的工作 05 06 01 Service的现状及问题 什么是k8s Service • 应用通过固定的VIP访问一组pod，应用对Pod ip变化 无感知 • 本质是一个负载均衡器 控制面和数据面算法复杂度都是O(1) • 经历了二十多年的运行，比较稳定成熟 • 支持多种调度算法 优势 IPVS mode 不足之处 • 没有绕过conntrack，由此带来了性能开销 • 在k8s的实际使用中还有一些Bug 02 优化的方法 指导思路 • 用尽量少的cpu指令处理每一个报文 • 不能独占cpu • 兼顾产品的稳定性，功能足够丰富 弯路 度算法丰富。 • 优势 • 完全绕过了conntrack/iptables • 对内核修改更小 04 性能测试 性能测试踩过的坑 设置测试环境 • 配置一样的cluster，性能可能不同。 • 多个CVM分布在同一台物理主机 • 同一个cluster，在不同的时间段，性能可能不同 • cpu 超卖 • 使用同一个cluster，在相近的时间段，比较两种mode • 使得cpu成为瓶颈点

维度 推理模型 通用模型 优势领域 数学推导、逻辑分析、代码生成、复杂问题拆解 文本生成、创意写作、多轮对话、开放性问答 劣势领域 发散性任务（如诗歌创作） 需要严格逻辑链的任务（如数学证明） 性能本质 专精于逻辑密度高的任务 擅长多样性高的任务 强弱判断 并非全面更强，仅在其训练目标领域显著优于通用模型 通用场景更灵活，但专项任务需依赖提示语补偿能力 • 例如：GPT-3、GPT-4（O le），主要用于语言生成、语言理解、文本分类、翻译 等任务。 快思慢想：效能兼顾 全局视野 概率预测（快速反应模型，如ChatGPT 4o） 链式推理(慢速思考模型，如OpenAI o1) 性能表现 响应速度快，算力成本低 慢速思考，算力成本高 运算原理 基于概率预测，通过大量数据训练来快速预测可能 的答案 基于链式思维（Chain-of-Thought），逐步推理 问题的每个步骤来得到答案 AI幻觉：五类七特 虚实迷域 五“类” 七“特” AIGC评测：2个国家级项目+1套自动化测评系统 AIGC评测 指标体系 共计26个细分指标 两项国家级项目： • 2023国家自然科学基金青年项目“面向人工智能生成内 容的风险识别与治理策略研究” • 2023国家资助博士后研究人员计划B档“AIGC意识形态

维度 推理模型 通用模型 优势领域 数学推导、逻辑分析、代码生成、复杂问题拆解 文本生成、创意写作、多轮对话、开放性问答 劣势领域 发散性任务（如诗歌创作） 需要严格逻辑链的任务（如数学证明） 性能本质 专精于逻辑密度高的任务 擅长多样性高的任务 强弱判断 并非全面更强，仅在其训练目标领域显著优于通用模型 通用场景更灵活，但专项任务需依赖提示语补偿能力 • 例如：GPT-3、GPT-4（O le），主要用于语言生成、语言理解、文本分类、翻译 等任务。 快思慢想：效能兼顾 全局视野 概率预测（快速反应模型，如ChatGPT 4o） 链式推理(慢速思考模型，如OpenAI o1) 性能表现 响应速度快，算力成本低 慢速思考，算力成本高 运算原理 基于概率预测，通过大量数据训练来快速预测可能 的答案 基于链式思维（Chain-of-Thought），逐步推理 问题的每个步骤来得到答案 AI幻觉：五类七特 虚实迷域 五“类” 七“特” AIGC评测：2个国家级项目+1套自动化测评系统 AIGC评测 指标体系 共计26个细分指标 两项国家级项目： • 2023国家自然科学基金青年项目“面向人工智能生成内 容的风险识别与治理策略研究” • 2023国家资助博士后研究人员计划B档“AIGC意识形态

跃，并在全球范围内取得了显著成就。 Hugging Face Open LLM 排行榜数据显示，从智谱 的 GLM 系列、阿里巴巴的 Qwen 系列到深度求索的 DeepSeek 系列，这些自主研发的模型 在国内外各项评测中表现卓越。 每个月来自中国主要研究机构和 公司的开源模型/数据集数量。 图片源自 Hugging Face 中文社 区模型社群： https://huggingface.co/spaces/ 系列凭借灵活的多尺寸选项，强大的多语言支持以及友好的模型授权功能， 赢得了社区开发者的高度评价。DeepSeek 通过引入多头潜在注意力（Multi-head Latent Attention, MLA）技术，在性能和成本上实现了革命性突破，开创高性价比的 AI 新纪元。 智谱的 CogVideoX 系列文生视频模型，成为全球首批开源的文生视频模型之一，不仅在 技术方面让中国视频生成模型列入领先梯队，强化了中国模型在全球范围的竞争力，也为国际开 组织给予减轻或免承担法律责任；《生成式人工智能服务管理暂行办法》 则明确了人工智能技 术的使用和合规要求，促进了开源模型在合规框架下良性发展。 变革 端上模型的兴起与隐私保护 随着小型模型的性能逐步增强，更多高级 AI 正转向在个人设备上运行。这一趋势不仅显著 降低了云端推理成本，还提升了用户隐私控制。 中国 AI 社区在这一领域也做了重要贡献，推出了如 Qwen2-1.5B、MiniCPM

陶炜（清华大学博士生）：人机共生之AI实时增强技术的探索与实践 • 胡晓李（清华大学博士后）：人机共生之游戏设计 • 余梦珑（清华大学博士后）：人机共生之媒体智能体应用 • 张家铖（清华大学博士后）：人机共生之AI评测 • 张诗瑶（清华大学博士后）：人机共生之AI社会理论分析 • 朱雪菡（清华大学博士后）：人机共生之影视内容创意与制作 • 陈禄梵（清华大学博士生）：人机共生之AI美学理论 • 罗雨果（清华大学拟录博士生）：人机共生之传播分析 第十届全国社会媒体处理大会-中文隐式情感分析 一等奖 2021全球开放数据应用创新大赛-基于文本挖掘的企业隐患排查质量分析模型 第一名 2021中国计算机学会大数据与计算智能大赛-“千言〞 问题匹配鲁棒性评测 第一名 2021年全国知识图谱与语义计算大会-医疗科普知识答非所问识别 第一名 互联网虛假新闻检测2019全球挑战赛-虛假新闻多模态检测 第一名 中国法研杯CAIL2020司法人工智能赛 第一名

影响力 新商机、 降本 合作沙龙、比赛 合作项目、解决方案 参与社区分享 • 编程之夏 • 黑客松 开源课程: (学习、实验、评 测、认证、实践、 代码协作) • 训练营 • 电子书 • 评测局 • 开源认证考试 • 开源学堂 • 内核课程 PolarDB开源社区 (2W+用户) github、官网、钉钉、微信、B站、知乎、csdn、... •

形式也都是有效的别名；因此， 'utf-8' 是 'utf_8' 编解码器的有效别名。 CPython implementation detail: 有些常见编码格式可以绕过编解码器查找机制来提升性能。这些优化 机会对于 CPython 来说仅能通过一组有限的别名（大小写不敏感）来识别：utf-8, utf8, latin-1, latin1, iso-8859-1, iso8859-1, mbcs 中保证了这种新行为），它们变得不那么重要了。 一些与dict 的不同仍然存在： • 常规的dict 被设计为非常擅长映射操作。跟踪插入顺序是次要的。 • OrderedDict 旨在擅长重新排序操作。空间效率、迭代速度和更新操作的性能是次要的。 • 算法上，OrderedDict 可以比dict 更好地处理频繁的重新排序操作。这使其适用于跟踪最近的 访问（例如在 LRU cache 中）。 • 对于OrderedDict ，相等操作检查匹配顺序。 个单参数的函数，用于从 iterable 的每个元素中提取比较键 (例如 key=str.lower)。等价于: sorted(iterable, key=key)[:n]。 后两个函数在 n 值较小时性能最好。对于更大的值，使用sorted() 函数会更有效率。此外，当 n==1 时，使用内置的min() 和max() 函数会更有效率。如果需要重复使用这些函数，请考虑将可迭代对象转 为真正的堆。 8

形式也都是有效的别名；因此， 'utf-8' 是 'utf_8' 编解码器的有效别名。 CPython implementation detail: 有些常见编码格式可以绕过编解码器查找机制来提升性能。这些优化 机会对于 CPython 来说仅能通过一组有限的别名（大小写不敏感）来识别：utf-8, utf8, latin-1, latin1, iso-8859-1, iso8859-1, mbcs 中保证了这种新行为），它们变得不那么重要了。 一些与dict 的不同仍然存在： • 常规的dict 被设计为非常擅长映射操作。跟踪插入顺序是次要的。 • OrderedDict 旨在擅长重新排序操作。空间效率、迭代速度和更新操作的性能是次要的。 • 算法上，OrderedDict 可以比dict 更好地处理频繁的重新排序操作。这使其适用于跟踪最近的 访问（例如在 LRU cache 中）。 • 对于OrderedDict ，相等操作检查匹配顺序。 个单参数的函数，用于从 iterable 的每个元素中提取比较键 (例如 key=str.lower)。等价于: sorted(iterable, key=key)[:n]。 后两个函数在 n 值较小时性能最好。对于更大的值，使用sorted() 函数会更有效率。此外，当 n==1 时，使用内置的min() 和max() 函数会更有效率。如果需要重复使用这些函数，请考虑将可迭代对象转 为真正的堆。 8

写形式也都是有效的别名；因此，'utf-8' 是 'utf_8' 编解码器的有效别名。 CPython implementation detail: 有些常见编码格式可以绕过编解码器查找机制来提升性能。这些优化机会 对于 CPython 来说仅能通过一组有限的别名（大小写不敏感）来识别：utf-8, utf8, latin-1, latin1, iso-8859-1, iso8859-1, mbcs 中保证了这种新行为），它们变得不那么重要了。 一些与dict 的不同仍然存在： • 常规的dict 被设计为非常擅长映射操作。跟踪插入顺序是次要的。 • OrderedDict 旨在擅长重新排序操作。空间效率、迭代速度和更新操作的性能是次要的。 • 算法上，OrderedDict 可以比dict 更好地处理频繁的重新排序操作。这使其适用于跟踪最近的访问 （例如在 LRU cache 中）。 • 对于OrderedDict ，相等操作检查匹配顺序。 则其应指定一个单参数的 函数，用于从 iterable 的每个元素中提取比较键 (例如 key=str.lower)。等价于: sorted(iterable, key=key)[:n]。 后两个函数在 n 值较小时性能最好。对于更大的值，使用sorted() 函数会更有效率。此外，当 n==1 时， 使用内置的min() 和max() 函数会更有效率。如果需要重复使用这些函数，请考虑将可迭代对象转为真正 的堆。

bisect --- 数组二分查找算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238 8.7.1 性能说明 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239 iii 8.7 8 限制全局变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434 12.1.9 性能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435 12.1 4 类的层次结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597 16.2.5 性能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 606 16.3