Python机器学习性能优化 以BERT服务为例例，从1到1000 刘欣 ⽬目录 CONTENTS 1. 优化的哲学 2. 了解你的资源 3. 定位性能瓶颈 4. 动⼿优化 1. 优化的哲学 "There ain't no such thing as a free lunch" Ahmdal’s Law • 系统整体的优化，取决于热点部分的占⽐比和该部分的加速程度 No Free 解释执⾏行行：序列列化慢（动态特性的tradeoff） Flask Production Server • gunicorn 多进程解决多核利利⽤用率问题 • gevent 协程替代多线程⽹网络模型 • 更更⾼高效的序列列化lib 3 定位性能瓶颈 Profile before Optimizing Python Profilers • time.time() • cProfile pyflame • 插桩 or 采样 • 放个flamegraph • 开源地址 wrk • 制造压⼒力力 • 挖掘整体性能瓶颈 • 实现⾮非常精妙的压⼒力力⼯工具，强烈烈安利利（要不不要写个py binding） 4 动⼿优化 多线程服务器的问题 • 每个请求单独进GPU，利利⽤用率不不⾼高 • ⼤大量量请求并⾏行行，CUDA会爆 • wrk截图 service-streamer

解放Python的 表达力，性能和安全性 Thautwarm 目录 CONTENTS 语法和语义扩展 JIT 静态类型 语法和语义扩展 表达力的扩展， 可用性的保留，白来的午餐？ 演示一小部分: 模式匹配, Quick Lambda, Pipe运算 语言决定思维模型 GNU-APL C++ Haskell 说 到 质 数 � 人 们 想 到 什 么 � 语言决定思维模型 在 实 际 业 务 中 处 理 数 据 � Python 语言决定思维模型 语言中的语法和语义， 决定了 它真实的表达力。 大多数语言都不是“万金油” 的，这是客观事实。 但它们不够“万金油”的问题 来源，不一定是不能解决的。 扩展语言，开阔思维 我预期的语法(及语义) 扩展系统: 1. 首行用moshmosh? 标志模块 2. +extension名 (extension参数)开 检查类型的pattern (a, *b, c): 匹配tuple [a, *b, c]: 匹配列表 演示 Pattern-Matching 基于template-python扩展实现。 性能比Pampy高数量级倍。 简单直接的自定义pattern，真实的tree pattern matching。 Match的每个分支是语句而不是表达力有限的表达式。 … benchmark.py

Release 1.2.0 2024‑12‑06 序 两年前，我在力扣上分享了“剑指 Offer”系列题解，受到了许多读者的鼓励和支持。在与读者交流期间，我 最常被问的一个问题是“如何入门算法”。逐渐地，我对这个问题产生了浓厚的兴趣。 两眼一抹黑地刷题似乎是最受欢迎的方法，简单、直接且有效。然而刷题就如同玩“扫雷”游戏，自学能力 强的人能够顺利将地雷逐个排掉，而基础不足的人很可能被炸得满头是包，并在挫折中步步退缩。通读教材 也是一种常见做法，但对于面向求职的人来说，毕业论文、投递简历、准备笔试和面试已经消耗了大部分精 力，啃厚重的书往往变成了一项艰巨的挑战。 如果你也面临类似的困扰，那么很幸运这本书“找”到了你。本书是我对这个问题给出的答案，即使不是最 优解，也至少是一次积极的尝试。本书虽然不足以让你直接拿到 Offer，但会引导你探索数据结构与算法的 “知识地图”，带你了解不同“地雷”的形状、大小和分布位置，让你掌握各种“排雷方法”。有了这些本领， 建堆操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 8.3 Top‑k 问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 8.4 小结 . . . .

Release 1.1.0 2024‑04‑15 序 两年前，我在力扣上分享了“剑指 Offer”系列题解，受到了许多读者的鼓励和支持。在与读者交流期间，我 最常被问的一个问题是“如何入门算法”。逐渐地，我对这个问题产生了浓厚的兴趣。 两眼一抹黑地刷题似乎是最受欢迎的方法，简单、直接且有效。然而刷题就如同玩“扫雷”游戏，自学能力 强的人能够顺利将地雷逐个排掉，而基础不足的人很可能被炸得满头是包，并在挫折中步步退缩。通读教材 也是一种常见做法，但对于面向求职的人来说，毕业论文、投递简历、准备笔试和面试已经消耗了大部分精 力，啃厚重的书往往变成了一项艰巨的挑战。 如果你也面临类似的困扰，那么很幸运这本书“找”到了你。本书是我对这个问题给出的答案，即使不是最 优解，也至少是一次积极的尝试。本书虽然不足以让你直接拿到 Offer，但会引导你探索数据结构与算法的 “知识地图”，带你了解不同“地雷”的形状、大小和分布位置，让你掌握各种“排雷方法”。有了这些本领， 建堆操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 8.3 Top‑k 问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 8.4 小结 . . . .

Release 1.0.0 2024‑02‑09 序 两年前，我在力扣上分享了“剑指 Offer”系列题解，受到了许多读者的鼓励和支持。在与读者交流期间，我 最常被问的一个问题是“如何入门算法”。逐渐地，我对这个问题产生了浓厚的兴趣。 两眼一抹黑地刷题似乎是最受欢迎的方法，简单、直接且有效。然而刷题就如同玩“扫雷”游戏，自学能力 强的人能够顺利将地雷逐个排掉，而基础不足的人很可能被炸得满头是包，并在挫折中步步退缩。通读教材 也是一种常见做法，但对于面向求职的人来说，毕业论文、投递简历、准备笔试和面试已经消耗了大部分精 力，啃厚重的书往往变成了一项艰巨的挑战。 如果你也面临类似的困扰，那么很幸运这本书“找”到了你。本书是我对这个问题给出的答案，即使不是最 优解，也至少是一次积极的尝试。本书虽然不足以让你直接拿到 Offer，但会引导你探索数据结构与算法的 “知识地图”，带你了解不同“地雷”的形状、大小和分布位置，让你掌握各种“排雷方法”。有了这些本领， 建堆操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 8.3 Top‑k 问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 8.4 小结 . . . .

Release 1.0.0b4 2023‑07‑26 序 两年前，我在力扣上分享了《剑指 Offer》系列题解，受到了许多朋友的喜爱与支持。在此期间，我回答了众 多读者的评论问题，其中最常见的一个问题是“如何入门学习算法”。我逐渐也对这个问题产生了浓厚的兴 趣。 两眼一抹黑地刷题似乎是最受欢迎的方法，简单直接且有效。然而，刷题就如同玩“扫雷”游戏，自学能力 强的同学能够顺利地将地雷逐个排掉，而基础不 读教材书籍也是一种常见做法，但对于面向求职的同学来说，毕业季、投递简历、准备笔试面试已经占据了 大部分精力，厚重的书籍往往变成了一项艰巨的挑战。 如果你也面临类似的困扰，那么很幸运这本书找到了你。本书是我对此问题的给出的答案，虽然不一定正确， 但至少是一次积极的尝试。这本书虽然不足以让你直接拿到 Offer ，但会引导你探索数据结构与算法的“知 识地图”，带你了解不同“地雷”的形状大小和分布位置，让你掌握各种“排雷方法”。有了这些本领，相信 建堆操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 8.3. Top‑K 问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 8.4. 小结 . . . . .

Release 1.0.0b5 2023‑09‑10 序 两年前，我在力扣上分享了《剑指 Offer》系列题解，受到了许多同学的喜爱和支持。在与读者的交流期间， 最常收到的一个问题是“如何入门学习算法”。我逐渐对这个问题产生了浓厚的兴趣。 两眼一抹黑地刷题似乎是最受欢迎的方法，简单直接且有效。刷题就如同玩“扫雷”游戏，自学能力强的同 学能够顺利地将地雷逐个排掉，而基础不足的同学很可能被炸的满头是包，并在挫折中步步退缩。通读教材 书籍也是一种常见做法，但对于面向求职的同学来说，毕业季、投递简历、准备笔试面试已经占据了大部分 精力，厚重的书籍往往变成了一项艰巨的挑战。 如果你也面临类似的困扰，那么很幸运这本书找到了你。本书是我对此问题的给出的答案，即使不是最优解， 也至少是一次积极的尝试。这本书虽然不足以让你直接拿到 Offer ，但会引导你探索数据结构与算法的“知 识地图”，带你了解不同“地雷”的形状大小和分布位置，让你掌握各种“排雷方法”。有了这些本领，相信 建堆操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 8.3 Top‑K 问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 8.4 小结 . . . . .

1.0.0b2 2023‑03‑30 序 两年前，我在力扣上分享了《剑指 Offer》系列题解，受到了很多小伙伴的喜爱与支持。在此期间，我也回复 了许多读者的评论问题，遇到最多的问题是“如何入门学习算法”。我渐渐也对这个问题好奇了起来。 两眼一抹黑地刷题应该是最受欢迎的方式，简单粗暴且有效。然而，刷题就如同玩“扫雷”游戏，自学能力强 的同学能够顺利地将地雷逐个排掉，而基础不足的同学很可能 材书籍也是常用方法，但对于面向求职的同学来说，毕业季、投递简历、应付笔面试已经占用大部分精力，厚 重的书本也因此成为巨大的挑战。 如果你也有上述烦恼，那么很幸运这本书找到了你。本书是我对于该问题给出的答案，虽然不一定正确，但至 少代表一次积极的尝试。这本书虽然不足以让你直接拿到 Offer ，但会引导你探索数据结构与算法的“知识地 图”，带你了解不同“地雷”的形状大小和分布位置，让你掌 算法入门。熟悉各种数据结构的特点、用法，学习各种算法的原理、流程、用途、效率等。 2. 刷算法题。可以先从热门题单开刷，推荐剑指 Offer、LeetCode Hot 100，先积累至少 100 道题量，熟 悉大多数的算法问题。刚开始刷题时，“遗忘”是最大的困扰点，但这是很正常的，请不要担心。学习中 有一种概念叫“周期性回顾”，同一道题隔段时间做一次，在重复 3 轮以上后，往往就能牢记于心了。 3. 搭建知识体系。在

1.0.0b1 2023‑03‑01 序 两年前，我在力扣上分享了《剑指 Offer》系列题解，受到了很多小伙伴的喜爱与支持。在此期间，我也回复 了许多读者的评论问题，遇到最多的问题是“如何入门学习算法”。我渐渐也对这个问题好奇了起来。 两眼一抹黑地刷题应该是最受欢迎的方式，简单粗暴且有效。然而，刷题就如同玩“扫雷”游戏，自学能力强 的同学能够顺利地将地雷逐个排掉，而基础不足的同学很可能 材书籍也是常用方法，但对于面向求职的同学来说，毕业季、投递简历、应付笔面试已经占用大部分精力，厚 重的书本也因此成为巨大的挑战。 如果你也有上述烦恼，那么很幸运这本书找到了你。本书是我对于该问题给出的答案，虽然不一定正确，但至 少代表一次积极的尝试。这本书虽然不足以让你直接拿到 Offer ，但会引导你探索数据结构与算法的“知识地 图”，带你了解不同“地雷”的形状大小和分布位置，让你掌 算法入门。熟悉各种数据结构的特点、用法，学习各种算法的原理、流程、用途、效率等。 2. 刷算法题。可以先从热门题单开刷，推荐剑指 Offer、LeetCode Hot 100，先积累至少 100 道题量，熟 悉大多数的算法问题。刚开始刷题时，“遗忘”是最大的困扰点，但这是很正常的，请不要担心。学习中 有一种概念叫“周期性回顾”，同一道题隔段时间做一次，在重复 3 轮以上后，往往就能牢记于心了。 3. 搭建知识体系。在

或服务器上都能轻松地部署和运行，而不需要担心依赖问题。 简化依赖管理：虚拟环境可以将项目所需的依赖以及其版本信息保存在一个文件中 （例如 Pipfile.lock），这样可以方便地重现项目的开发环境，使得依赖的安装和管理更加 简单和自动化。 2、Pipenv 介绍 Pipenv 是 Python 的一个包管理工具和虚拟环境管理工具，它是为了解决 Python 项目 中依赖管理和虚拟环境创建的问题而开发的。Pipenv 仓库，供其他开发者使用和共享。 构建工具：npm 可以集成和管理前端构建工具，比如 webpack、gulp、rollup 等。这 些构建工具可以帮助开发者将前端代码进行打包、压缩、优化和处理，以提高前端项目 的性能和可维护性。 版本控制：npm 支持语义化版本控制（Semantic Versioning），开发者可以在 package.json 文件中声明模块的版本范围，以确保在安装依赖时不会引入不兼容的版本。 AI，而不是被 AI 征服。这一点，应该是作为人类最基本的觉悟。 所以，笔者想，AI 辅助测试可能会成了一个新标杆。那么，让我们看看 GPT 能帮我 们做什么吧。 常见的，利用 GPT 广阔的知识领域进行问题检索。比如，帮助我们进行知识问答， 帮助我们生成测试脚本。总之一句话，简直不要太好用（妈妈再也不用担心有广告和无 效的回答阻碍我学习了）！ 除此之外呢？有没有试想过：既然如此好用，那为什么不能自动帮我们生成用例呢？