Python机器学习性能优化 以BERT服务为例例，从1到1000 刘欣 ⽬目录 CONTENTS 1. 优化的哲学 2. 了解你的资源 3. 定位性能瓶颈 4. 动⼿优化 1. 优化的哲学 "There ain't no such thing as a free lunch" Ahmdal’s Law • 系统整体的优化，取决于热点部分的占⽐比和该部分的加速程度 No Free Flask Production Server • gunicorn 多进程解决多核利利⽤用率问题 • gevent 协程替代多线程⽹网络模型 • 更更⾼高效的序列列化lib 3 定位性能瓶颈 Profile before Optimizing Python Profilers • time.time() • cProfile • line profiler • pyflame 放个截图 cProfile • 倒序打印 & graph pyflame • 插桩 or 采样 • 放个flamegraph • 开源地址 wrk • 制造压⼒力力 • 挖掘整体性能瓶颈 • 实现⾮非常精妙的压⼒力力⼯工具，强烈烈安利利（要不不要写个py binding） 4 动⼿优化 多线程服务器的问题 • 每个请求单独进GPU，利利⽤用率不不⾼高 • ⼤大量量请求并⾏行行，CUDA会爆

解放Python的 表达力，性能和安全性 Thautwarm 目录 CONTENTS 语法和语义扩展 JIT 静态类型 语法和语义扩展 表达力的扩展， 可用性的保留，白来的午餐？ 演示一小部分: 模式匹配, Quick Lambda, Pipe运算 语言决定思维模型 GNU-APL C++ Haskell 说 到 质 数 � 人 们 想 到 什 么 � 语言决定思维模型 n.py “真正的宏”，不是预处理器 Pattern-Matching moshmosh/extensions/pattern_matching pin(val): 用作用域内的值val进行比较的模式 and: 满足多个解构规则的组合模式 or: 满足其中一个解构规则的组合模式 A(a, …): 调用A.__match__进行模式匹配 isinstance(type): 检查类型的pattern 检查类型的pattern (a, *b, c): 匹配tuple [a, *b, c]: 匹配列表 演示 Pattern-Matching 基于template-python扩展实现。 性能比Pampy高数量级倍。 简单直接的自定义pattern，真实的tree pattern matching。 Match的每个分支是语句而不是表达力有限的表达式。 … benchmark.py Moshmosh实现

的方法 是找一台计算机，运行这两个算法，并监控记录它们的运行时间和内存占用情况。这种评估方式能够反映真 实情况，但也存在较大的局限性。 一方面，难以排除测试环境的干扰因素。硬件配置会影响算法的性能。比如在某台计算机中，算法 A 的运行 时间比算法 B 短；但在另一台配置不同的计算机中，可能得到相反的测试结果。这意味着我们需要在各种机 器上进行测试，统计平均效率，而这是不现实的。 另一方 19 ‧ 它可以体现不同数据量下的算法效率，尤其是在大数据量下的算法性能。 Tip 如果你仍对复杂度的概念感到困惑，无须担心，我们会在后续章节中详细介绍。 复杂度分析为我们提供了一把评估算法效率的“标尺”，使我们可以衡量执行某个算法所需的时间和空间资 源，对比不同算法之间的效率。 复杂度是个数学概念，对于初学者可能比较抽象，学习难度相对较高。从这个角度看，复杂度分析可能不太 适合作为最 维 方式。 ‧ 从数据结构角度看，递归天然适合处理链表、树和图的相关问题，因为它们非常适合用分治思想进行分 析。 2.2.3 两者对比 总结以上内容，如表 2‑1 所示，迭代和递归在实现、性能和适用性上有所不同。 表 2‑1 迭代与递归特点对比 迭代 递归 实现方 式 循环结构 函数调用自身 第 2 章 复杂度分析 hello‑algo.com 27 迭代 递归 时间效

的方法 是找一台计算机，运行这两个算法，并监控记录它们的运行时间和内存占用情况。这种评估方式能够反映真 实情况，但也存在较大的局限性。 一方面，难以排除测试环境的干扰因素。硬件配置会影响算法的性能。比如在某台计算机中，算法 A 的运行 时间比算法 B 短；但在另一台配置不同的计算机中，可能得到相反的测试结果。这意味着我们需要在各种机 器上进行测试，统计平均效率，而这是不现实的。 另一方 19 ‧ 它可以体现不同数据量下的算法效率，尤其是在大数据量下的算法性能。 � 如果你仍对复杂度的概念感到困惑，无须担心，我们会在后续章节中详细介绍。 复杂度分析为我们提供了一把评估算法效率的“标尺”，使我们可以衡量执行某个算法所需的时间和空间资 源，对比不同算法之间的效率。 复杂度是个数学概念，对于初学者可能比较抽象，学习难度相对较高。从这个角度看，复杂度分析可能不太 适合作为最先 维 方式。 ‧ 从数据结构角度看，递归天然适合处理链表、树和图的相关问题，因为它们非常适合用分治思想进行分 析。 2.2.3 两者对比 总结以上内容，如表 2‑1 所示，迭代和递归在实现、性能和适用性上有所不同。 表 2‑1 迭代与递归特点对比 迭代 递归 实现方 式 循环结构 函数调用自身 第 2 章 复杂度分析 hello‑algo.com 27 迭代 递归 时间效

题时能够作出专业的反应和判断，从而提升工作的整体质量。举一个简单例子，每种编程语言都内置了排序 函数： ‧ 如果我们没有学过数据结构与算法，那么给定任何数据，我们可能都塞给这个排序函数去做了。运行顺 畅、性能不错，看上去并没有什么问题。 ‧ 但如果学过算法，我们就会知道内置排序函数的时间复杂度是 ?(? log ?) ；而如果给定的数据是固定 位数的整数（例如学号），那么我们就可以用效率更高的“基数排序”来做，将时间复杂度降为 的运行时间和内存占用情况。这种评估方式能够反映真 实情况，但也存在较大的局限性。 一方面，难以排除测试环境的干扰因素。硬件配置会影响算法的性能表现。比如一个算法的并行度较高，那 么它就更适合在多核 CPU 上运行，一个算法的内存操作密集，那么它在高性能内存上的表现就会更好。也 就是说，算法在不同的机器上的测试结果可能是不一致的。这意味着我们需要在各种机器上进行测试，统计 平均效率，而这是不现实的。 。 ‧ 它可以体现不同数据量下的算法效率，尤其是在大数据量下的算法性能。 Tip 如果你仍对复杂度的概念感到困惑，无须担心，我们会在后续章节中详细介绍。 复杂度分析为我们提供了一把评估算法效率的“标尺”，使我们可以衡量执行某个算法所需的时间和空间资 源，对比不同算法之间的效率。 复杂度是个数学概念，对于初学者可能比较抽象，学习难度相对较高。从这个角度看，复杂度分析可能不太 适合作为最

‧ 各步骤都有确定的含义，相同的输入和运行条件下，输出始终相同。 1.2.2. 数据结构定义 「数据结构 Data Structure」是计算机中组织和存储数据的方式。为了提高数据存储和操作性能，数据结构 的设计目标包括： ‧ 空间占用尽量减少，节省计算机内存。 ‧ 数据操作尽可能快速，涵盖数据访问、添加、删除、更新等。 1. 初识算法 hello‑algo.com 10 ‧ 提 们最直接的 方法就是找一台计算机，运行这两个算法，并监控记录它们的运行时间和内存占用情况。这种评估方式能够 反映真实情况，但也存在较大局限性。 难以排除测试环境的干扰因素。硬件配置会影响算法的性能表现。例如，在某台计算机中，算法 A 的运行时 间比算法 B 短；但在另一台配置不同的计算机中，我们可能得到相反的测试结果。这意味着我们需要在各种 机器上进行测试，而这是不现实的。 展开完整测 次，它可以体现不同数据量下的算法效率，尤其是在大数据量下的算法性能。 如果你对复杂度分析的概念仍感到困惑，无需担心，我们会在后续章节详细介绍。 2.1.3. 复杂度分析重要性 复杂度分析为我们提供了一把评估算法效率的“标尺”，告诉我们执行某个算法所需的时间和空间资源，并使 我们能够对比不同算法之间的效率。 复杂度是个数学概念，对于初学者可能比较抽象，学习难度相对较高。从这个角度看，复杂度分析可能不太

接的方法 是找一台计算机，运行这两个算法，并监控记录它们的运行时间和内存占用情况。这种评估方式能够反映真 实情况，但也存在较大局限性。 一方面，难以排除测试环境的干扰因素。硬件配置会影响算法的性能表现。比如在某台计算机中，算法 A 的 运行时间比算法 B 短；但在另一台配置不同的计算机中，我们可能得到相反的测试结果。这意味着我们需要 在各种机器上进行测试，统计平均效率，而这是不现实的。 18 ‧ 它可以体现不同数据量下的算法效率，尤其是在大数据量下的算法性能。 � 如果你仍对复杂度的概念感到困惑，无须担心，我们会在后续章节中详细介绍。 复杂度分析为我们提供了一把评估算法效率的“标尺”，使我们可以衡量执行某个算法所需的时间和空间资 源，对比不同算法之间的效率。 复杂度是个数学概念，对于初学者可能比较抽象，学习难度相对较高。从这个角度看，复杂度分析可能不太 适合作为最先 种操作的运行时间，这给预估过程带来了极大的难 度。 2.3.1 统计时间增长趋势 时间复杂度分析统计的不是算法运行时间，而是算法运行时间随着数据量变大时的增长趋势。 “时间增长趋势”这个概念比较抽象，我们通过一个例子来加以理解。假设输入数据大小为 ? ，给定三个算法 函数 A、B 和 C ： # 算法 A 的时间复杂度：常数阶 def algorithm_A(n: int): print(0)

具有可行性，可在有限步骤、有限时间、有限内存空间下完成。 ‧ 独立于编程语言，即可用多种语言实现。 1.2.2. 数据结构定义 「数据结构 Data Structure」是在计算机中组织与存储数据的方式。为了提高数据存储和操作性能，数据结构 的设计原则有： ‧ 空间占用尽可能小，节省计算机内存。 ‧ 数据操作尽量快，包括数据访问、添加、删除、更新等。 1. 引言 hello‑algo.com 10 ‧ 提供简洁的数据表示和逻辑信息，以便算法高效运行。 的最直接的方式，就是找一台计算机，把两个算法都完整跑一遍，并监控记录运行时间和内存占用情况。这种 评估方式能够反映真实情况，但是也存在很大的硬伤。 难以排除测试环境的干扰因素。硬件配置会影响到算法的性能表现。例如，在某台计算机中，算法 A 比算法 B 运行时间更短；但换到另一台配置不同的计算机中，可能会得到相反的测试结果。这意味着我们需要在各种机 器上展开测试，而这是不现实的。 展开完整测试非 不同数据量下的算法效率，尤其是可以反映大数据量下的算法性能。 如果感觉对复杂度分析的概念一知半解，无需担心，后续章节会展开介绍。 2.1.3. 复杂度分析重要性 复杂度分析给出一把评价算法效率的“标尺”，告诉我们执行某个算法需要多少时间和空间资源，也让我们可 以开展不同算法之间的效率对比。 复杂度是个数学概念，对于初学者可能比较抽象，学习难度相对较高。从这个角度出发，其并不适合作为第一

--- and, or, not . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 4.3 比较运算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 bisect --- 数组二分算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263 8.7.1 性能说明 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264 8.7.2 搜索有序列表 终结器对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274 8.9.4 比较终结器与 __del__() 方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275 8.10 types --- 动态类型创建和内置类型名称

--- and, or, not . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 4.3 比较运算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 bisect --- 数组二分算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261 8.7.1 性能说明 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262 8.7.2 搜索有序列表 终结器对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 8.9.4 比较终结器与 __del__() 方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273 8.10 types --- 动态类型创建和内置类型名称