Python机器学习性能优化 以BERT服务为例例，从1到1000 刘欣 ⽬目录 CONTENTS 1. 优化的哲学 2. 了解你的资源 3. 定位性能瓶颈 4. 动⼿优化 1. 优化的哲学 "There ain't no such thing as a free lunch" Ahmdal’s Law • 系统整体的优化，取决于热点部分的占⽐比和该部分的加速程度 No Free Flask Production Server • gunicorn 多进程解决多核利利⽤用率问题 • gevent 协程替代多线程⽹网络模型 • 更更⾼高效的序列列化lib 3 定位性能瓶颈 Profile before Optimizing Python Profilers • time.time() • cProfile • line profiler • pyflame 放个截图 cProfile • 倒序打印 & graph pyflame • 插桩 or 采样 • 放个flamegraph • 开源地址 wrk • 制造压⼒力力 • 挖掘整体性能瓶颈 • 实现⾮非常精妙的压⼒力力⼯工具，强烈烈安利利（要不不要写个py binding） 4 动⼿优化 多线程服务器的问题 • 每个请求单独进GPU，利利⽤用率不不⾼高 • ⼤大量量请求并⾏行行，CUDA会爆

解放Python的 表达力，性能和安全性 Thautwarm 目录 CONTENTS 语法和语义扩展 JIT 静态类型 语法和语义扩展 表达力的扩展， 可用性的保留，白来的午餐？ 演示一小部分: 模式匹配, Quick Lambda, Pipe运算 语言决定思维模型 GNU-APL C++ Haskell 说 到 质 数 � 人 们 想 到 什 么 � 语言决定思维模型 检查类型的pattern (a, *b, c): 匹配tuple [a, *b, c]: 匹配列表 演示 Pattern-Matching 基于template-python扩展实现。 性能比Pampy高数量级倍。 简单直接的自定义pattern，真实的tree pattern matching。 Match的每个分支是语句而不是表达力有限的表达式。 … benchmark.py 而基本上编译器0优化的Cython端， 你模拟栈后， 还远不如Python解释器快， 所以必须写分析去掉栈机语义。 那用Julia后端就可以不写了? 来谈后端的问题。 Julia Cython 常见性能提升 100x 1-10x 小函数JIT 比Python慢1000倍 比Python快50% 启动时间 10s以上, “JAOT” 没有，调编译器快 循环折叠 有 有 Debug现场？ 每次打log等待30s

上。然而综合考虑到功耗、成本、性能等因素，云厂商们开始建设 ARM 架构的服务平台，如 何整合 Python + AI 的相关软件并使其在该平台上发挥最高的性能成为了工程师们关注的焦点。 • 矩阵乘法是深度学习计算的重要组成部分，我们利用 ARM 架构新提供的矩阵扩展对 bf16 类型的 矩阵乘法计算进行优化，该优化将纯矩阵乘法的运算速度提升 3 倍以上，对深度学习推理任务性能 提升明显。目前，该成果已经被集成进 set_float32_fast_math_mode("BF16") 性能测试 • OpenBLAS 矩阵乘法测试 • 阿里云 ECS g8y（倚天 710）单线程 FP32 vs BF16 • MNK：2000, 2000, 2000 • GFLOPS • 每秒浮点数计算次数，G（十亿次） • 2MNK / Times 性能测试 • 平台 • 阿里云 ECS g8y vs g7（Ice accc-registry.cn- hangzhou.cr.aliyuncs.com/pytorch/pytorch:torch1.13.0_openblas_modelzoo • 测试 ResNet-50 推理性能 • docker exec -ti torch_bm bash -c "cd /tmp/resnet50 && python3 performance.py” • docker exec -ti

2 Python3的新特性和改进 ——性能提升 Python3的新特性和改进——性能提升 鉴于一些原因（例如Python3不区分int和long）,python3的性能比python2持 平（或略差） 计算任务（机器学习等） Python3的新特性和改进——性能提升 鉴于一些原因（例如Python3不区分int和long）,python3的性能比python2持 平（或略差） 日常任务（Web应用、桌面应用） Python3的新特性和改进——性能提升 Python3在持续的改进 Python3.6使用了新的dict实现方式，节约了大量的内存。 Python3的新特性和改进——性能提升 Python3在持续的改进 预计在Python3.9(dev阶段)中实现的子解释器（PEP 554）,将解放GIL对CPU密 集型Python多线程程序的限制。 Python3的新特性和改进——性能提升 鉴于大量的流行

FPGA的开发工具支持python 语言？ Ø 目前Xilinx 工具支持python 的主要应用领域 Python 工程师关心的问题 3 Python 工程师开发嵌入式产品的时候哪些地方可能会遇到性能瓶颈？ Ø 传统的计算平台：基于通用处理器的架构，Intel x86 Ø 新的嵌入式计算平台：MCU，DSP，FPGA，GPU、ASSP等 Ø 嵌入式计算： Ø 嵌入式系统是以应用为中心，以计算机 性、成本、体积、功耗有严格要求的专用计算机系统，它一般由嵌入式微处理器、外围硬件设备、 嵌入 式操作系统以及用户的应用程序等四个部分组成。 Ø 嵌入式系统促使计算机的形态和性能更加小型化,多功能,低功耗. Ø 加速计算： Ø 如何提高计算效率，提高计算性能 Ø 加速计算框架的考虑 Ø 加速计算平台的考虑 Ø FPGA 是如何作为加速平台的？在边缘和云端 Python 与嵌入式计算 4 Ø FPGA（Field Ø 组合逻辑 -》计数器 -》算法实现 -》SOC 设计 Ø 新一代FPGA器件：高速接口、ARM SOC、多个 IP 硬核、大容量存储器等 Ø 新一代PCIE加速卡：人工智能、金融计算、数据库、高性能计算、视频转码等。 Ø 主要应用： Ø 通信设备：路由器、交换机、5G 设备 Ø 工业市场：工业伺服、控制器、安防相机、机器视觉、超声设备等。 Ø 消费类和广播设备：电视台演播设备、电视墙 Ø 测

FPGA的开发工具支持python 语言？ Ø 目前Xilinx 工具支持python 的主要应用领域 Python 工程师关心的问题 3 Python 工程师开发嵌入式产品的时候哪些地方可能会遇到性能瓶颈？ Ø 传统的计算平台：基于通用处理器的架构，Intel x86 Ø 新的嵌入式计算平台：MCU，DSP，FPGA，GPU、ASSP等 Ø 嵌入式计算： Ø 嵌入式系统是以应用为中心，以计算机 性、成本、体积、功耗有严格要求的专用计算机系统，它一般由嵌入式微处理器、外围硬件设备、 嵌入 式操作系统以及用户的应用程序等四个部分组成。 Ø 嵌入式系统促使计算机的形态和性能更加小型化,多功能,低功耗. Ø 加速计算： Ø 如何提高计算效率，提高计算性能 Ø 加速计算框架的考虑 Ø 加速计算平台的考虑 Ø FPGA 是如何作为加速平台的？在边缘和云端 Python 与嵌入式计算 4 Ø FPGA（Field Ø 组合逻辑 -》计数器 -》算法实现 -》SOC 设计 Ø 新一代FPGA器件：高速接口、ARM SOC、多个 IP 硬核、大容量存储器等 Ø 新一代PCIE加速卡：人工智能、金融计算、数据库、高性能计算、视频转码等。 Ø 主要应用： Ø 通信设备：路由器、交换机、5G 设备 Ø 工业市场：工业伺服、控制器、安防相机、机器视觉、超声设备等。 Ø 消费类和广播设备：电视台演播设备、电视墙 Ø 测

FPGA的开发工具支持python 语言？ ➢ 目前Xilinx 工具支持python 的主要应用领域 Python 工程师关心的问题 3 Python 工程师开发嵌入式产品的时候哪些地方可能会遇到性能瓶颈？ ➢ 传统的计算平台：基于通用处理器的架构，Intel x86 ➢ 新的嵌入式计算平台：MCU，DSP，FPGA，GPU、ASSP等 ➢ 嵌入式计算： ➢ 嵌入式系统是以应用为中心，以计算机 性、成本、体积、功耗有严格要求的专用计算机系统，它一般由嵌入式微处理器、外围硬件设备、 嵌入 式操作系统以及用户的应用程序等四个部分组成。 ➢ 嵌入式系统促使计算机的形态和性能更加小型化,多功能,低功耗. ➢ 加速计算： ➢ 如何提高计算效率，提高计算性能 ➢ 加速计算框架的考虑 ➢ 加速计算平台的考虑 ➢ FPGA 是如何作为加速平台的？在边缘和云端 Python 与嵌入式计算 4 ➢ FPGA（Field ➢ 组合逻辑 -》计数器 -》算法实现 -》SOC 设计 ➢ 新一代FPGA器件：高速接口、ARM SOC、多个 IP 硬核、大容量存储器等 ➢ 新一代PCIE加速卡：人工智能、金融计算、数据库、高性能计算、视频转码等。 ➢ 主要应用： ➢ 通信设备：路由器、交换机、5G 设备 ➢ 工业市场：工业伺服、控制器、安防相机、机器视觉、超声设备等。 ➢ 消费类和广播设备：电视台演播设备、电视墙 ➢ 测

题时能够作出专业的反应和判断，从而提升工作的整体质量。举一个简单例子，每种编程语言都内置了排序 函数： ‧ 如果我们没有学过数据结构与算法，那么给定任何数据，我们可能都塞给这个排序函数去做了。运行顺 畅、性能不错，看上去并没有什么问题。 ‧ 但如果学过算法，我们就会知道内置排序函数的时间复杂度是 ?(? log ?) ；而如果给定的数据是固定 位数的整数（例如学号），那么我们就可以用效率更高的“基数排序”来做，将时间复杂度降为 的运行时间和内存占用情况。这种评估方式能够反映真 实情况，但也存在较大的局限性。 一方面，难以排除测试环境的干扰因素。硬件配置会影响算法的性能表现。比如一个算法的并行度较高，那 么它就更适合在多核 CPU 上运行，一个算法的内存操作密集，那么它在高性能内存上的表现就会更好。也 就是说，算法在不同的机器上的测试结果可能是不一致的。这意味着我们需要在各种机器上进行测试，统计 平均效率，而这是不现实的。 www.hello‑algo.com 19 ‧ 它无需实际运行代码，更加绿色节能。 ‧ 它独立于测试环境，分析结果适用于所有运行平台。 ‧ 它可以体现不同数据量下的算法效率，尤其是在大数据量下的算法性能。 Tip 如果你仍对复杂度的概念感到困惑，无须担心，我们会在后续章节中详细介绍。 复杂度分析为我们提供了一把评估算法效率的“标尺”，使我们可以衡量执行某个算法所需的时间和空间资 源，对比不同算法之间的效率。

的方法 是找一台计算机，运行这两个算法，并监控记录它们的运行时间和内存占用情况。这种评估方式能够反映真 实情况，但也存在较大的局限性。 一方面，难以排除测试环境的干扰因素。硬件配置会影响算法的性能。比如在某台计算机中，算法 A 的运行 时间比算法 B 短；但在另一台配置不同的计算机中，可能得到相反的测试结果。这意味着我们需要在各种机 器上进行测试，统计平均效率，而这是不现实的。 另一方 在以下两个方面。 ‧ 它独立于测试环境，分析结果适用于所有运行平台。 第 2 章 复杂度分析 hello‑algo.com 19 ‧ 它可以体现不同数据量下的算法效率，尤其是在大数据量下的算法性能。 Tip 如果你仍对复杂度的概念感到困惑，无须担心，我们会在后续章节中详细介绍。 复杂度分析为我们提供了一把评估算法效率的“标尺”，使我们可以衡量执行某个算法所需的时间和空间资 源，对比不同算法之间的效率。 维 方式。 ‧ 从数据结构角度看，递归天然适合处理链表、树和图的相关问题，因为它们非常适合用分治思想进行分 析。 2.2.3 两者对比 总结以上内容，如表 2‑1 所示，迭代和递归在实现、性能和适用性上有所不同。 表 2‑1 迭代与递归特点对比 迭代 递归 实现方 式 循环结构 函数调用自身 第 2 章 复杂度分析 hello‑algo.com 27 迭代 递归 时间效

的方法 是找一台计算机，运行这两个算法，并监控记录它们的运行时间和内存占用情况。这种评估方式能够反映真 实情况，但也存在较大的局限性。 一方面，难以排除测试环境的干扰因素。硬件配置会影响算法的性能。比如在某台计算机中，算法 A 的运行 时间比算法 B 短；但在另一台配置不同的计算机中，可能得到相反的测试结果。这意味着我们需要在各种机 器上进行测试，统计平均效率，而这是不现实的。 另一方 在以下两个方面。 ‧ 它独立于测试环境，分析结果适用于所有运行平台。 第 2 章 复杂度分析 hello‑algo.com 19 ‧ 它可以体现不同数据量下的算法效率，尤其是在大数据量下的算法性能。 � 如果你仍对复杂度的概念感到困惑，无须担心，我们会在后续章节中详细介绍。 复杂度分析为我们提供了一把评估算法效率的“标尺”，使我们可以衡量执行某个算法所需的时间和空间资 源，对比不同算法之间的效率。 维 方式。 ‧ 从数据结构角度看，递归天然适合处理链表、树和图的相关问题，因为它们非常适合用分治思想进行分 析。 2.2.3 两者对比 总结以上内容，如表 2‑1 所示，迭代和递归在实现、性能和适用性上有所不同。 表 2‑1 迭代与递归特点对比 迭代 递归 实现方 式 循环结构 函数调用自身 第 2 章 复杂度分析 hello‑algo.com 27 迭代 递归 时间效