Python机器学习性能优化 以BERT服务为例例，从1到1000 刘欣 ⽬目录 CONTENTS 1. 优化的哲学 2. 了解你的资源 3. 定位性能瓶颈 4. 动⼿优化 1. 优化的哲学 "There ain't no such thing as a free lunch" Ahmdal’s Law • 系统整体的优化，取决于热点部分的占⽐比和该部分的加速程度 No Free Free Lunch • 定位热点 & 热点加速 • 对于项⽬目开发周期：
 1. 先做出效果
 2. 确定整体pipeline
 3. 再考虑优化 • 对于⼈人⼯工智能项⽬目：迭代周期更更⻓长，更更是如此 以BERT服务为例 • BERT：
 TODO： ⼀一句句话解释
 • 横扫多项NLP任务的SOTA榜 • 惊⼈人的3亿参数 以BERT服务为例 • Self Attention机制 's=Happy birthday to [MASK].' 
 
 [“you"] 以BERT服务为例 • 我们现在上线了了这样⼀一个服务，每秒钟只能处理理10个请求 • Q: ⼤大家⼀一开始如何着⼿手优化 • Profile before Optimizing • 建⽴立闭环 2 了解你的资源 cpu/内存/io/gpu GPU为什么“快”？ 计算⼒对⽐ • GFLOPS/s
 


在浏览器中运行 Python 主讲人： 韩骏 – Code Runner 作者 自我介绍 • 高级软件工程师 @ 微软开发平台事业部 • 《Visual Studio Code 权威指南》作者 • 20 多款 VS Code 插件（比如 Code Runner） • “玩转VS Code”知乎专栏 & 微信公众号 • VS Code 中文社区创始人 • https://github.com/formulahendry/955 https://github.com/microsoft/vscode-python-web-wasm One More Thing! Debug Python in browser? 在浏览器中调试 Python！ https://code.visualstudio.com/updates/v1_74#_python-execution-in-the-web • Setting breakpoints

ARM 芯片的 Python + AI 算力优化 主讲人： 朱宏林 – 阿里云程序语言与编译器团队 简介 • 当今开发者们大量使用 Python 语言编写的 AI 程序。过去这些程序总跑在 GPU 或者 x86 架构的 CPU 上。然而综合考虑到功耗、成本、性能等因素，云厂商们开始建设 ARM 架构的服务平台，如 何整合 Python + AI 的相关软件并使其在该平台上发挥最高的性能成为了工程师们关注的焦点。 用 ARM 架构新提供的矩阵扩展对 bf16 类型的 矩阵乘法计算进行优化，该优化将纯矩阵乘法的运算速度提升 3 倍以上，对深度学习推理任务性能 提升明显。目前，该成果已经被集成进 OpenBLAS 和 PyTorch 中。 • 本次演讲，将向大家介绍我们在倚天 710 ARM 芯片上开展的 Python + AI 优化工作，以及在 ARM 云平台上部署 Python + AI 任务的最佳实践。 • GEMM 通过优化内存局部性和向量指令，比朴素实现快 10 倍以上 GEMM • 优化 GEMM • 内存布局：矩阵分块；重排 • 向量化指令：AVX、NEON V0 V1 ✕ ✕ ✕ ✕ V2 GEMM 例子 • 优化 GEMM • 内存布局：矩阵分块；重排 • 向量化指令：AVX、NEON 原始算法 展开4x1 向量化 GEMM 例子 • 优化 GEMM • 内存布局：矩阵分块；重排

用 Python 给 Kubernetes 写个控制器 主讲人： 张晋涛 个人介绍 Apache APISIX PMC Kubernetes Ingress NGINX maintainer Microsoft MVP 『 K8S 生态周报』发起人和维护者 GitHub：tao12345666333 Mail: zhangjintao@apache.org Agenda Agenda Kubernetes 中请求处理流程 什么是准入控制器 用 Python 实现准入控制器 与其他方案对比 Kubernetes 架构 kube-apiserver Kubernetes 集群的核心组件 处理集群内外的所有请求 Kubernetes 请求处理流程  API Handler 匹配处理链路（ /apis ）  认证 / 授权  Mutating Validating Admission ：可进行验证操作  etcd ：持久化 什么是准入控制器  在 Mutating Admission 或 Validating Admission 执行相 关操作的代码逻辑或者组件  （静态）准入控制器： Kubernetes 代码中携带，不可动 态调整的  动态准入控制器：利用 Kubernetes 提供的 MutatingAdmissionWebhook

1.14 1.15 目录 简介 前言 第 1 章：准备工作 第 2 章：Hello, Flask! 第 3 章：模板 第 4 章：静态文件 第 5 章：数据库 第 6 章：模板优化 第 7 章：表单 第 8 章：用户认证 第 9 章：测试 第 10 章：组织你的代码 第 11 章：部署上线 小挑战 后记 2 Flask 入门教程 这是一本 Flask 入门教程，提供了入门 的个人主页了解更多关于我的信息。 目录 前言 第 1 章：准备工作 第 2 章：Hello, Flask! 第 3 章：模板 第 4 章：静态文件 第 5 章：数据库 第 6 章：模板优化 第 7 章：表单 第 8 章：用户认证 第 9 章：测试 第 10 章：组织你的代码 第 11 章：部署上线 小挑战 后记 版权信息 书名：Flask 入门教程 副书名：使用 Python 简介 4 前言 Flask 是一个使用 Python 语言编写的 Web 框架，它可以让你高效的编写 Web 程 序。Web 程序即“网站”或“网页程序”，是指可以通过浏览器进行交互的程序。我们 日常使用浏览器访问的豆瓣、知乎、百度等网站都是 Web 程序。 通过这本书，你会学到 Flask 开发的基础知识，并开发出一个简单的 Watchlist（观 影清单）程序。在功能上，这个程序可以看做是简化版的

10.3 二分查找边界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 10.4 哈希优化策略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206 10.5 重识搜索算法 . . . 时间效率：算法运行速度的快慢。 ‧ 空间效率：算法占用内存空间的大小。 简而言之，我们的目标是设计“既快又省”的数据结构与算法。而有效地评估算法效率至关重要，因为只有 这样，我们才能将各种算法进行对比，进而指导算法设计与优化过程。 效率评估方法主要分为两种：实际测试、理论估算。 2.1.1 实际测试 假设我们现在有算法 A 和算法 B ，它们都能解决同一问题，现在需要对比这两个算法的效率。最直接的方法 是找一台 一方面，难以排除测试环境的干扰因素。硬件配置会影响算法的性能。比如在某台计算机中，算法 A 的运行 时间比算法 B 短；但在另一台配置不同的计算机中，可能得到相反的测试结果。这意味着我们需要在各种机 器上进行测试，统计平均效率，而这是不现实的。 另一方面，展开完整测试非常耗费资源。随着输入数据量的变化，算法会表现出不同的效率。例如，在输入 数据量较小时，算法 A 的运行时间比算法 B 短；而在输

10.3 二分查找边界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205 10.4 哈希优化策略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208 10.5 重识搜索算法 . . . 时间效率：算法运行速度的快慢。 ‧ 空间效率：算法占用内存空间的大小。 简而言之，我们的目标是设计“既快又省”的数据结构与算法。而有效地评估算法效率至关重要，因为只有 这样，我们才能将各种算法进行对比，进而指导算法设计与优化过程。 效率评估方法主要分为两种：实际测试、理论估算。 2.1.1 实际测试 假设我们现在有算法 A 和算法 B ，它们都能解决同一问题，现在需要对比这两个算法的效率。最直接的方法 是找一台 一方面，难以排除测试环境的干扰因素。硬件配置会影响算法的性能。比如在某台计算机中，算法 A 的运行 时间比算法 B 短；但在另一台配置不同的计算机中，可能得到相反的测试结果。这意味着我们需要在各种机 器上进行测试，统计平均效率，而这是不现实的。 另一方面，展开完整测试非常耗费资源。随着输入数据量的变化，算法会表现出不同的效率。例如，在输入 数据量较小时，算法 A 的运行时间比算法 B 短；而在输

10.3 二分查找边界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203 10.4 哈希优化策略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205 10.5 重识搜索算法 . . . 时间效率：算法运行速度的快慢。 ‧ 空间效率：算法占用内存空间的大小。 简而言之，我们的目标是设计“既快又省”的数据结构与算法。而有效地评估算法效率至关重要，因为只有 这样我们才能将各种算法进行对比，从而指导算法设计与优化过程。 效率评估方法主要分为两种：实际测试、理论估算。 2.1.1 实际测试 假设我们现在有算法 A 和算法 B ，它们都能解决同一问题，现在需要对比这两个算法的效率。最直接的方法 是找一台 图 2‑4 递归调用深度 在实际中，编程语言允许的递归深度通常是有限的，过深的递归可能导致栈溢出报错。 2. 尾递归 有趣的是，如果函数在返回前的最后一步才进行递归调用，则该函数可以被编译器或解释器优化，使其在空 间效率上与迭代相当。这种情况被称为「尾递归 tail recursion」。 ‧ 普通递归：当函数返回到上一层级的函数后，需要继续执行代码，因此系统需要保存上一层调用的上下 文。

10.3 二分查找边界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 10.4 哈希优化策略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206 10.5 重识搜索算法 . . . 时间效率：算法运行时间的长短。 ‧ 空间效率：算法占用内存空间的大小。 简而言之，我们的目标是设计“既快又省”的数据结构与算法。而有效地评估算法效率至关重要，因为只有 这样，我们才能将各种算法进行对比，进而指导算法设计与优化过程。 效率评估方法主要分为两种：实际测试、理论估算。 2.1.1 实际测试 假设我们现在有算法 A 和算法 B ，它们都能解决同一问题，现在需要对比这两个算法的效率。最直接的方法 是找一台 图 2‑4 递归调用深度 在实际中，编程语言允许的递归深度通常是有限的，过深的递归可能导致栈溢出错误。 2. 尾递归 有趣的是，如果函数在返回前的最后一步才进行递归调用，则该函数可以被编译器或解释器优化，使其在空 间效率上与迭代相当。这种情况被称为尾递归（tail recursion）。 ‧ 普通递归：当函数返回到上一层级的函数后，需要继续执行代码，因此系统需要保存上一层调用的上下 文。

post_rewrite_src (self, io) moshmosh/extension.py 简单的解释？ 这是一个新语言 • 借用了Python的parser • 提供了一个用户容易扩展的编译器 • 编译到Python • 可以编译成Python字节码文件发布(完全兼容) • 融于Python的生态 Moshmosh：我的Python 不可能这么甜美清新 世界上最快的Python Pattern Console/Jupyter Notebook里 重新激发敲码的热情。 Template-Python moshmosh/extensions/template_python.py “真正的宏”，不是预处理器 Pattern-Matching moshmosh/extensions/pattern_matching pin(val): 用作用域内的值val进行比较的模式 and: 满足多个解构规则的组合模式 The Restrain Python JIT 为什么编译器从字节码开始着手? 栈机(stack machine)语义的优化问题？ Julia后端和Cython后端的差别？ 栈机到基于寄存器(register based)的 语义，控制流分析，SSA 和 Φ 节点和 栈机语义消除。 Cython JIT 基础架构。 为什么编译器从字节码开始着手? 因为运行时一旦开始你是拿不到源代码的。