TVM Meetup: Quantization

• 语言: 日语
• 格式: .pdf
• 来源: github.com/tvmai

摘要

文档详细介绍了TVM中的量化技术，包括自动量化和预量化模型支持的两种方法。自动量化通过输入FP32图和小数据集，找到合适的量化比例并生成量化图。预量化模型支持则通过QNN方言处理已量化图，利用高级别包装运算符。文档还讨论了如何支持量化操作的两种选项：从头开始添加新运算符或降低到现有Relay运算符序列。最后，强调了TVM社区对新硬件指令集的支持需求，并展示了量化模型在性能上的提升。

AI总结

### TVM 量化技术总结

#### 1. 量化在 TVM 中的应用
- **自动量化**：TVM 可以自动处理 FP32 模型，通过小数据集找到合适的量化缩放因子，生成量化模型。
- **预量化模型支持**：TVM 支持导入 TFLite 或 MXNet 的预量化模型，使用 QNN 方言进行处理。

#### 2. 量化基本原理
- 将 FP32 数表示为 INT8 数，通过缩放因子（scale）和零点（zero_point）恢复真实值：
\[
\text{real\_value} = \text{scale} \times (\text{quantized\_value} - \text{zero\_point})
\]

#### 3. 量化模型的编译流程
- **自动量化流程**：
1. TVM 读取 FP32 模型和小数据集。
2. 自动确定量化缩放因子。
3. 生成量化模型。
- **预量化模型流程**：
1. 导入 TFLite 或 MXNet 的预量化模型。
2. 使用 QNN 方言的高级别操作进行处理。

#### 4. 硬件优化
- 支持多种硬件（Intel x86、ARM CPU、Nvidia GPU、ARM GPU 等）的量化模型编译。
- 利用硬件指令加速（如 Intel VNNI、ARM Dot、Nvidia DP4A）提升性能。

#### 5. 量化操作支持
- **方法一**：从头添加新操作，需新 Relay 传递和 TVM 调度。
- **方法二**：将量化操作转换为现有 Relay 操作，复用基础设施，减少工作量。

#### 6. 社区与贡献
- TVM 社区致力于自动量化和预量化模型的支持，欢迎贡献。
- 量化技术通过开源讨论形成基础，支持硬件加速和性能优化。

#### 7. 案例与数据
- MobileNet 使用对称量化后，加速比达到 2.8x。

总结：TVM 提供了灵活的量化支持，结合自动量化和预量化模型处理，优化硬件性能，社区持续推动量化技术的发展。