TVM Meetup: Quantization
0 码力 | 19 页 | 489.50 KB | 1 年前文档详细介绍了TVM中的量化技术,包括自动量化和预量化模型支持的两种方法。自动量化通过输入FP32图和小数据集,找到合适的量化比例并生成量化图。预量化模型支持则通过QNN方言处理已量化图,利用高级别包装运算符。文档还讨论了如何支持量化操作的两种选项:从头开始添加新运算符或降低到现有Relay运算符序列。最后,强调了TVM社区对新硬件指令集的支持需求,并展示了量化模型在性能上的提升。
共 1 条
- 1













