PAI & TVM Meetup - Shanghai 20191116

• 语言: zh
• 格式: .pdf
• 来源: github.com/tvmai

摘要

文档介绍了在PAI和TVM平台上实现高效AI计算的技术，包括TensorCore的应用、FP16混合精度训练和INT8推断。TensorCore通过一次操作完成矩阵乘法和累加，显著提升了AI性能。文档还提到AutoCodeGen功能，简化了代码生成过程，并展示了在GPU上实现统一矩阵乘法调度的方法。这些建成提高了代码的可维护性和优化的共享性，同时减少了对WMMA API的依赖需求。

AI总结

《PAI & TVM Meetup - Shanghai 20191116》会议总结

会议主要围绕阿里云PAI平台与TVM框架合作的技术探讨，重点介绍了TensorCore技术在混合精度训练和推理中的应用。

1. **TensorCore技术背景与优势**：
- TensorCore是一项革命性技术，能够在单个操作内执行矩阵乘法和累加，显著提升AI计算性能。
- 通过自动代码生成（AutoCodeGen）和混合精度训练/推理，优化GPU计算效率，降低开发复杂度。

2. **混合精度训练（FP16）**：
- 在PAI平台上实现了高效的FP16混合精度训练，显著提升了训练速度。
- 基线测试显示，与传统方法相比，性能有显著提升，例如在(512, 64, 512)配置下表现尤为突出。

3. **INT8推理**：
- 在PAI-Blade计算平台上实现了高效的INT8推理，进一步降低了推理成本。
- TVs INT4和INT1技术在推理中展现出更高效的性能，例如INT4在特定配置下的表现优于INT8。

4. **自动代码生成与优化**：
- TensorCore AutoCodeGen简化了代码编写，降低了开发门槛。
- 通过统一的矩阵乘法调度（Unified Matmul Schedule），减少了 warp 级调度的开销，提升了代码的可维护性和优化共享。

会议还特别强调了混合精度训练的优势，着重展示了PAI平台在自动化混合精度训练方面的能力，无需额外修改代码即可实现高效训练。

总结来看，会议通过TensorCore技术的应用，展示了PAI平台在混合精度训练和高效推理方面的领先优势，进一步推动了AI计算性能的提升和部署效率的优化。