TVM Meetup Nov. 16th - Linaro

• 语言: zh
• 格式: .pdf
• 来源: github.com/tvmai

摘要

文档主要介绍了Linaro与TVM在Arm生态系统中的合作，旨在通过整合Arm平台的硬件加速器（如CPU、GPU、NPU等）支持更多设备，并优化TVM在Arm设备上的性能。内容涵盖了Arm平台在TVM中的支持情况，包括CPU、GPU、FPGA等硬件的代码生成和优化策略，还提到了与Arm NN/ACL/CMSIS-NN的协作以及CI和基准测试的重要性。文档还提到未来将通过TVM Conference 2019提供更多细节。

AI总结

文档内容主要围绕Linaro与TVM（The Virtualization of Machine Learning）的合作展开，重点介绍了Linaro在Arm架构平台上对TVM的支持与协作计划。以下是总结的核心内容：

1. **Linaro与TVM的合作目标**
- Linaro AI/ML团队致力于与TVM合作，支持更多基于Arm的设备，涵盖从微控制器到HPC（高性能计算）的多样化加速配置。
- 通过与Arm生态系统（包括Arm NN/ACL/CMSIS-NN）紧密合作，推动TVM在Arm平台上的优化与集成。

2. **Arm平台支持**
- **CPU**：支持Cortex-A、Cortex-M、Neoverse等系列，目标平台包括Pixel 2、Mate 10/10 Pro、Raspberry Pi 3B、Pynq等。
- **GPU**：支持Mali GPU（Midgard/Bifrost架构），目标平台包括Firefly RK3399、HiKey 960等。
- **FPGA**：支持如Pynq、Ultra96等平台，使用SDAccel进行加速。
- **其他加速器**：包括Hexagon DSP（通过Ilvm）、Ethos NPU、Ascend NPU等，部分为WIP（进行中）。

3. **软件与工具整合**
- 探讨将Arm NN的通用后端集成到TVM中，以增强运行时插件的灵活性。
- 计划将Arm NN/CMSIS-NN的优化内核整合到TVM中，并探索TVM代码生成与Arm NN的集成。
- 通过CI和基准测试，验证TVM在成员硬件平台上的性能。

4. **Linaro AI计划**
- 通过协作整合Arm生态系统的IP和SoC中的神经网络加速，优化深度学习性能。
- 与AI/ML软件框架（如MATLAB Coder、ONNX Runtime）无缝集成，提升开发效率。

5. **未来计划**
- 更多细节将在TVM Conference 2019上公布，建议关注。
- 探讨是否维护TVM支持的Arm平台列表，并进一步优化硬件支持。

6. **联系方式**
- 感兴趣的开发者可通过[e-mail]联系Linaro，加入合作以加速基于Arm的解决方案部署。

总结来看，文档重点介绍了Linaro在Arm生态系统中对TVM的支持，包括硬件平台覆盖、软件工具链整合、协作计划以及未来发展方向。