TVM@AliOS

• 语言: [zh]
• 格式: .pdf
• 来源: github.com/tvmai

摘要

文档介绍了TVM在AliOS平台上的应用，包括在ARM CPU、Hexagon DSP和Intel GPU上的实现与优化。TVM通过支持TensorFlow Lite（TFLite）并针对INT8和FP32指令集进行优化，提升了模型推理性能。时间线显示了团队在2018年至2019年间的发展，如TFLite量化支持和不同模型（如MobileNet V1和V2）的加速。文档还详细讨论了技术细节，如缓存数据布局、指令生成及性能优化结果。

AI总结

以下是对文档内容的总结：

---

**TVM@AliOS 概述**

AliOS 是一款面向智能设备的操作系统，广泛应用于车载、手机、平板和物联网终端，旨在为不同终端提供云端与设备端协同解决方案。AliOS 佐助传统车企进入智能网联汽车时代，成为智能汽车的“IT底盘”，如在瑞威RX5 MAX中广泛应用。

**TVM@AliOS 的三大硬件实现**

1. **ARM CPU**
- TVM 在 ARM CPU 上支持 TFLite，通过 INT8 和 FP32 优化，结合 QNNPACK 和缓存优化（NHWC 布局、im2col 打包、Tensorize GEMM 等）实现了 MobilenetV2 的 1.6 倍性能提升。

2. **Hexagon DSP**
- 通过 TVM 对深度可分离卷积的优化，结合 Hexagon DSP 的子组扩展（Subgroup Extension）和 NDRange，实现了 MobilenetV1 的 1.27 倍性能提升。

3. **Intel GPU**
- TVM 在 Intel GPU 上实现了从零开始的完整调度，通过 OpenVINO 和 Intel 子组扩展优化了深度学习推理，实现了 MobilenetV2 的 1.34 倍性能提升，特别在Apollo Lake处理器上表现尤为突出。

**时间线与产品应用**

- **2018.4-2018.10**：TVM团队成立，支持了TFLite量化，实现了1.61倍的MobilenetV1性能提升。
- **2019.4-2019.10**：TVM在Hexagon DSP上实现了1.27倍的MobilenetV1性能提升，并在AR-Nav产品中展示了语音导航模型加速功能。
- **2019.8**：TVM在Intel GPU上完成OpenVINO部署，实现了1.34倍的MobilenetV2性能提升，并加速了自然语言处理模型。

---

以上总结涵盖了文档的核心内容，包括 AliOS 的功能、TVM 在不同硬件上的优化实现及性能提升，以及具体的时间线和产品应用。