OctoML OSS 2019 11 8

• 语言: kor
• 格式: .pdf
• 来源: github.com/tvmai

摘要

文档介绍了OctoML公司在Apache TVM项目上的开源贡献，并展示了其在虚拟机支持、NLP改进和核心基础设施方面的工作。重点包括虚拟机对动态神经网络的支持、改进的NLP支持以优化Transformer模型（如BERT），以及核心基础设施的改进，如整数分析和内存规划。文档还提到了对微控制器的支持以及统一的对象和节点系统。OctoML强调了其对开源的承诺，并鼓励社区贡献。

AI总结

## OctoML 开源项目进展总结（2019/11/8）

### 公司背景
- OctoML是一家专注于深度学习部署解决方案的新兴公司，基于Apache TVM（孵化中项目）开展工作。
- 公司目标是培养TVM社区，贡献新基础设施和功能。

### 技术贡献
**核心基础设施改进：**
- 开发新整数分析基础设施，支持嵌套除法和取模操作，提升循环优化能力。
- 增强不同整数除法模式支持，包括向下取整除法和截断除法。
- 统一对象和节点系统，优化多语言支持，为运行时和IR的暴露奠定基础。

**虚拟机与动态神经网络支持：**
- 与AWS团队合作，开发VM编译器、运行时及序列化功能。
- 实现动态形状支持、分配与代码生成，提升虚拟机性能。
- 发布了动态内存规划的初始版本，实现内存复用和优化，为未来优化和端到端动态 tensor 支持铺路。

**NLP改进：**
- 扩展Relay ONNX前端，支持BERT所有OPSET版本的ONNX模型导入，包括从TensorFlow转换而来的模型。
- 提升批量矩阵乘法的调度性能，通过早期自动调优模板提升约20%的性能。
- 改善BERT模型中的重塑操作，计划将不复制视图作为Relay intrinsic引入，以实现高度融合和优化的变压器模型。

### 未来计划与贡献邀请
OctoML重视开源的力量，赞助多名员工贡献TVM项目，目前主要关注以下领域：
- TVM的虚拟机和动态神经网络支持（与AWS协作）。
- 提升NLP支持，重点优化变压器模型。
- TVM的核心基础设施改进，包括统一对象节点系统和新整数分析基础设施。

公司欢迎社区开发者在动态形状支持、内存规划和统一对象节点系统等方面贡献力量，并将在TVMConf上详细探讨这些进展。

### 关键信息
- **性能提升**：通过调度优化，BERT的批量矩阵乘法性能提升约20%。
- **功能扩展**：支持所有BERT OPSET版本的ONNX模型导入。
- **未来方向**：动态内存规划、动态形状支持及改进NLP功能。
- **开源贡献**：OctoML积极参与TVM社区建设，未来将继续推动更多功能开发和优化。