PyTorch Release Notes

• 语言: 英语
• 格式: .pdf
• 来源: docs.nvidia.com

摘要

文档详细记录了PyTorch多个版本的发布说明，包括18.04到18.11等版本的更新内容。每个版本更新包括了PyTorch容器镜像的改进、CUDA、cuDNN、NCCL、DALI等库的版本升级，以及新功能的引入，如多GPU性能优化、混合精度训练支持、JIT改进等。此外，文档还提供了Tensor Core优化的示例，包括ResNet50和GNMT v2模型的实现。已知问题部分提到了与持久批归一化相关的预测能力下降问题，并提供了相应的解决方案。

AI总结

以下是对文档内容的总结，重点突出核心观点和关键信息，语言简洁明了：

---

### PyTorch Release Notes 总结

本文档涵盖了 PyTorch 多个版本的发布信息，包括关键特性、改进、已知问题等内容。以下是各版本的核心信息总结：

---

#### **PyTorch Release 18.10**
- **关键特性与改进**：
- 基于 PyTorch v0.4.1+，包含 PyTorch v1.0 预览版本的最新功能（主分支更新至 PR 11834）。
- 自动使用 cuDNN 持久化 RNN，提升小型 RNN 的速度。
- 提升了多 GPU 性能，包括 PyTorch c10d 和 Apex 的 DDP。
- 加速了混合精度下的权重归一化（weight norm）。
- 提升了 `torch.jit.script` 和 `torch.jit.trace` 功能，支持更好的点态操作融合。
- 添加了 C++_ONLY_API 支持（PyTorch 1.0 预览功能）。
- 修复了 Dataloader 在早停迭代时的 benign 错误。
- 更新至最新版本：DALI 0.4 Beta、NCCL 2.3.6、OpenMPI 3.1.2、Ubuntu 16.04（2018 年 9 月更新）。
- **Tensor Core 示例**：
- ResNet50 v1.5 和 GNMT v2 实现。
- **已知问题**：无新问题。

---

#### **PyTorch Release 18.08**
- **关键特性与改进**：
- 基于 PyTorch 0.4.1，包含自 PyTorch 0.4 以来的重大更改。
- Apex 全面移至 Python，提升兼容性（旧版本的 Apex 不再兼容 PyTorch 0.4.1+）。
- 新增操作：`torch.pinverse`、`torch.unique`、`torch.erfc` 等。
- 修复了 `torch.svd` 和 `torch.eig` 在 CUDA 上的错误结果问题。
- 更新至最新版本：cuDNN 7.2.1、DALI 0.1.2 Beta、NCCL 2.2.13。
- 添加了 Tensor Core 优化示例：PyTorch GNMT 模型。
- **Tensor Core 示例**：
- GNMT v2 实现，基于 Google 的神经机器翻译系统研究。
- **已知问题**：
- DALI 集成的 ResNet-50 示例可能因性能问题导致结果低于预期。

---

#### **PyTorch Release 18.09**
- **关键特性与改进**：
- 更新至 CUDA 10.0.130，cuBLAS 10.0.130，cuDNN 7.3.0。
- 优化了多 GPU 作业的性能。
- 包含 TensorRT 5.0.0 RC 和 DALI 0.2 Beta。
- 更新至最新版本：NCCL 2.3.4（针对 NVLink 优化）。
- **Tensor Core 示例**：
- ResNet50 v1.5 和 GNMT v2。
- **已知问题**：
- 多 GPU 下某些网络架构可能出现性能回归问题。

---

#### **PyTorch Release 18.04**
- **关键特性与改进**：
- 基于 PyTorch 0.3.1，包含主分支提交 2f27c1b5 的所有上游更改。
- 更新至最新版本：NCCL 2.1.15、cuBLAS 9.0.333、cuDNN 7.1.1。
- 修复了一些混合精度模型可能导致的崩溃问题。
- **已知问题**：
- 部分混合精度模型可能因 FP16 溢出检查而崩溃。

---

#### **PyTorch Release 18.07**
- **关键特性与改进**：
- 基于 PyTorch 0.4.0 主分支提交 cca2476。
- 支持单张量的梯度裁剪。
- 提升了混合精度 MSELoss 的精度。
- PyTorch 的 JIT（仍处于 Alpha 阶段）支持 FP16 输入和输出。
- 更新至最新版本：cuBLAS 9.0.425、cuDNN 7.1.4、DALI 0.1 Beta。
- **已知问题**：
- 无已知问题。

---

#### **PyTorch Release 18.05**
- **关键特性与改进**：
- 基于 PyTorch 0.4.0。
- 集成 Caffe2 0.8.1。
- 引入了 Apex 扩展，提供 FP16 和多 GPU 训练实用程序。
- 更新至最新版本：cuDNN 7.1.2、NCCL 2.1.15。
- **已知问题**：
- 部分模型可能因 FP16 检查而导致性能下降。

---

#### **PyTorch Release 18.11**
- **关键特性与改进**：
- 基于 PyTorch v0.4.1+，包含 PyTorch v1.0 预览版本的最新功能。
- 更新至最新版本：NCCL 2.3.7、cuDNN 7.4.1、TensorRT 5.0.2、DALI 0.4.1 Beta。
- 修复了使用持久批归一化内核时的已知问题。
- **Tensor Core 示例**：
- ResNet50 v1.5 和 GNMT v2。
- **已知问题**：
- 使用持久批归一化内核时可能导致模型预测能力下降，建议在测试或验证时不使用 `.eval()` 标志。

---

以上是 PyTorch 各版本发布的关键信息总结，涵盖了版本更新的核心特性、改进和已知问题。