深度学习与PyTorch入门实战 - 10. Broadcasting

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/dragen1860

摘要

文档详细讲解了广播传播（Broadcasting）在深度学习中的应用，包括其核心需求、内存消耗优化和形状扩展规则。广播传播能够在不复制数据的情况下自动扩展张量形状，主要通过插入维度和扩展维度大小来实现匹配。文档还通过多个例子说明了广播传播的可行性判断与维度处理规则，特别是从最后一个维度开始匹配的情况。内容涵盖了典型场景，如为每个学生加分数的操作，以及如何处理不同维度的张量操作。在实际应用中，广播传播通过规则化的维度扩展优化了内存使用。

AI总结

《深度学习与PyTorch入门实战 - 10. Broadcasting》摘要：

本文档主要介绍了PyTorch中的广播（Broadcasting）功能，围绕其原理、规则和应用进行了详细讲解。

### 广播的意义
1. **实际需求**：广播�能够满足实际场景中的形状不匹配问题。例如，给每个学生的分数加5分时，可以通过广播将形状为[4,32,8]的张量与单个分数5.0进行操作。
2. **内存消耗**：广播操作不会复制数据，而是通过扩展维度来实现，节省内存。例如，形状为[4,32,8]的张量（1024个元素）与单个分数5.0（1个元素）进行广播时，只需扩展5.0到与原张量相同的形状即可。

### 广播规则
广播的核心思想是从最后一个维度开始匹配：
1. 如果两个张量的最后一个维度相同，则可以直接进行运算。
2. 如果一个张量的最后一个维度为1，另一个张量的最后一个维度不为1，则可以将该维度扩展为与另一个张量相同。
3. 如果某个维度不存在（即一个张量的维度少于另一个），则在该位置插入一个维度，并扩展为1，以匹配另一个张量的维度。
4. 如果上述条件均不满足，则无法进行广播。

### 示例
- **情况1**：形状为[4,32,14,14]的张量与形状为[1,32,1,1]的张量进行广播时：
- 从最后一个维度（14）开始，逐步向前匹配。
- 前者在维度0的大小为4，后者在维度0的大小为1，无法匹配，因此无法广播。

### 总结
广播是一种高效的数据扩展方式，通过插入维度和扩展大小为1的维度来匹配形状，从而避免数据复制，节省内存。其核心是从最后一个维度开始匹配，插入或扩展维度以实现形状一致。