机器学习课程-温州大学-03深度学习-PyTorch入门

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

文档主要介绍了PyTorch的基本使用方法，包括张量操作、自动求导机制、神经网络构建以及训练分类器的流程。内容涵盖了神经网络的典型训练过程、PyTorch的自动微分机制、张量的使用场景以及全连接层的定义和使用。文档还提到了如何定义神经网络模型、计算损失函数、反向传播梯度以及更新网络参数，并提供了训练一个分类器的基本步骤。

AI总结

## 《机器学习课程-温州大学-03深度学习-PyTorch入门》总结

### 1. 张量（Tensors）

- **核心概念**：PyTorch中的`torch.Tensor`是一个支持自动求导操作的多维数组，用于存储数据并保持梯度信息。
- **操作方式**：
- `tensor.clone()`：新建张量，共享内存，保留梯度追踪，适用于需要重复使用但不参与求导的场景。
- `tensor.detach()`：共享内存，不保留梯度追踪，适用于仅利用张量数值而不参与梯度计算的场景。
- `tensor.clone().detach()`：新建张量，不共享内存或梯度，适用于简单数据复制且完全独立的场景。

### 2. 自动求导（Autograd）

- **功能**：PyTorch的Autograd机制自动计算梯度，简化了复杂神经网络的导数计算。
- **关键点**：
- `tensor.detach()`：用于断开计算图，避免梯度传播到不需要的节点。
- `tensor.clone().detach()`：用于完全断开梯度关联，适用于生成对抗网络（GAN）等需要梯度估计的场景。

### 3. 神经网络

- **训练流程**：
1. 定义神经网络模型，包含可学习的参数（权重）。
2. 在数据集上迭代。
3. 前向传播，处理输入。
4. 计算损失（输出与真实值的差距）。
5. 反向传播，计算梯度。
6. 更新参数，常用优化算法如Adam。
- **关键模块**：
- `nn.Module`：封装网络结构，管理参数，支持GPU运算。
- `nn.Parameter`：用于注册网络参数，自动参与梯度计算。
- `autograd.Function`：定义自动求导的前向和反向过程。

### 4. 训练一个分类器

- **流程**：
1. 加载训练集和测试集。
2. 定义卷积神经网络结构。
3. 选择损失函数（如交叉熵损失）。
4. 定义优化器（如Adam），设置学习率。
5. 在训练集上训练网络。
6. 在测试集上评估模型性能。

### 5. 全连接层（Linear Layer）

- **功能**：`torch.nn.Linear`用于创建全连接层，处理二维张量，输入形状为`[batch_size, in_features]`，输出形状为`[batch_size, out_features]`。
- **参数**：
- `in_features`：输入张量的大小。
- `out_features`：输出张量的大小，代表神经元数量。

### 6. 参考文献

- 主要参考书籍和在线资源：
- 《深度学习》（Ian Goodfellow等）
- 李宏毅《一天搞懂深度学习》
- 《Python深度学习基于PyTorch》