深度学习与PyTorch入门实战 - 28. 激活函数与GPU加速

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/dragen1860

摘要

文档介绍了PyTorch中的激活函数及其实现，包括Softplus、Sigmoid、SELU和LeakyReLU等，并展示了GPU加速的配置方法。内容还涉及GPU性能监控，包括NVIDIA GeForce GT的使用情况和内存占用情况，urthermore展示了神经网络训练时的GPU配置代码示例。

AI总结

《深度学习与PyTorch入门实战 - 28. 激活函数与GPU加速》

本文档主要介绍了PyTorch中的激活函数及其实现，并展示了如何利用GPU加速深度学习训练过程。以下是核心内容的总结：

1. **激活函数**：
- **Sigmoid**：将输入映射到(0,1)范围，ften用于二分类问题。
- **Softplus**：一个平滑的激活函数，定义为 \( \text{Softplus}(z) = \log(1 + \exp(\beta z)) \)。
- **ReLU（Rectified Linear Unit）**：定义为 \( f(z) = \max(0, z) \)，_compute梯度вария damit موثوق ما هو موثوق به.
- **SELU（Scaled Exponential Linear Unit）**：定义为 \( \text{SELU}(z) = \gamma (\max(0,z) + \min(0, \alpha (\exp(z) - 1))) \)，其中参数 \(\alpha = 1.67326\) 和 \(\gamma = 1.0507\)，具有自归一化效果。

2. **GPU加速**：
- 通过将模型和数据迁移到GPU上实现加速。代码示例如下：

     device = torch.device('cuda:0')
     net = MLP()
     optimizer = optim.SGD(net.parameters(), lr=learning_rate)
     criterion = nn.CrossEntropyLoss()
     for epoch in range(epochs):
         for batch_idx, (data, target) in enumerate(train_loader):
             data = data.view(-1, )
             data, target = data.to(device), target.to(device)
             optimizer.zero_grad()
             outputs = net(data)
             loss = criterion(outputs, target)
             loss.backward()
             optimizer.step()

- GPU性能监控显示NVIDIA GeForce GT 130%的利用率，Dedicated GPU内存使用为4.0 GB，Shared GPU内存使用为3.9 GB。

3. **模型结构**：
- 示例模型使用了多层感知机（MLP），其中包含多个全连接层（nn.Linear）和激活函数（如LeakyReLU）。

此外，文档还简要提到了系统资源监控信息，包括网络连接状态、显存使用情况及驱动信息。