深度学习与PyTorch入门实战 - 34. 动量与lr衰减

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/dragen1860

摘要

文档介绍了PyTorch中动量与学习率衰减的实现方法。动量通过引入动量因子加速训练过程，学习率衰减则通过减少学习率防止模型过拟合。文档展示了使用SGD优化器和ReduceLROnPlateau学习率调度器的具体代码实现，并提到了另一种学习率调度策略StepLR。

AI总结

### 文档总结

#### 动量（Momentum）
动量是一种优化技巧，用于加速梯度下降过程并跳过局部最小值。其更新公式如下：
- 权重更新：$$ w^{k+1} = w^{k} - \alpha z^{k+1} $$
- 动量更新：$$ z^{k+1} = \beta z^{k} + \nabla f(w^{k}) $$
在PyTorch中，动量通过`torch.optim.SGD`实现，参数设置为`momentum=args.momentum`。

#### 学习率衰减（Learning Rate Decay）
学习率衰减用于动态调整学习率，避免模型在训练后期陷入停滞或振荡。

##### 方案1：ReduceLROnPlateau
- 基于验证损失的变化调整学习率。
- 参数包括`mode='min'`、`factor=0.1`、`patience=10`等。
- 示例代码：

  scheduler = ReduceLROnPlateau(optimizer, 'min')
  for epoch in range(args.epochs):
      train(train_loader, model, criterion, optimizer, epoch)
      result_avg, loss_val = validate(val_loader, model, criterion, epoch)
      scheduler.step(loss_val)

##### 方案2：StepLR
- 按固定步长（如每30个epoch）逐步降低学习率。
- 示例代码：

  scheduler = StepLR(optimizer, step_size=30, gamma=0.1)
  for epoch in range(100):
      scheduler.step()
      train(...)
      validate(...)

#### 总结
动量和学习率衰减是深度学习中的重要优化技巧。动量加速了权重更新，而学习率衰减则通过动态调整学习率帮助模型更好地收敛。在PyTorch中，这两者均可通过优化器和学习率调度器轻松实现。