原理
Adam（Adaptive Moment Estimation）是一种常用的优化算法，结合了AdaGrad和RMSProp算法的优点。它通过自适应地调整学习率来优化神经网络模型的参数。
Adam算法的工作原理如下：
1. 初始化参数：
- 初始化模型的参数，包括权重和偏置。
- 初始化两个一阶矩估计变量m和二阶矩估计变量v，它们的维度与模型的参数相同，初始值为0。
2. 计算梯度：
- 使用随机梯度下降（SGD）或其他优化算法计算当前批次样本的梯度。
3. 更新一阶矩估计变量m和二阶矩估计变量v：
- 计算当前梯度的一阶矩估计（平均梯度）m：m = β₁m + (1-β₁)g
- 计算当前梯度的二阶矩估计（平方梯度的指数加权移动平均）v：v = β₂v + (1-β₂)g²
（其中，g表示当前梯度，β₁和β₂是可调节的指数衰减率，一般取值分别为0.9和0.999）
4. 校正一阶矩估计变量m和二阶矩估计变量v的偏差：
- 对一阶矩估计变量m进行校正：m̂ = m / (1 - β₁^t)
- 对二阶矩估计变量v进行校正：v̂ = v / (1 - β₂^t)
（其中，t表示当前迭代次数）
5. 更新模型参数：
- 根据校正后的一阶矩估计变量m̂和二阶矩估计变量v̂以及学习率α，更新模型参数：
θ = θ - α * m̂ / (√(v̂) + ε)
（其中，θ表示模型的参数，ε是一个很小的数，如10^-8，用于避免除零错误）
通过以上步骤，Adam算法可以自适应地调整学习率，并且在训练过程中根据梯度的大小和稳定性对学习率进行调节，从而提高了模型的收敛速度和稳定性。它被广泛应用于深度学习模型的训练中，并且通常能够取得较好的优化效果。
总结
Adam将随机梯度下降法两种扩展的优势结合在一起:
- 自适应梯度算法(AdaGrad)维护一个参数的学习速率，可以提高在稀疏梯度问题上的性能(例如，自然语言和计算机视觉问题)。
- 均方根传播(RMSProp)也维护每个参数的学习速率，根据最近的权重梯度的平均值(例如变化的速度)来调整。这意味着该算法在线上和非平稳问题上表现良好(如:噪声)。
Adam优化算法的优点包括：
-
自适应学习率：Adam算法可以自适应地调整每个参数的学习率，根据其梯度的一阶矩估计和二阶矩估计进行调节，有助于加速模型收敛。
-
高效的参数更新：通过对梯度的一阶矩估计和二阶矩估计进行指数加权移动平均，Adam算法在更新参数时考虑了梯度的历史信息，有助于平稳地更新参数。
-
鲁棒性：Adam对超参数的选择相对较为鲁棒，通常不需要过多的调参即可在不同问题上表现良好。
然而，Adam算法也存在一些缺点，包括：
-
对超参数敏感：虽然Adam算法相对于其他优化算法来说对超参数的选择更加鲁棒，但仍然需要调整一些超参数，如β₁、β₂和学习率等，以获得最佳的性能。
-
内存消耗较大：由于Adam算法需要维护每个参数的一阶矩估计和二阶矩估计，因此在内存消耗方面略高，特别是在参数较多的大型模型中。
-
可能存在过拟合风险：在某些情况下，Adam算法可能会使模型在训练集上过拟合，特别是在小样本数据集上的应用时需要小心。
综合来看，Adam算法在深度学习中被广泛使用，并且通常能够取得较好的优化效果。
可以参考本视频
