📚深度学习基础✨带动量的随机梯度下降法 & 梯度下降法的三种形式💡

在机器学习中，梯度下降（Gradient Descent）是优化模型参数的核心算法之一。它有三种常见形式：批量梯度下降(BGD)、随机梯度下降(SGD) 和 小批量梯度下降(Mini-batch GD)。其中，SGD因其高效性被广泛使用，但容易陷入震荡问题。这时，带动量的随机梯度下降法(Momentum SGD) 就派上用场啦！💪

带 momentum 的 SGD 引入了一个“惯性”概念，通过累积之前的梯度方向来减少震荡，加速收敛。想象一下，一个滚动的小球在山谷中移动，momentum 帮助它更快地穿越平坦区域，直奔最低点！⛰️➡️🌍

无论是 BGD 的全局最优搜索，还是 SGD 的快速迭代，亦或是 Mini-batch 的折中方案，它们各有千秋。掌握这些方法，就像拥有了通往 AI 世界的钥匙，让你的数据模型更加智能！🔑🚀

深度学习 机器学习 梯度下降