梯度

概念

在数学和机器学习领域，梯度（Gradient）是一个向量，表示某个多变量函数在特定点上的变化率或增加最快的方向。梯度包含了函数在各个输入维度上的偏导数值，每个偏导数都表示了函数在对应维度上的变化趋势。梯度的方向指向了函数在当前点上增加最快的方向，而梯度的大小则表示了在该方向上的变化率。

定义

$$\nabla f =(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y},\frac{\partial f}{\partial z})$$

直觉

想象 f 是一座山的海拔。站在山坡上的某一点，梯度告诉你两件事：

• 方向：海拔上升最快的方向（最陡的上坡方向）
• 大小：那个方向上的坡度有多陡

等高线密集的地方梯度大（陡坡），等高线稀疏的地方梯度小（平坦）。而且梯度方向永远垂直于等高线——这一点非常重要。

在深度学习中的核心作用

梯度下降（Gradient Descent）是训练神经网络的基本算法：沿梯度的反方向更新参数，以最小化损失函数：

$$\theta \leftarrow \theta - \eta \nabla_\theta L$$

其中 $\eta$ 是学习率。通过反向传播（backpropagation）和链式法则，可以高效计算损失对网络中每个参数的梯度。

相关概念

• 偏导：梯度的每个分量就是对应变量的偏导数
• 计算图：反向传播利用计算图的拓扑结构递归计算梯度
• 激活函数：激活函数的导数直接影响梯度是否能有效传播（梯度消失/爆炸问题）