优化算法

梯度 梯度是一个数学概念，梯度函数表示的是多元可微函数的向量域函数，在某一点的梯度是该多元可微函数在该点上的偏导数为分量的向量。 我们用导数衡量一元函数的变化情况，类似的，梯度是导数在多元函数中的推广，就像一元函数的导数表示这个函数图形的切线的斜率，如果多元函数在该点上的梯度不是零向量，则它的方向是这个函数在该点上最大增长的方向、而它的量是在这个方向上的增长率。 ...