梯度下降为什么需要不断迭代,不能一次就求出来

发布网友发布时间：2022-04-25 20:05

共2个回答

热心网友时间：2022-06-17 00:42

主要是因为计算机解不来方程，它不像人有抽象思维，可以直接令梯度=0，解方程求出最佳值。它只能不停的循环*近最佳值，所以编程里面都有循环终止条件<ε。
计算机只能做加减乘除，从这个角度去理解，你就可以明白泰勒级数，傅里叶级数对计算机有划时代的意义。

热心网友时间：2022-06-17 00:42

函数的梯度是指它在这一点处增长最快的方向，显然负梯度方向就是下降最快的方向。
梯度下降方向就是和负梯度方向的夹角小于90度的方向，也就是和负梯度方向的内积小于0，沿着梯度下降方向移动，函数的值会减小。
因此最小化一个函数的通常做法是：从某一点出发，找到该点的梯度下降方向）沿着这个方向移动一定的距离。不断迭代，直到满足终止准则。
目前几乎所有的机器学习求解算法都是基于梯度下降的，例如OWLQN、SGD、Async-SGD等