机器学习 | 梯度下降种类及对比

【摘要】 批量梯度下降法BGD
批量梯度下降法（Batch Gradient Descent，BGD）是梯度下降法最常用的形式，具体做法：在更新参数时使用所有的样本来进行更新。

求梯度的时候用了所有m个样本的梯度数据。BGD容易得到最优解，但由于每次考虑所有样本，速度很慢。
随机梯度下降法SGD
随机梯度下降法（Stochastic Gradient Descent，BGD…

批量梯度下降法BGD

批量梯度下降法（Batch Gradient Descent，BGD）是梯度下降法最常用的形式，具体做法：在更新参数时使用所有的样本来进行更新。

求梯度的时候用了所有m个样本的梯度数据。BGD容易得到最优解，但由于每次考虑所有样本，速度很慢。

随机梯度下降法SGD

随机梯度下降法（Stochastic Gradient Descent，BGD）和批量梯度下降法原理类似，区别在与求梯度时没有用所有的m个样本的数据，而是仅仅采用一个样本j来求梯度。对应的更新公式是：

文章来源: blog.csdn.net，作者：AI算法攻城狮，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/jxq0816/article/details/116357810