首页 » 人工智能 »

梯度下降的三种形式BGD,SGD,MBGD

2018年11月21日 / 15次阅读

打开支付宝首页,搜索“529018372”,即可领取红包!可重复领。

梯度下降的三种形式BGD,SGD,MBGD:

Batch gradient descent: Use all examples in each iteration;

Stochastic gradient descent: Use 1 example in each iteration;

Mini-batch gradient descent: Use b examples in each iteration.

 

BGD就是使用全部训练数据,来计算平均的梯度,然后进行一次迭代;

SGD就是每次随机选择一个训练样本来计算梯度并进行一次迭代;

MBGD是采用一个(随机)小批量的数据来计算平均梯度,并进行一次迭代。

(我还见过MSGD这个词,不知道跟上面几个有啥区别)

 

但是实际上,我们在阅读代码的过程中,SGD的含义可能跟MBGD的含义一样,S被解释成了随机寻找一个小批量(一组)数据来更新梯度。在MBGD中,每一次迭代也不一定就是一个mini batch,可能是用好几个mini batch迭代了好几次,比如将数据按照batch size分成N批,然后每一批做一次梯度下降计算,N批做完之后,才算一个Epoch。所以,在调用接口的时候,要仔细看看说明。

维基百科上,并没有对BGD和MBGD的词条。

本文链接:http://www.maixj.net/ai/bgd-sgd-mbgd-19348
云上小悟 麦新杰(QQ:1093023102)

评论是美德

无力满足评论实名制,评论对非实名注册用户关闭,有事QQ:1093023102.


前一篇:
后一篇:

栏目精选

云上小悟,麦新杰的独立博客

Ctrl+D 收藏本页

栏目

AD

ppdai

©Copyright 麦新杰 Since 2014 云上小悟独立博客版权所有 备案号:苏ICP备14045477号-1。云上小悟网站部分内容来源于网络,转载目的是为了整合信息,收藏学习,服务大家,有些转载内容也难以判断是否有侵权问题,如果侵犯了您的权益,请及时联系站长,我会立即删除。

网站二维码
go to top