首页 » 信息技术 »

梯度下降BP算法的4个公式

2018年11月27日 / 388次阅读

梯度下降算法的4个公式

梯度下降算法的4个公式

深入理解了之后,梯度下降算法的这4个公式的确呈现出一种自然的美!

代码实现也是基于这4个公式,总结成这4个公式,就是为了方便编码。

这4个BP算法的公式与神经元使用什么类型的activation function无关,也与使用哪种cost function无关。

有一个验证梯度计算是否正确的方法:就是采用导数的定义来计算梯度,然后与算法计算出来的进行比较,在合理的精度范围内一样,就说明算法计算出来的是对的。早期的研究者,就是用定义的方法来计算梯度,但是这种方法计算量太大,BP算法减轻了不少计算量,也让得到的梯度更准确,同时展现了一种合理的美感!

 

从计算图(computational graph)的角度看以上这四个BP计算公式,依然完美。

autograd,即自动计算梯度,需要使用计算图这样的底层技术;在编写神经网络代码的时候,也可以直接使用数学推导的计算公式。

本文链接:https://www.maixj.net/ict/backprop-19405

相关文章

留言区

《梯度下降BP算法的4个公式》有1条留言

  • 麦新杰

    对于relu神经元,在backward过程中,如果它的z小于等于0,就会杀死梯度,使得相应的w和b得不到更新。这是个问题吗? []


前一篇:
后一篇:

栏目精选

云上小悟,麦新杰的独立博客

Ctrl+D 收藏本页

栏目


©Copyright 麦新杰 Since 2014 云上小悟独立博客版权所有 备案号:苏ICP备14045477号-1。云上小悟网站部分内容来源于网络,转载目的是为了整合信息,收藏学习,服务大家,有些转载内容也难以判断是否有侵权问题,如果侵犯了您的权益,请及时联系站长,我会立即删除。

网站二维码
go to top