首页 » 人工智能 »

梯度下降BP算法的4个公式

2018年11月27日 / 12次阅读

打开支付宝首页,搜索“529018372”,即可领取红包!可重复领。

梯度下降算法的4个公式

梯度下降算法的4个公式

深入理解了之后,梯度下降算法的这4个公式的确呈现出一种自然的美!

代码实现也是基于这4个公式,总结成这4个公式,就是为了方便编码。

这4个BP算法的公式与神经元使用什么类型的activation function无关,也与使用哪种cost function无关。

有一个验证梯度计算是否正确的方法:就是采用导数的定义来计算梯度,然后与算法计算出来的进行比较,在合理的精度范围内一样,就说明算法计算出来的是对的。早期的研究者,就是用定义的方法来计算梯度,但是这种方法计算量太大,BP算法减轻了不少计算量,也让得到的梯度更准确,同时展现了一种合理的美感!

本文链接:http://www.maixj.net/ai/backprop-19405
云上小悟 麦新杰(QQ:1093023102)

评论是美德

无力满足评论实名制,评论对非实名注册用户关闭,有事QQ:1093023102.


前一篇:
后一篇:

栏目精选

云上小悟,麦新杰的独立博客

Ctrl+D 收藏本页

栏目

AD

ppdai

©Copyright 麦新杰 Since 2014 云上小悟独立博客版权所有 备案号:苏ICP备14045477号-1。云上小悟网站部分内容来源于网络,转载目的是为了整合信息,收藏学习,服务大家,有些转载内容也难以判断是否有侵权问题,如果侵犯了您的权益,请及时联系站长,我会立即删除。

网站二维码
go to top