首页 » 人工智能 »

会死掉的ReLU

2019年1月11日 / 3次阅读

打开支付宝首页,搜索“529018372”,即可领取红包!可重复领。

貌似ReLU神经元激活函数是在2011左右出现的,著名的AlexNet就使用了它。

ReLU神经元激活函数的出现,同样也是来自生物神经科学领域的启发。它给神经网络技术带来的好处是:

(1)有效解决了在DNN(或MLP)训练过程中,梯度消失的问题;(误差在向后传递的过程中,由于BP算法的计算规则,需要乘激活函数的导数,对于sigmoid或tanh,计算的结果就是,误差越来越小,对于前面的hidden layer,误差已经小到几乎无法有效学习的地步)

(2)ReLU函数的计算更快,加快神经网络的计算。

不过,ReLU函数也有“弱点”,就是它可能会在训练的过程中死掉(Dead ReLU)。

Referring to the Stanford course notes on Convolutional Neural Networks for Visual Recognition, a paragraph says:

"Unfortunately, ReLU units can be fragile during training and can "die". For example, a large gradient flowing through a ReLU neuron could cause the weights to update in such a way that the neuron will never activate on any data point again. If this happens, then the gradient flowing through the unit will forever be zero from that point on. That is, the ReLU units can irreversibly die during training since they can get knocked off the data manifold. For example, you may find that as much as 40% of your network can be "dead" (i.e. neurons that never activate across the entire training dataset) if the learning rate is set too high. With a proper setting of the learning rate this is less frequently an issue."

有可能出现,在某一次weight和bias更新之后,这个ReLU神经元对于所有的data point input,输出都是0,这是我们就说这个ReLU死掉了。

死掉的ReLU是不可逆的,即它无法再“正常”地活过来,因为对于所有的input,它的输出都是0,这时按照BP算法规则,它的weight和bias无法得到更新。

上面这段英文也说明了另外一个事实:Learning Rate不要设置太大,一部分ReLU在训练过程中死掉,也不是个什么问题,这正好也符合科学家在生物精神领域发现的神经元的稀疏性保持一致。

Learning Rate设置过大,确实是个问题。可以让ReLU彻底死掉,也可能出现overshooting现象,即cost不断变大。

注意一个算法细节:我们在训练神经网络的时候,一般采用MSGD算法,即小批量地更新weights和bias,每一次更新weights和bias前,都会将一组input数据的梯度进行算术平均,可能有些ReLU对某个input输出0,但是对其它的input输出就不是0,这样计算平均,梯度为非0,其对应的weights和bias依然可以得到更新。

那些死掉的ReLU,是对所有input的输出都是0的顽固份子。有人说,这其实又是另外一种“梯度消失”。

本文链接:http://www.maixj.net/ai/relu-19906
云上小悟 麦新杰(QQ:1093023102)

相关文章

评论是美德


前一篇:

栏目精选

云上小悟,麦新杰的独立博客

Ctrl+D 收藏本页

栏目

AD

ppdai

©Copyright 麦新杰 Since 2014 云上小悟独立博客版权所有 备案号:苏ICP备14045477号-1。云上小悟网站部分内容来源于网络,转载目的是为了整合信息,收藏学习,服务大家,有些转载内容也难以判断是否有侵权问题,如果侵犯了您的权益,请及时联系站长,我会立即删除。

网站二维码
go to top