首页 » 信息技术 »

选择cost函数的思考

2018年12月18日 / 99次阅读

做线性回归的时候,我们可以假设训练数据存在误差,误差符合正态分布,根据最大似然估计法(maximum lieklihood),可以计算出采用LMS(Least Mean Squared)作为cost函数是natural and intuitive。

 

做逻辑回归的时候,sigmoid函数(也叫逻辑函数)将weighted input映射到(0,1)空间;在使用crossentropy作为cost函数的时候,一般output layer只有一个神经元。这也是通过最大似然估计法,通过让log likelihood函数最大(log是单调函数,两边去log,一样求最大,只是简化了运算),其导数等于0,而求得的。

如果output layer需要有多个神经元,一般采用softmax的方式更好。

这就是为什么softmax的cost函数,跟crossentropy函数一点不一样的原因。使用crossentropy,只对一个神经元的输出计算cost,自然的就会要求在接近0和接近1时,都要计算cost。而softmax输出的是概率分布,只需要计算应该是最高概率的那个位置的神经元的输出而产生的cost即可。

 

这样就清楚了,因此mlp的最后一层,一般都采用softmax层,还额外解决了最后一层learning slowdown的问题。(hidden layer learning slowdown的问题,是通过初始化w和b来解决的)

本文链接:https://www.maixj.net/ict/cost-19678

相关文章

留言区


前一篇:
后一篇:

栏目精选

云上小悟,麦新杰的独立博客

Ctrl+D 收藏本页

栏目


©Copyright 麦新杰 Since 2014 云上小悟独立博客版权所有 备案号:苏ICP备14045477号-1。云上小悟网站部分内容来源于网络,转载目的是为了整合信息,收藏学习,服务大家,有些转载内容也难以判断是否有侵权问题,如果侵犯了您的权益,请及时联系站长,我会立即删除。

网站二维码
go to top