关于小悟志网站地图归档友情链接联系Feed

云上小悟 + 

神经网络的发展历程简介

InfoTech
2016年3月15日 / 70次阅读
标签:人工神经网络

拍拍贷

文章《神经网络的发展历程简介》的特色图片

AlphaGo(阿尔法狗)战胜李世石,让人工智能AI和神经网络一下子进入了普通人的视野。我们有必要了解一下,人工神经网络这几十年的发展历程:

 

1, 1958年,计算科学家Rosenblatt提出了由两层神经元组成的神经网络,起名“感知器”(Perception),轰动一时。这是第一个可以进行学习的人工神经网络,美国军方大力资助神经网络的研究,并一度认为其比原子弹工程更重要;

2, 1969年人工智能领域巨擘Minsky出版《Perception》一书,用详细的数学推导证明了感知器的弱点,即只能做线性分类任务,尤其是对于XOR(异或)这样简单的分类任务都无法求解,并且Minsky认为如果将计算层增加为两层,计算量过大且没有有效的学习算法,因此它认为研究更深层的神经网络是没有意义的,这把神经网络的研究带入了冰河期,许多学者也放弃神经网络的研究方向;

3, 1986年,Rumelhar和Hinton等人提出了反向传播(Backpropagation,BP)算法,解决了两层神经网络所需要的复杂计算量问题,从而带动了业界使用两层神经网络研究的热潮,同时理论证明两层的神经网络可以无限逼近任何连续函数,带来了神经网络的又一春;

4, 尽管使用了BP算法,训练依然十分耗时,而且困扰训练优化的一个问题就是局部最优解问题,这使得神经网络的优化较为困难。同时,隐藏层的节点数需要调参,这使得算法的使用也不太方便,工程和研究人员对此多有抱怨;

5, 20世纪90年代中期,由Vapnik等人发明的SVM(Support Vector Machines,支持向量机)算法诞生,很快就在若干个方面体现出了对比神经网络的优势:无需调参、高效、局部最优解。基于以上种种理由,SVM迅速打败了神经网络算法成为主流,神经网络再次陷入冰河期;

6, 在被人摒弃的十多年中,有几个学者仍然在坚持研究。这其中就有加拿大多伦多大学的Geoffery Hinton教授。2006年Hinton提出“深度信念网络”,通过pre-training和fine-tuning两个技术大幅减少了神经网络训练时间,并赋予其一个新的名字“深度学习”;

7, 2016年3月9日,世界记住AlphaGo,神经网络和深度学习。

 

半个多世纪的发展历程,AI在互联网的大力推动下,正在爆发。

本文链接:http://www.maixj.net/ict/shenjingwangluo-11167
云上小悟 麦新杰(QQ:1093023102)

-- (*^-^*) --

相关文章

评论是美德

无力满足评论实名制,评论对非实名注册用户关闭,有事QQ:1093023102.


前一篇:
后一篇:

栏目精选


©Copyright 麦新杰 Since 2014 云上小悟独立博客版权所有 备案号苏ICP备14045477号-1

网站二维码
拍拍贷
go to top