云上小悟
首页   关于   小悟志   栏目   标签   文章   归档   友链   联系

   云上小悟  +  

神经网络的发展历程简介

IT通信 / by: 麦新杰 / 发布:2016年3月15日 / 47次阅读 / 暂无评论
/ 最后修改时间: 2016-03-15 17:11:23

IT通信 / 2016年3月15日 / 47次阅读 /


神经网络的发展历程简介

AlphaGo(阿尔法狗)战胜李世石,让人工智能AI和神经网络一下子进入了普通人的视野。我们有必要了解一下,人工神经网络这几十年的发展历程:

 

1, 1958年,计算科学家Rosenblatt提出了由两层神经元组成的神经网络,起名“感知器”(Perception),轰动一时。这是第一个可以进行学习的人工神经网络,美国军方大力资助神经网络的研究,并一度认为其比原子弹工程更重要;

2, 1969年人工智能领域巨擘Minsky出版《Perception》一书,用详细的数学推导证明了感知器的弱点,即只能做线性分类任务,尤其是对于XOR(异或)这样简单的分类任务都无法求解,并且Minsky认为如果将计算层增加为两层,计算量过大且没有有效的学习算法,因此它认为研究更深层的神经网络是没有意义的,这把神经网络的研究带入了冰河期,许多学者也放弃神经网络的研究方向;

3, 1986年,Rumelhar和Hinton等人提出了反向传播(Backpropagation,BP)算法,解决了两层神经网络所需要的复杂计算量问题,从而带动了业界使用两层神经网络研究的热潮,同时理论证明两层的神经网络可以无限逼近任何连续函数,带来了神经网络的又一春;

4, 尽管使用了BP算法,训练依然十分耗时,而且困扰训练优化的一个问题就是局部最优解问题,这使得神经网络的优化较为困难。同时,隐藏层的节点数需要调参,这使得算法的使用也不太方便,工程和研究人员对此多有抱怨;

5, 20世纪90年代中期,由Vapnik等人发明的SVM(Support Vector Machines,支持向量机)算法诞生,很快就在若干个方面体现出了对比神经网络的优势:无需调参、高效、局部最优解。基于以上种种理由,SVM迅速打败了神经网络算法成为主流,神经网络再次陷入冰河期;

6, 在被人摒弃的十多年中,有几个学者仍然在坚持研究。这其中就有加拿大多伦多大学的Geoffery Hinton教授。2006年Hinton提出“深度信念网络”,通过pre-training和fine-tuning两个技术大幅减少了神经网络训练时间,并赋予其一个新的名字“深度学习”;

7, 2016年3月9日,世界记住AlphaGo,神经网络和深度学习。

 

半个多世纪的发展历程,AI在互联网的大力推动下,正在爆发。

本文固定链接:http://www.maixj.net/ict/shenjingwangluo-11167
amazon海外购

“神经网络的发展历程简介”正在等您

发表评论

电子邮件地址不会被公开。 必填项已用*标注


前一篇:
后一篇:

麦新杰的云上小悟独立博客网站文章内容,除非特别注明,全部都是原创,如需转载,请先阅读版权声明!原创文章更具个性,有些文字虽略显随意,但不影响个人思想表达。部分文章是我自己的笔记,为自己记录,总结和收藏,同时也分享给您!这是本博建设的出发点,希望您喜欢并得到您的支持!喝杯茶,慢慢阅读...

©Copyright 麦新杰 SINCE 2014 云上小悟独立博客版权所有  备案号:苏ICP备14045477号-1  

本站360安全检测  Valid CSS!