首页 » 信息技术 »

神经网络的发展历程简介

2016年3月15日 / 159次阅读
人工神经网络

AlphaGo(阿尔法狗)战胜李世石,让人工智能AI和神经网络一下子进入了普通人的视野。我们有必要了解一下,人工神经网络这几十年的发展历程:

 

1, 1958年,心理学家Rosenblatt提出了由两层神经元组成的神经网络(只有输入和输出层),起名“感知器”(Perceptron),轰动一时。这是第一个可以进行学习的人工神经网络,美国军方大力资助神经网络的研究,并一度认为其比原子弹工程更重要;

The initial idea of the perceptron dates back to the work of Warren McCulloch and Walter Pitts in 1943, who drew an analogy between biological neurons and simple logic gates with binary outputs. In more intuitive terms, neurons can be understood as the subunits of a neural network in a biological brain. Here, the signals of variable magnitudes arrive at the dendrites. Those input signals are then accumulated in the cell body of the neuron, and if the accumulated signal exceeds a certain threshold, a output signal is generated that which will be passed on by the axon.

生物神经元结构图

生物神经元结构图

2, Perceptron之后没几年,60年代初期,出现了Adaline(Adaptive Linear Neurons),摒弃了伐值型的神经元,采用连续的sigmoidal函数,并且,梯度下降的概念问世。不过Adaline也是只有输入层和输出层,没有hidden layer。

3, 1969年人工智能领域巨擘Minsky出版《Perceptron》一书,用详细的数学推导证明了感知器的弱点,即只能做线性分类任务,尤其是对于XOR(异或)这样简单的分类任务都无法求解,并且Minsky认为如果将计算层增加为两层,计算量过大,并且没有找到有效的学习算法,因此它认为研究更深层的神经网络是没有意义的(dead end),这把神经网络的研究带入了冰河期,许多学者也放弃神经网络的研究方向;(看来大部分学着也是喜欢跟随)

4, 1986年,Rumelhar和Hinton等人重新发表了反向传播(Back Propagation,BP)算法(这个算法很早就有了,只是没有被很多人注意到),减少了多层神经网络所需要的计算量,从而带动了业界使用多层神经网络研究的热潮,同时理论证明多层的神经网络可以无限逼近任何连续函数(universal approximator),带来了神经网络的又一春;(含hidden layer的神经网络,总是被认为比只有输入层和输出层结构要好,其中一个原因就是Minsky提出的perceptron不能学习XOR功能,但是如果还有hidden layer后,学习XOR就可以实现了;多层网络被认为具有一定的feature extraction功能,可以output layer更好的学习)

5, 尽管使用了BP算法,训练依然十分耗时,而且困扰训练优化的一个问题就是局部最优解问题,这使得神经网络的优化较为困难。同时,隐藏层的节点需要调参,这使得算法的使用也不太方便,工程和研究人员对此多有抱怨;

6, 20世纪90年代中期,由Vapnik等人发明的SVM(Support Vector Machines,支持向量机)算法诞生,很快就在若干个方面体现出了对比神经网络的优势:无需调参、高效、局部最优解。基于以上种种理由,SVM迅速打败了神经网络算法成为主流,神经网络再次陷入冰河期;

7, 在被人摒弃的十多年中,有几个学者仍然在坚持研究。这其中就有加拿大多伦多大学的Geoffery Hinton教授。2006年Hinton提出“深度信念网络”,通过pre-training和fine-tuning两个技术大幅减少了神经网络训练时间,并赋予其一个新的名字“深度学习”;

8, 2016年3月9日,世界记住AlphaGo,神经网络和深度学习

 

半个多世纪的发展历程,AI在互联网的大力推动下,正在爆发。

本文链接:https://www.maixj.net/ict/shenjingwangluo-11167

相关文章

留言区


前一篇:
后一篇:

栏目精选

云上小悟,麦新杰的独立博客

Ctrl+D 收藏本页

栏目


©Copyright 麦新杰 Since 2014 云上小悟独立博客版权所有 备案号:苏ICP备14045477号-1。云上小悟网站部分内容来源于网络,转载目的是为了整合信息,收藏学习,服务大家,有些转载内容也难以判断是否有侵权问题,如果侵犯了您的权益,请及时联系站长,我会立即删除。

网站二维码
go to top