首页 » 信息技术 »

感知机(Perceptron)

2018年4月20日 / 949次阅读
人工神经网络

神经网络早期的主要成果是感知机,Perceptron,这是一种01化的神经元模型。本篇博文试图搞清楚感知机的基础知识。

Today, it's more common to use other models of artificial neurons - in this book, and in much modern work on neural networks, the main neuron model used is one called the sigmoid neuron.

现代神经网络使用的更普遍的是其它的神经元模型,主要是一种叫做西格玛神经元(sigmoid neuron),或者S神经元。但是感知机仍然是基础 ,也是理解sigmoid neuron的前提。

 

感知机(Perceptron)是如何工作的

先上一个很简单的感知机的图:

感知机模型

感知机模型

In the example shown the perceptron has three inputs, \(x_1, x_2, x_3\). In general it could have more or fewer inputs. Rosenblatt proposed a simple rule to compute the output. He introduced weights, \(w_1,w_2,\ldots\), real numbers expressing the importance of the respective inputs to the output. The neuron's output, 0 or 1, is determined by whether the weighted sum \(\sum_j w_j x_j\) is less than or greater than some threshold value. Just like the weights, the threshold is a real number which is a parameter of the neuron. To put it in more precise algebraic terms:

$$
\begin{eqnarray}
\mbox{output} & = & \left\{ \begin{array}{ll}
0 & \mbox{if } \sum_j w_j x_j \leq \mbox{ threshold} \\
1 & \mbox{if } \sum_j w_j x_j > \mbox{ threshold}
\end{array} \right.
\end{eqnarray}
$$

\(x_1, x_2, x_3\)是输入,0 or 1,输出也是0 or 1,用来模拟人类的神经元,应该就是对应兴奋和抑制的两种状态。感知机的模型中,只有权重是一个实数。

一个感知机就是通过权衡各个输入,来做决策。通过改变权重和阈值,我们可以得到各种不同的decision-making device。

 

复杂一点的感知机网络

如下图:

感知机网络

感知机网络

感知机网络只有一个单一的输出。如果有多个输出,对多个输出再设计一个感知机,最后产生一个输出。有的时候,最后的那个感知机不会画出来。

 

简化一下上面的那个感知机的算式

x和w的乘积和,可以写成两个向量的内积形式:\(w \cdot x \equiv \sum_j w_j x_j\)

阈值定义为感知机的偏移(perceptron's bias):\(b \equiv
-\mbox{threshold}\)

$$
\begin{eqnarray}
\mbox{output} = \left\{
\begin{array}{ll}
0 & \mbox{if } w\cdot x + b \leq 0 \\
1 & \mbox{if } w\cdot x + b > 0
\end{array}
\right.
\end{eqnarray}
$$

You can think of the bias as a measure of how easy it is to get the perceptron to output a 1. Or to put it in more biological terms, the bias is a measure of how easy it is to get the perceptron to fire. For a perceptron with a really big bias, it's extremely easy for the perceptron to output a 1. But if the bias is very negative, then it's difficult for the perceptron to output a 1.

fire这个词很有趣,让一个感知机fire。

 

感知机如果设计好权重和偏移,还可以用来模拟各种数字门电路。如下图的NAND GATE。

感知机模拟与非门电路

感知机模拟与非门电路

 

所谓学习算法,就是让这个感知机网络,通过接收外界的刺激,自动的调整权重和偏移,从而获得我们想要的输出。这是与传统编程方法完全不同的思路,传统编程是让程序来做确定的事情,神经网络是通过设计和训练神经网络来使其完成我们希望的事情。

本文链接:https://www.maixj.net/ict/perceptron-17682

相关文章

留言区

《感知机(Perceptron)》有6条留言

  • 麦新杰

    大脑中的神经元真的是 all or none ? []

  • 麦新杰

    The initial idea of the perceptron dates back to the work of Warren McCulloch and Walter Pitts in 1943, who drew an analogy between biological neurons and simple logic gates with binary outputs. 所以,从一开始,就在用biological neuron跟logic gates做类比,因此perceptron的输入输出才是非0即1的。 []

  • 麦新杰

    思维的过程,难道就是在做决策吗?Perceptron可以看作是一个决策模型,不同条件在不同权重下,产生一个二元结果。思维不应该是做决策,思维更像是在进行不间断的模式匹配。 []

  • 麦新杰

    Perceptron的输入和输出都是0或1,只有w和b是R。从这个角度看,这是一个简化了输入输出的模型。 []

  • 麦新杰

    权重和阈值,都是real number []

  • 麦新杰

    每个感知机有多个输入,但是只有一个输出,上图多层的网络,中间的感知机有多个输出箭头,只是表示其唯一的输出被多个其它感知机使用。 []


前一篇:
后一篇:
-->只要几分钟回答问卷,就能轻松赚现金!

栏目精选

云上小悟,麦新杰的独立博客

Ctrl+D 收藏本页

栏目


©Copyright 麦新杰 Since 2014 云上小悟独立博客版权所有 备案号:苏ICP备14045477号-1。云上小悟网站部分内容来源于网络,转载目的是为了整合信息,收藏学习,服务大家,有些转载内容也难以判断是否有侵权问题,如果侵犯了您的权益,请及时联系站长,我会立即删除。

go to top