激励函数

数学专业术语

神经网络中的每个节点接受输入值，并将输入值传递给下一层，输入节点会将输入属性值直接传递给下一层（隐层或输出层）。在神经网络中，隐层和输出层节点的输入和输出之间具有函数关系，这个函数称为激励函数。常见的激励函数有：线性激励函数、阈值或阶跃激励函数、S形激励函数、双曲正切激励函数和高斯激励函数等。

常见激励函数

Sigmoid函数。是连续，可导，有界，关于原点对称的增函数，呈S形，具体可用反正切函数arctan或指数函数exp来实现，如f(x)=arctan(x)/(pi/2), f(x)=1/(1+e-x)；

阶跃函数；是sigmoid函数的不可导版本；

径向基函数。是函数值沿从输入空间中某点向外辐射的径向射线变化的函数。在空间呈球形。

定义

神经网络中的每个节点接受输入值，并将输入值传递给下一层。输入节点会将输入属性值直接传递给下一层（隐层或输出层）。在神经网络中，隐层和输出层节点的输入和输出之间具有函数关系，这个函数称为激励函数（Activation Function）。

神经网络中每个结点i的输出都基于相关的激励函数的定义。激励函数有时也叫处理单元函数或压缩函数。它用于输入弧上的一组输入。激励函数也叫点火规则，这使它与人脑的工作联系起来。当一个神经元的输入足够大时，就会点火，也就是从它的轴突（输出连接）发送电信号。同样，在人工神经网络中，只要输入超过一定标准时才会产生输出，这就是点火规则的思想。当只处理二值输出时，输出要么为0要么为1，取决于神经元是否应该点火。

激励函数应用于一组输入值{，，}和权值{，，}，这些输入值通常以乘积之和的形式

合并到一起。如果存在偏移，则公式需加上。

两个条件

多种函数可以作为激励函数，只需要满足两个条件：

1.函数必须输出 [0，1]之间的值；

2.函数在充分活跃时，将输出一个接近1的值，表示从未在网络中传播活跃性。

类型

函数

线性激励函数基于输入产生一个线性输出值。

，其中c是一个正的常数。这是一个常见的线性激励函数。

对于线性函数，输出没有最大值和最小值方面的限制。

阈值

阶跃激励函数的输出值为1或0，它取决于输入值和相应权值的乘积之和，当乘积之和高于阈值T时，所对应的的值为1，否则为0。输出值也可以是-1或1。另外，1还可以被任何常数所替代。这种“硬性限制”阈值函数的一个变种是线性阈值函数。线性阈值函数也叫作斜坡函数或分段线性函数，这种激励函数的值从小到大逐渐增加。下面的函数就是一个线性阈值函数，满足：

（1）当时，；

（2）当时，；

（3）当时，;

这里的线性增长存在于和之间。与一般的阈值函数类似，这里函数的取值可以在-1~1之间，也可以在0~1之间。

S形

S形激励函数是一个输出值在-1~1之间（或0~1之间）的S形曲线，它是单调增加的。虽然S形函数有几种类型，但是它们都具有“S”形特征。

一个常见的S形函数是logistic函数：，其中c是一个正的常数，它可以改变函数的倾斜程度。该函数的导数很简单：。

双曲正切

S形函数的一个变种是双曲正切函数，如：

该函数有一个以0为中心的输出。

高斯

高斯函数是一个输出值在区间 [0,1]上的钟形曲线。