常见激活函数及其导数

目录

激活函数的性质

常见激活函数

S型激活函数

斜坡函数

复合函数

常见激活函数及其导数

激活函数的性质

• 连续并可导（允许少数点上不可导）的非线性函数。

        可导的激活函数可以直接利用数值优化的方法来学习网格参数。

• 激活函数及其导数要尽可能的简单。

        有利于提高网格计算效率。

• 激活函数的导函数的值域要在一个合适的区间内。

        不能太大也不能太小，否则会影响训练的效率和稳定性。

• 单调递增

常见激活函数

常见激活函数包括：S型函数、斜坡函数和复合函数

S型激活函数

S型函数包括Logistic函数和tanh函数等

S型激活函数的性质：

• 两个函数都是梯度饱和函数，即在两端的梯度接近于0。
• Tanh函数是0中心化的，而logistic函数的输出恒大于0，非零中心化的输出使得最后一层的神经元的输入发生偏置偏移，并进一步使得梯度下降的收敛速度变慢。

斜坡函数

 斜坡函数的性质：

• 计算更加高效。
• 生物学合理性：单侧抑制、宽兴奋边界。
• 在一定程度上缓解梯度消失问题。

复合函数

Swish函数性质：

• 和Relu一样没有上边界，因此不会出现梯度饱和现象。
• 有下边界，可以产生更强的正则化效果。
• 非单调。
• 处处连续可导，容易训练。

常见激活函数及其导数