当前位置：网站首页>常见激活函数及其导数

常见激活函数及其导数

2022-08-11 05:37:00 【白羊by】

目录

激活函数的性质

常见激活函数

S型激活函数

斜坡函数

复合函数

常见激活函数及其导数

激活函数的性质

  • 连续并可导（允许少数点上不可导）的非线性函数。

        可导的激活函数可以直接利用数值优化的方法来学习网格参数。

  • 激活函数及其导数要尽可能的简单。

        有利于提高网格计算效率。

  • 激活函数的导函数的值域要在一个合适的区间内。

        不能太大也不能太小，否则会影响训练的效率和稳定性。

  • 单调递增

常见激活函数

常见激活函数包括：S型函数、斜坡函数和复合函数

S型激活函数

S型函数包括Logistic函数和tanh函数等

 

S型激活函数的性质：

  • 两个函数都是梯度饱和函数，即在两端的梯度接近于0。
  • Tanh函数是0中心化的，而logistic函数的输出恒大于0，非零中心化的输出使得最后一层的神经元的输入发生偏置偏移，并进一步使得梯度下降的收敛速度变慢。

斜坡函数

 

 斜坡函数的性质：

  • 计算更加高效。
  • 生物学合理性：单侧抑制、宽兴奋边界。
  • 在一定程度上缓解梯度消失问题。

复合函数

 

Swish函数性质：

  • 和Relu一样没有上边界，因此不会出现梯度饱和现象。
  • 有下边界，可以产生更强的正则化效果。
  • 非单调。
  • 处处连续可导，容易训练。

常见激活函数及其导数

 

原网站

版权声明
本文为[白羊by]所创，转载请带上原文链接，感谢
https://blog.csdn.net/weixin_45848575/article/details/126271808

边栏推荐

猜你喜欢

随机推荐