当前位置:网站首页>常见激活函数及其导数

常见激活函数及其导数

2022-08-11 05:37:00 白羊by

目录

激活函数的性质

常见激活函数

S型激活函数

斜坡函数

复合函数

常见激活函数及其导数


激活函数的性质

  • 连续并可导(允许少数点上不可导)的非线性函数。

        可导的激活函数可以直接利用数值优化的方法来学习网格参数。

  • 激活函数及其导数要尽可能的简单。

        有利于提高网格计算效率。

  • 激活函数的导函数的值域要在一个合适的区间内。

        不能太大也不能太小,否则会影响训练的效率和稳定性。

  • 单调递增

常见激活函数

常见激活函数包括:S型函数、斜坡函数和复合函数

S型激活函数

S型函数包括Logistic函数和tanh函数等

 

S型激活函数的性质:

  • 两个函数都是梯度饱和函数,即在两端的梯度接近于0。
  • Tanh函数是0中心化的,而logistic函数的输出恒大于0,非零中心化的输出使得最后一层的神经元的输入发生偏置偏移,并进一步使得梯度下降的收敛速度变慢。

斜坡函数

 

 斜坡函数的性质:

  • 计算更加高效。
  • 生物学合理性:单侧抑制、宽兴奋边界。
  • 在一定程度上缓解梯度消失问题。

复合函数

 

Swish函数性质:

  • 和Relu一样没有上边界,因此不会出现梯度饱和现象。
  • 有下边界,可以产生更强的正则化效果。
  • 非单调。
  • 处处连续可导,容易训练。

常见激活函数及其导数

 

原网站

版权声明
本文为[白羊by]所创,转载请带上原文链接,感谢
https://blog.csdn.net/weixin_45848575/article/details/126271808