当前位置:网站首页>常见激活函数及其导数
常见激活函数及其导数
2022-08-11 05:37:00 【白羊by】
目录
激活函数的性质
- 连续并可导(允许少数点上不可导)的非线性函数。
可导的激活函数可以直接利用数值优化的方法来学习网格参数。
- 激活函数及其导数要尽可能的简单。
有利于提高网格计算效率。
- 激活函数的导函数的值域要在一个合适的区间内。
不能太大也不能太小,否则会影响训练的效率和稳定性。
- 单调递增
常见激活函数
常见激活函数包括:S型函数、斜坡函数和复合函数
S型激活函数
S型函数包括Logistic函数和tanh函数等
S型激活函数的性质:
- 两个函数都是梯度饱和函数,即在两端的梯度接近于0。
- Tanh函数是0中心化的,而logistic函数的输出恒大于0,非零中心化的输出使得最后一层的神经元的输入发生偏置偏移,并进一步使得梯度下降的收敛速度变慢。
斜坡函数
斜坡函数的性质:
- 计算更加高效。
- 生物学合理性:单侧抑制、宽兴奋边界。
- 在一定程度上缓解梯度消失问题。
复合函数
Swish函数性质:
- 和Relu一样没有上边界,因此不会出现梯度饱和现象。
- 有下边界,可以产生更强的正则化效果。
- 非单调。
- 处处连续可导,容易训练。
常见激活函数及其导数
边栏推荐
- 皮质-皮质网络的多尺度交流
- 华为防火墙-1-安全区域
- Open Set Domain Adaptation 开集领域适应
- concept noun
- Douyin API interface
- HCIP-Spanning Tree (802.1D, Standard Spanning Tree/802.1W: RSTP Rapid Spanning Tree/802.1S: MST Multiple Spanning Tree)
- redis + lua实现分布式接口限流实现方案
- Daily sql: request for friend application pass rate
- Pinduoduo API interface (attach my available API)
- 《Show and Tell: A Neural Image Caption Generator》论文解读
猜你喜欢
随机推荐
docker安装mysql5.7(仅供测试使用)
抖音API接口
Resolved EROR 1064 (42000): You have an error in. your SOL syntax. check the manual that corresponds to yo
八股文之并发编程
第一个C函数:如何实现板级初始化?
OA项目之我的审批(查询&会议签字)
矩阵分析——微分、积分、极限
什么是Inductive learning和Transductive learning
详解BLEU的原理和计算
技能在赛题解析:交换机防环路设置
maxwell 概念
Daily sql-seek the sum of successful investments in 2016
redis + lua实现分布式接口限流实现方案
HCIP--交换基础
OA项目之会议通知(查询&是否参会&反馈详情)
OA Project Pending Meeting & History Meeting & All Meetings
Daily sql-statistics of the number of professionals (including the number of professionals is 0)
空间金字塔池化 -Spatial Pyramid Pooling(含源码)
抖音API接口
unable to extend table xxx by 1024 in tablespace xxxx