当前位置:网站首页>分形网络(FractalNet)----学习笔记
分形网络(FractalNet)----学习笔记
2022-08-09 23:25:00 【Wsyoneself】
- 这个网络的提出是为了证明residual对于极深的网络并不是必须的。
- 通过一种分形的结构,达到了teacher-student机制,深度监督的效果。
- Fractal :分形,从多个层次、多个角度、多个组成成分来共同解决一个问题
- 通过多个不同深度的网络的组合提高模型的效果:浅层提供更迅速的回答,深层提供更准确的回答
- 网络架构中每一个Fractal的模块,是由多个浅层和深层的联合而成,层的深度呈2的指数型增长。不同深度的输出进行联合时采用求均值的方式。因为每个联合层的输入的个数可能不同,求均值可以起到一个类似于归一化的效果。
- 架构更重要的训练学习机制:drop path
- dropout:一般用于使神经元随机失活来减少模型的过拟合
- droppath:让路径随机失活,即在多个不同深度的层进行联合时,模型会以一个比例随机地让某些路径的输入关闭,但最少保证有一个输入。
- 优点:
- 减少过拟合
- 强化每条路径的输出
- 不同路径的联合。在droppath机制下,与teacher-student类似的效果:如果某条路径学到了对最终分类非常重要的特征,如果在某一次迭代中该路径被关闭了,则通过loss进行反向传播时,可能就会指导和该路径进行联合的另一条路径也学习到这种特征。如此不断训练不仅可提高整个模型的效果,而且单独提取出任意一条路径使用也可达到非常好的效果。并且该网络架构不同因为深度加深而出现退化问题,即从整个模型中提取出最深的路径使用可以到达整个fractalnet接近的效果。
- 有两种droppath方式:
- local:在每一个联合层以固定几率舍弃每个输入,但保证至少保留一个输入
- global:在整个网络中随机只保留一条完整的路径进行学习
边栏推荐
猜你喜欢
数字孪生电力系统,可视化应用实现科学调度的电子设备
Alibaba Cloud SMS Service Activation
【C语言】通讯录《静态内存版本》
go语言的并发原理(goroutine)
KingbaseGIS Jin Cang database using manual (6.3. Geometric object creation function)
Travel with Shengteng: See all the AI attractions in Jinling City in one day
GoLang 使用 goroutine 停止的几种办法
YOLOV5学习笔记(七)——训练自己数据集
The older tester has just passed the "hurdle" of being 35 years old, and I want to tell you something from my heart
数字孪生智慧制造生产线项目实施方案,平台认知与概念
随机推荐
Service Discovery @EnableDiscoveryClient
Digital wallets, red sea ecological rapid introduction of small programs can help capture device entry wisdom
首席信息官如何将可持续性和技术结合起来
分布式数据库难题(二):数据复制
信息系统项目管理师核心考点(六十四)信息安全基础知识重要概念
【集训DAY4】异或【字典树】
CAD 绘制圆角处理
多商户商城系统功能拆解24讲-平台端分销会员
构建平衡二叉树「建议收藏」
共创 Ray 中文社区,Ray Forward Meetup 2022 直播邀你参加!
Why don't suggest you run in Docker Mysql?
Wireshark classic practice and interview 13-point summary
第十二,十三章 mysql数据类型,视图的课后练习
selenium和驱动安装
AppUser object extension based on ABP
恭喜获奖得主 | 互动有礼获赠 Navicat Premium
巴比特 | 元宇宙每日必读:国内首个数字人产业专项支持政策发布,2025年北京数字人产业规模将破500亿元...
AirFlow介绍
拼多多店铺运营不得不知的留个运营小知识
MQTT X Web:在线的 MQTT 5.0 客户端工具