当前位置：网站首页>蒸馏学习框架小抄(1)

蒸馏学习框架小抄(1)

2022-08-07 00:10:00 【Andy Dennis】

前言

大模型大行其道，但是当实际落地时，需要考虑硬件和运行功耗，因此企业更希望部署的是“小”模型。因此学习一些蒸馏技术就成为一些算法工程师必备的技能点。



蒸馏骨干

TinyViT

论文: TinyViT: Fast Pretraining Distillation for Small Vision Transformers

代码: https://github.com/microsoft/Cream/tree/main/TinyViT


博文: ECCV22｜只能11%的参数就能优于Swin，微软提出快速预训练蒸馏方法TinyViT



半监督

DTG-SSOD

22.07
论文 DTG-SSOD: Dense Teacher Guidance for Semi-Supervised Object Detection
博文: DTG-SSOD：最新半监督检测框架，Dense Teacher



数据蒸馏

R2L

2022 ECCV
论文: R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis
博文: ECCV 2022｜Snap&东北大学提出R2L：用数据蒸馏加速NeRF
代码: https://github.com/snap-research/R2L

原网站

版权声明
本文为[Andy Dennis]所创，转载请带上原文链接，感谢
https://blog.csdn.net/weixin_43850253/article/details/126147230

边栏推荐

猜你喜欢

随机推荐