当前位置：网站首页>Toward a Unified Model

Toward a Unified Model

2022-08-11 05:23:00 【zhSunw】

Learning Multiple Adverse Weather Removal via Two-stage Knowledge Learning and Multi-contrastive Regularization: Toward a Unified Model


在这里插入图片描述
在know ledgedistillation基础上设计了Two-stage Knowledge Learning (Collation-Examination)并引入contrastive learning的方法。

Method

Collaborative Knowledge Transfer（CKT）

Progressive Feature Projector（PFP）

将教师和学生网络的特征投影到一个共同的特征空间中，计算两个投影特征的L1损失：Q表示编码层数，Ti表示第i个教师网络，S表示学生网路
投影通过几个步幅为1的卷积块和ReLU激活函数组成的小网络实现
在这里插入图片描述
在这里插入图片描述

Bidirectional Feature Matching

将教师网络的投影特征投影回原始输入空间，计算两个特征的L1损失保证投影的有效性
在这里插入图片描述
在这里插入图片描述

Multi-contrastive Regularization（Two-stage Knowledge Learning）

在这里插入图片描述

Contrastive Regularization：v,v+,v-分别表示预测样本，正样本（目标样本），负样本；Ψ表示使用VGG-19提取的特征；R为负样本的个数.
在这里插入图片描述

Soft Contrastive Regularization.（Knowledge Collation (KC).）

Soft：使用教师的预测结果作为正样本避免前期学习的挑战性
在这里插入图片描述
在这里插入图片描述

Hard Contrastive Regularization.（Knowledge Examination (KE).）

Hard：训练一段时间后直接将groundtruth作为正样本学习
在这里插入图片描述
在这里插入图片描述

原网站

版权声明
本文为[zhSunw]所创，转载请带上原文链接，感谢
https://blog.csdn.net/ylwhxht/article/details/125401421

边栏推荐

猜你喜欢

随机推荐