当前位置:网站首页>论文解读TransFG: A Transformer Architecture for Fine-grained Recognition
论文解读TransFG: A Transformer Architecture for Fine-grained Recognition
2022-08-11 05:25:00 【pontoon】
此篇文章是transformer在细粒度领域的应用。
问题:Transformer还未应用在图像细分类领域中
贡献点:1.vision transformer的输入把图像切分成patch,但是是没有overlap的,文章改成切分patch用overlap(这只能算个trick)
2.Part Selection Module
通俗讲就是最后一层的输入与vision transformer不同,即把最后一层前的所有层(红框所示)的权重累乘,再筛选出权重大的token拼接起来作为第L层的输入。
首先第L-1层的输出原本是这样的:
前面某层的权重如下:
其中下标l的取值范围为(1,2,...,L-1)
假设有K个self-attention head,那么每个head中的权重为:
其中上标i的取值范围为(0,1,...,K)
则对最后一层前面的所有层累乘权重:
然后选择权重最大的A_k个token作为最后一层的输入。
所以经过处理后,其输入可表示为:
从模型架构上看,可以发现红框内带有箭头的token是被选中了的,也是经权重累乘后权值大的token,右侧蓝色框代表选中的token对应的patch。
3.Contrastive loss
作者说细粒度领域不同类别之间的特征很相似,因此单纯用交叉熵损失来学习特征是不够的,在交叉熵损失后加了新的Contrastive loss,这个损失里引入了余弦相似度(用来估计两个向量的相似情况),向量越相似余弦相似度越大。
作者提出此loss function的目的是缩小不同类别“分类token”的相似程度,最大化相同“分类token”的相似程度,通俗说就是不同类的尽量不相似,同类的尽量相似。Contrastive loss其公式如下:
其中a是人为设定的常量。
所以总体函数为:
实验:
在细分类的几个数据集上与CNN和ViT进行比较,为SOTA
边栏推荐
- 产品版本号是如何确定的
- CMT2380F32模块开发10-高级定时器例程
- Joint 3D Instance Segmentation and Object Detection for Autonomous Driving
- The latest safety helmet wearing recognition system in 2022
- Severe Weather 3D Object Detection Dataset Collection
- Maykle Studio - HarmonyOS Application Development Fourth Training
- 关于if(x)和while(x)的解释
- umi约定式路由规则修改
- STM32F407-浅~~析UART异步通信&USART_Init函数入口参数
- CVPR2022——A VERSATILE MULTI-VIEW FRAMEWORK
猜你喜欢
随机推荐
需求文档(PRD)撰写指南
STM32-库函数-SetSysClock(void)函数解析-正点原子探索者
Diagnostic Log and Trace——开发人员如何使用 DLT
Promise 中状态改变和回调执行先后顺序 和promise多次回调
产品经理的基础知识
目标检测思维导图
梅科尔工作室-Pr第一次培训笔记(安装及项目创建)
Mei cole studios - deep learning second BP neural network
STM32学习笔记(白话文理解版)—USART通信接口
Promise.race学习(判断多个promise对象执行最快的一个)
pip安装报错:is not a supported wheel on this platform
STM32学习总结(二)——GPIO
js写四位随机数能有多少种可能性?并列出所有可能性
产品经理人物推荐
Joint 3D Instance Segmentation and Object Detection for Autonomous Driving
自定义形状seekbar学习--方向盘view
Wisdom construction site safety helmet identification system
端口的作用
stm32-WS2812 PWM+DMA(自己写库函数)
Use regex to verify whether the file name is legal