当前位置：网站首页>【论文笔记】Vision Transformers for Dense Prediction

【论文笔记】Vision Transformers for Dense Prediction

2022-04-22 13:57:00 【来自γ星的赛亚人】

声明

不定期更新自己精读的论文，通俗易懂，初级小白也可以理解

涉及范围：深度学习方向，包括 CV、NLP、Data fusion、Digital Twin

论文题目：Vision Transformers for Dense Prediction

论文链接：https://arxiv.org/abs/2103.13413v1

论文代码：https://github.com/isl-org/DPT

发表时间：2021年3月

创新点

1、提出了基于 ViT 为主干架构的 Vision Transformer - DPT

Abstract

我们引入了密集视觉 Transformer，一种利用 Vision Transformer 代替卷积网络作为密集预测任务的骨干的架构。我们将来自 Vision Transformer 各个阶段的令牌组装成各种分辨率的类似图像的表示，并使用卷积解码器将它们逐步组合成全分辨率预测。 Transformer 主干以恒定且相对较高的分辨率处理表示，并且在每个阶段都具有全局感受野。与全卷积网络相比，这些属性允许密集视觉 Transformer 提供更细粒度和更全局连贯的预测。

我们的实验表明，这种架构对密集预测任务产生了显着的改进，尤其是在有大量训练数据可用的情况下。对于单目深度估计，我们观察到与最先进的全卷积网络相比，相对性能提高了高达 28%。当应用于语义分割时，密集视觉转换器以 49.02% 的 mIoU 在 ADE20K 上创造了新的技术水平。

我们进一步表明，该架构可以在较小的数据集上进行微调，例如 NYUv2、KITTI 和 Pascal Context，它还设置了新的状态。