当前位置：网站首页>论文精读 —— 2021 CVPR《Progressive Temporal Feature Alignment Network for Video Inpainting》

论文精读 —— 2021 CVPR《Progressive Temporal Feature Alignment Network for Video Inpainting》

2022-08-10 05:25:00 【clarkjs】

总述

这篇论文首先总结了三种现有的常用的Video Inpainting技术：（1）基于Attention；（2）基于光流扭曲；（3）基于3D卷积；还总结了三种方法分别存在的问题，如果仅仅利用光流技术进行补全，当物体运动过快或者存在遮挡等情况，光流补全并不可靠，这样会导致光流扭曲产生伪影；而仅仅利用3D卷积会导致空间错位（由物体运动等因素引起）。因此，作者提出了“ Progressive Temporal Feature Alignment Network” 渐进式时间特征对齐网络。并在FVI和DAVIS数据集上进行了实验，并使用PSNR、SSIM、VFID指标进行效果的评测。
注：3D卷积因此空间错位的原因如下现有的基于3D卷积神经网络进行Video Inpainting的方法不足：虽然获取当前帧的缺失像素一定需要参考相邻帧（不一定是附近的，有的paper会提出遥远帧），但是一般方法仅仅通过获取相邻帧特征的简单堆叠，而忽略了物体运动而导致的空间错位。
注：作者说：光流最大的不足是对错误敏感，即使用光流法进行补全产生的任何错误都会导致细节像素无法精准补全。

一、方法介绍

1. 方法概览

作者使用了渐进式时间特征对齐网络，主要是将3D卷积和光流补全相结合，以提升二者各自的优点并弥补其缺点，3D卷积可以提取相邻帧之间的特征像素进行补全，光流可以实现相邻帧之间的对齐，以弥补仅仅使用3D卷积造成的空间错位。网

原网站

版权声明
本文为[clarkjs]所创，转载请带上原文链接，感谢
https://blog.csdn.net/m0_51339444/article/details/126218900

边栏推荐

猜你喜欢

随机推荐