当前位置：网站首页>NLP和CV中的Local和Global建模

NLP和CV中的Local和Global建模

2022-08-08 10:26:00 【51CTO】


CNN的感受野受卷积核大小的限制，导致了CNN实际上是一种Local的信息建模；而Self-Attention（SA）是将每个位置和所有位置计算attention weight，考虑了每个点之间的联系，因此SA是一种Global的建模。

起初，CNN大多用在CV领域中，而SA大多用在NLP领域中。但是随着SA和CNN各自优缺点的显现（如下表所示），越来越多的文章对这两个结构进行了混合的应用，使得模型不仅能够捕获全局的信息，还能建模局部信息来建模更加细粒度的信息。

NLP和CV中的Local和Global建模_神经网络

1）Conv的卷积核是静态的，是与输入的特征无关的；Self-Attention的权重是根据QKV动态计算得到的，所以Self-Attention的动态自适应加权的。

2）对卷积来说，它只关心每个位置周围的特征，因此卷积具有平移不变性。但是Self-Attention不具备这个性质。

3）Conv的感知范围受卷积核大小的限制，而大范围的感知能力有利于模型获得更多的上下文信息。Self-Attention是对特征进行全局感知。

CNN和SA在NLP中的联合应用：​ ​MUSE：Parallel Multi-Scale Attention for Sequence to Sequence Learning​​​ CV中CNN和SA的联合应用：​ ​CoAtNet: Marrying Convolution and Attention for All Data Sizes​​


原网站

版权声明
本文为[51CTO]所创，转载请带上原文链接，感谢
https://blog.51cto.com/shanglianlm/5554397

边栏推荐

猜你喜欢

随机推荐