Abstract

1. Introduction

2. MEthod

2.1 Model architecture

2.2 Focal self-attention

2.2.1 Window-wise attention

2.2.2 Complexity analysis

2.3 Model conﬁguration

3. Related work

4. Experiments

4.1 Image classiﬁcation on ImageNet-1K

4.2 Object detection and instance segmentation

Abstract

最近，Vision Transformer 及其变体在各种计算机视觉任务中表现出了巨大的潜力。通过自注意力捕捉短程和长程视觉依赖的能力是成功的关键。但由于二次方计算开销，它也带来了挑战，特别是对于高分辨率视觉任务（例如，对象检测）。最近的许多工作都试图通过应用粗粒度的全局注意力或细粒度的局部注意力来降低计算和内存成本并提高性能。然而，这两种方法都削弱了多层 Transformer 原始自注意力机制的建模能力，从而导致次优解决方案。在本文中，我们提出了 focal self-attention，这是一种结合了细粒度局部交互和粗粒度全局交互的新机制。在这种新机制中，每个标记以细粒度参与其最近的周围标记，以粗粒度参与远离它的标记，因此可以有效地捕获短程和长程视觉依赖性。借助焦点自注意力，我们提出了一种新的 Vision Transformer 模型变体，称为 Focal Transformer，它在一系列公共图像分类和对象检测基准上实现了优于最先进 (SoTA) 视觉 Transformer 的性能。特别是，我们的 Focal Transformer 模型具有 51.1M 的中等尺寸和 89.8M 的较大尺寸，分别在 224 × 224 的 ImageNet 分类上达到 83.5% 和 83.8% 的 Top-1 准确率。当用作主干时，Focal Transformers在 6 种不同的物体检测方法中，对当前的 SoTA Swin Transformers [44] 进行了一致且实质性的改进。我们最大的 Focal Transformer 在 COCO mini-val/test-dev 上产生 58.7/58.9 box mAPs 和 50.9/51.3 mask mAPs，在 ADE20K 上产生 55.4 mIoU 用于语义分割，在三个最具挑战性的计算机视觉任务上创建新的 SoTA。

1. Introduction

        如今，Transformer [60] 已成为自然语言处理 (NLP) [22, 6] 中流行的模型架构。鉴于其在 NLP 中的成功，人们越来越努力将其应用于计算机视觉 (CV) [48, 51]。自从它的承诺首次在 Vision Transformer (ViT) [23] 中展示以来，我们见证了用于图像分类 [57、63、67、44、80、59]、对象检测 [9、91、84] 的全 Transformer 模型的蓬勃发展, 20] 和语义分割 [61, 65]。除了这些静态图像任务，它还被应用于各种时间理解任务，例如动作识别 [41、83、11]、对象跟踪 [15、62]、场景流估计 [39]。

         在 Transformers 中，self-attention 是关键组成部分，使其与广泛使用的卷积神经网络 (CNN) [38] 不同。在每个 Transformer 层，它支持不同图像区域之间的全局内容相关交互，以对短程和长程依赖进行建模。通过完全自注意力 1 的可视化，我们确实观察到它学会了同时关注局部环境（如 CNN）和全局上下文（参见图 1 的左侧）。然而，当涉及到用于对象检测或分割等密集预测的高分辨率图像时，由于特征图中网格数量的二次计算成本，全局和细粒度的自注意力变得非常重要。最近的工作交替地利用粗粒度的全局自我注意 [63、67] 或细粒度的局部自我注意 [44、80、59] 来减少计算负担。然而，这两种方法都削弱了原始全局自注意力的能力，即同时模拟短程和长程视觉依赖性的能力，如图 1 左侧所示。

        在本文中，我们提出了一种新的自我注意机制来捕获 Transformer 层中的局部和全局交互以获取高分辨率输入。考虑到附近区域之间的视觉依赖性通常比远处区域更强，我们只在局部区域进行细粒度的自注意力，而在全局区域进行粗粒度的注意。如图 1 右侧所示，特征图中的 query token 以最精细的粒度关注其最近的环境。然而，当它到达更远的区域时，它会关注汇总的 token 以捕获粗粒度的视觉依赖性。区域离 query 越远，粒度越粗因此，它可以有效地覆盖整个高分辨率特征图，同时在自我注意计算中引入的tokrn数量比完全自我关注中少得多。注意力机制。因此，它能够有效的捕获短程和长程视觉依赖性。我们称这种新机制为焦点自注意力，因为每个token都以焦点方式关注其他token。基于所提出的 focal self-attention，开发了一系列 Focal Transformer 模型，方法是 1) 利用多尺度架构为高分辨率图像保持合理的计算成本 [63、67、44、80]，以及 2 ) 将特征图拆分为多个窗口，其中token共享相同的环境，而不是对每个token执行聚焦自注意力 [59、80、44]。

        我们通过对图像分类、对象检测和分割的综合实证研究验证了所提出的焦点自我注意的有效性。结果表明，我们具有相似模型大小和复杂性的 Focal Transformers 在各种设置中始终优于 SoTA Vision Transformer 模型。值得注意的是，我们具有 51.1M 参数的小型 Focal Transformer 模型可以在 ImageNet-1K 上实现 83.5% 的 top-1 精度，而具有 89.8M 参数的基础模型获得 83.8% 的 top-1 精度。当转移到物体检测时，我们的 Focal Transformers 对于六种不同的物体检测方法始终优于 SoTA Swin Transformers [44]。我们最大的 Focal Transformer 模型在 COCO test-dev 上分别实现了 58.9 box mAP 和 51.3 mask mAP 用于对象检测和实例分割，在 ADE20K 上实现了 55.4 mIoU 用于语义分割。这些结果表明，focal self-attention 在建模局部-全局交互方面非常有效。

2. MEthod

2.1 Model architecture

为了适应高分辨率视觉任务，我们的模型架构与 [63、80、44] 共享类似的多尺度设计，这使我们能够在早期阶段获得高分辨率特征图。如图 2 所示，图像 $I \in R^{H\times W \times 3}$ 首先被分成大小为 4×4 的块，得到 $\frac{H}{4}\times \frac{W}{4}\times (4\times 4\times 3)$ 。然后，我们使用一个 PatchEmbedding 层，其中由一个卷积层组成，核大小和步幅都等于 4，将这些补丁投影到维度为 d 的隐藏特征中.给定这个空间特征图，然后我们将它传递给四个阶段的焦点 Transformer 块。在每个阶段 $I \in \left \{ 1, 2, 3, 4 \right \}$ ，Focal Transformer 块由 $N_{i}$ 个 focal Transformer 层组成。在每个阶段之后，我们使用另一个 PatchEmbedding 层将特征图的空间大小减少 2 倍，同时特征维度增加 2。对于图像分类任务，我们取上一阶段输出的平均值并将其发送到一个分类层。对于物体检测，根据我们使用的特定检测方法，来自最后 3 个或所有 4 个阶段的特征图被馈送到检测器头。可以通过改变输入特征维度 d 和每个阶段的焦点 Transformer 层数来定制模型容量 $\left \{ N_{1}, N_{2}, N_{3},N_{4} \right \}$ 。

标准的自注意力可以捕获细粒度的短距离和长距离交互，但是当它在高分辨率特征图上执行注意力时，它会受到高计算成本的影响，如 [80] 中提到的。以图2中的stage 1为例。对于大小为 $\frac{W}{4}\times\frac{W}{4}\times d$ 的特征图，自注意力的复杂度为 $O\left ( \left ( \frac{H}{4}\times\frac{W}{4} \right ) ^{2}d\right )$ ，考虑到 min(H, W) 为 800 或什至更大，导致时间和内存成本爆炸式增长物体检测。接下来，我们将描述我们如何通过提出的焦点自注意力来解决这个问题。