论文地址：https://arxiv.org/vc/arxiv/papers/2305/2305.13563v1.pdf

该论文展示了通道或空间注意机制在各种计算机视觉任务中产生更明显的特征表示的显著效果。然而，通过通道维度缩减来建模跨通道关系可能会在提取深度视觉表示方面带来副作用。本文提出了一种新颖高效的多尺度注意(EMA)模块。该模块专注于保留每个通道上的信息并减少计算负荷，通过将部分通道重塑为批处理维度，并将通道维度分组为多个子特征，使空间语义特征在每个特征组内分布均匀。具体而言，除了对全局信息进行编码以重新校准每个并行分支中的通道权重外，两个并行分支的输出特征还通过跨维度交互进一步聚合，以捕捉像素级的成对关系。我们进行了大量的消融研究和实验，使用流行的基准数据集（如CIFAR-100、ImageNet-1k、MS COCO和VisDrone2019）对其性能进行评估，包括图像分类和目标检测任务。

---