伪装目标检测模型论文阅读之:Zoom in and out

news/2024/2/25 18:57:10/文章来源:https://blog.csdn.net/absence521/article/details/135613525

论文链接:https://arxiv.org/abs/2203.02688
代码;https://github.com/lartpang/zoomnet

1.摘要

最近提出的遮挡对象检测(COD)试图分割视觉上与其周围环境融合的对象,这在现实场景中是非常复杂和困难的。除了与它们的背景具有高度的内在相似性之外,这些对象通常在尺度上是多样的,外观上是模糊的,甚至严重遮挡。为了解决这些问题,我们提出了一种混合尺度三元网络,ZoomNet,模仿人类观察模糊图像时的行为,即放大和缩小。具体来说,我们的ZoomNet采用缩放策略,通过设计的尺度集成单元和分层混合尺度单元来学习区分性混合尺度语义,充分挖掘候选对象和背景环境之间的不可感知线索。此外,考虑到不可区分的纹理所带来的不确定性和模糊性,我们构造了一个简单而有效的正则化约束,即不确定性感知损失,以促进模型在候选区域中准确地产生具有更高置信度的预测。我们提出的高度任务友好的模型在四个公共数据集上始终超过现有的23种最先进的方法。此外,在SOD任务上优于最近的尖端模型的上级性能也验证了我们模型的有效性和通用性。

2.主要贡献

1.在COD任务中,我们提出了一种混合尺度的三元组网络ZoomNet,它通过描述和统一不同“缩放”尺度下的特定尺度的外观特征以及有针对性的优化策略,可以有效地捕获复杂场景中的对象。
2.为了获得被捕获对象的区分性特征表示,我们设计了SIU和HMU进行提取,聚合和加强特定于尺度和微妙的语义表示,以获得准确的COD。
3.我们提出了一种简单而有效的优化增强策略,UAL,该模型在不增加额外参数量的情况下,可以有效地抑制背景的不确定性和干扰
在4个COD数据集上对7种度量标准下的方法进行了比较,并在SOD任务中表现出了很好的泛化能力,与现有的SOD方法相比具有上级性能。

3.模型结构图

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.模型组成

HMU迭代式构造,iteration struction in the HMU

共享三元组特征编码器用于提取对应不同输入“缩放”尺度的多级特征,由分别用于特征提取和压缩的E-Net和C-Net组成,在尺度合并层采用SIU对不同尺度的关键线索进行筛选和融合,然后通过自顶向下的方式逐步融合特征。
求助于图像金字塔,具体来说基于单尺度输入定制了一个图像金字塔来识别被遮挡的物体,将尺度分为单尺度和两个辅助尺度,

4.1 三重特征编码器

由特征提取和通道压缩网络组成,E-net和C-net,E-net由常用的Resnet50组成,删除了layer4之后的结构,C-net进行级联,进一步优化计算,找到更紧凑的特征。

4.2 缩放合并图层

对于f_i1.5,使用“max-pooling+average-pooling”的混合结构下采样,有助于在高分辨率特征中保留对被封装对象的有效和多样的响应,对于f_i0.5,直接通过双线性插值进行上采样,然后这些特征被馈送到注意力生成器中,通过一系列卷积层计算三通道特征图,在softmax激活层之后,可以获得每个尺度对应的注意力图A^k (k∈{0.5,1.0,1.5}),并将其用作最终积分的各个权重。
Attention generator :
在这里插入图片描述
将不同大小的图片信息concat,然后经过attention generator,是一系列的conv,用sequential函数,是一系列的,所以是串联的关系。对attn结果进行softmax操作并按通道数切成三部分,最后根据各个尺度的权重将三个尺度的特征加权求和得到lms。
这些涉及旨在选择性地聚合特定于尺度的信息,以探索不同尺度的微妙但是关键的语义线索,从而提高特征表示。

4.3 分层混合尺度解码器

4.3.1 分组迭代

在这里插入图片描述
〖g’〗_j1用于与下一组进行信息交换,〖g’〗_j2与〖g’〗_j3 用于信道调制,这种迭代混合策略努力从不同通道学习关键线索并获得强大的特征表示。从这个角度来看,HMU中的迭代结构可以等效于核金字塔结构。

4.3.2 通道式调制

〖〖〖{g〗'〗_j2}〗(j=1)^G,
被级联并通过一个小卷积网络转化为特征调制向量α,该特征调制向量α对另一个级联特征〖〖〖{g〗'〗_j3}〗
(j=1)^G进行加权,然后加权特征由卷积层处理:
在这里插入图片描述

4.4. Loss functions

损失函数:

在这里插入图片描述

引入置信感知损失
调整后发现λ发现余弦策略可以获得更好的性能

收拾回家行李,很着急,挤出时间日更,公式格式问题,以及复现细节后面会来填坑!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_925335.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C语言中关于指针的理解及用法

关于指针意思的参考:https://baike.baidu.com/item/%e6%8c%87%e9%92%88/2878304 指针 指针变量 地址 野指针 野指针就是指针指向的位置是不可知的(随机的,不正确的,没有明确限制的) 以下是导致野指针的原因 1.指针…

力扣每日一练(24-1-13)

如果用列表生成式,可以满足输出的型式,但是不满足题意: nums[:] [i for i in nums if i ! val]return len(nums) 题意要求是: 你需要原地修改数组,并且只使用O(1)的额外空间。这意味着我们不能创建新的列表&#xff…

【java八股文】之Spring系列篇

【java八股文】之JVM基础篇-CSDN博客 【java八股文】之MYSQL基础篇-CSDN博客 【java八股文】之Redis基础篇-CSDN博客 【java八股文】之Spring系列篇-CSDN博客 【java八股文】之分布式系列篇-CSDN博客 【java八股文】之多线程篇-CSDN博客 【java八股文】之JVM基础篇-CSDN博…

ES6(ECMAScript 6.0)

ES6 学习链接ES6什么是ES6?ECMAScript 和 JavaScript 的关系 ECMAScript各版本新增特性ES6 块级作用域 let 学习链接 ES6简介 ECMAScript简介及特性(科普!很详细!!!!) 20分钟上手ES…

OpenHarmony基于HDF简单驱动开发实例

OpenHarmony基于HDF简单驱动开发实例 背景 OpenHarmony-3.0-LTS qemu_small_system_demo liteos_a qemu 添加配置 device/qemu/arm_virt/liteos_a/hdf_config/device_info/device_info.hcs device_info 新增: sample_host :: host {hostName "sample…

Docker 配置国内镜像源加速

1. 国内镜像源总览 名称路径中国官方镜像https://registry.docker-cn.com网易163镜像http://hub-mirror.c.163.com中科大镜像https://docker.mirrors.ustc.edu.cn阿里云镜像https://[xxx].mirror.aliyuncs.com 2. 阿里云镜像源 地址:https://cr.console.aliyun.c…

基于Java SSM框架实现医院管理系统项目【项目源码】计算机毕业设计

基于java的SSM框架实现医院管理系统演示 SSM框架 当今流行的“SSM组合框架”是Spring SpringMVC MyBatis的缩写,受到很多的追捧,“组合SSM框架”是强强联手、各司其职、协调互补的团队精神。web项目的框架,通常更简单的数据源。Spring属于…

尼科彻斯定理----C语言

大家好我是Beilef许久未见了,小弟学校考试刚结束。这个过程懂的都懂。痛------ 文章目录 目录 文章目录 前言(一不好懂可以直接跳到二) 一、尼科彻斯定理是什么? 二、尼科彻斯定理解析 这是ai的回答 尼科彻斯定理(Nikomačs theor…

计算机网络 —— 数据链路层

数据链路层 3.1 数据链路层概述 数据链路层把网络层交下来的数据构成帧发送到链路上,以及把收到的帧数据取出并上交给网络层。链路层属于计算机网络的底层。数据链路层使用的信道主要由以下两种类型: 点对点通信。广播通信。 数据链路和帧 链路&…

京东年度数据报告-2023全年度笔记本十大热门品牌销量(销额)榜单

2023年度,在电脑办公市场整体销售下滑的环境下,笔记本市场的整体销售也不景气。 根据鲸参谋平台的数据显示,京东平台上笔记本的年度销量为650万,同比下滑约16%;销售额约为330亿,同比下滑约19%。同时&#…

基于ssm的实验室排课系统论文

摘 要 互联网发展至今,无论是其理论还是技术都已经成熟,而且它广泛参与在社会中的方方面面。它让信息都可以通过网络传播,搭配信息管理工具可以很好地为人们提供服务。针对信息管理混乱,出错率高,信息安全性差&#x…

【k8s】Kubernetes 声明式 API、命令式

1. 资源管理方式: 1>. 命令式对象管理∶直接使用命令去操作kubernetes资源 kubectl run nginx-pod --imagenginx:1.17.1 --port802>. 命令式对象配置∶通过命令配置和配置文件去操作kubernetes资源 kubectl create/patch -f nginx-pod.yaml3>. 声明式对…

CSS 选择器全攻略:从入门到精通(上)

🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云…

环境变量详细说明

Windows之系统环境变量 配置操作: 计算机→属性→高级系统设置→高级→环境变量 系统变量→新建:JAVA_HOME 变量值:C:\Program Files\Java\jdk1.8.0_121 系统变量→Path→编辑:在变量值最后输入 :%JAVA_HOME%\bin;%J…

Linux基础工具的使用(yum,vim,gcc,g++,gdb,make/makefile)【详解】

目录 linux软件包管理器-yum什么是软件包?查找软件包如何安装软件卸载软件 linux编辑器 - vimvim的基本概念vim模式之间的切换vim命令模式各命令汇总vim底行模式各命令汇总 Linux编译器 - gcc/ggcc/g的作用gcc/g选项预处理编译汇编链接静态库与动态库 Linux调试器 -…

【liunx】线程池+单例模式+STL,智能指针和线程安全+其他常见的各种锁+读者写者问题

线程池单例模式STL,智能指针和线程安全其他常见的各种锁读者写者问题 1.线程池2.线程安全的单例模式3.STL,智能指针和线程安全4.其他常见的各种锁4.读者写者问题 喜欢的点赞,收藏,关注一下把! 1.线程池 目前我们学了挂起等待锁、条件变量、信…

优雅设计之美:实现Vue应用程序的时尚布局

前言 页面布局是减少代码重复和创建可维护且具有专业外观的应用程序的基本模式。如果使用的是Nuxt,则可以提供开箱即用的优雅解决方案。然而,令人遗憾的是,在Vue中,这些问题并未得到官方文档的解决。 经过多次尝试,小…

设计模式-委托模式

设计模式专栏 模式介绍模式特点应用场景委托模式在GUI编程场景的应用代码示例Java实现委托模式Python实现委托模式 委托模式在spring中的应用 模式介绍 委托模式是一种软件设计模式,其中一个对象(委托对象)将某些操作委托给另一个对象&#…

ppt怎么录屏录音并且导出?好用录屏软件推荐

ppt已经成为了日常工作与学习中必不可少的工具,而ppt屏幕录制功能,可以方便用户将他人的演讲或视频中的内容记录下来,以便进一步学习与研究。录制ppt演示并将其导出为视频文件,可以帮助我们进行分享,但是很多人不知道p…

基于Python的汽车信息爬取与可视化分析系统

介绍 这款汽车信息网站是基于多项技术和框架设计的全面的汽车信息展示及查询系统。其中,采用了Python Django框架和Scrapy爬虫技术实现数据的抓取和处理,结合MySQL数据库进行数据存储和管理,利用Vue3、Element-Plus、ECharts以及Pinia等前端…