机器学习(25)文献阅读

news/2024/5/30 17:45:21/文章来源:https://blog.csdn.net/qq_45800507/article/details/136602666

这里写目录标题

  • 摘要
  • Abstract:
  • 一、论文
    • 论文思想
    • 网络架构
    • 基本块结构
    • 特征融合模块
    • Loss Function
    • 结论
  • 二 、GAN
    • 2.1 如何客观评价GAN的生成能力?
    • 2.2 Inception Score
    • 2.3 Mode Score
    • 2.4 Kernel MMD (Maximum Mean Discrepancy)
    • 2.5 Wasserstein distance
    • 2.6 1-Nearest Neighbor classifier

摘要

本周阅读了一篇关于多块和特征融合的图像去雾网络的论文。基于深度学习的去雾方法在图像去雾领域取得了显着进展,但大多数方法仍然存在去雾不完全和颜色失真的问题。为了解决这个问题,提出了一种基于多块和特征融合的图像去雾网络。该网络由预处理、特征提取、特征融合和后处理模块组成。预处理模块可以自适应地从补丁中提取图像特征信息。特征提取模块使用级联密集残差块来提取深层特征信息。特征融合模块对特征图进行通道加权和像素加权,实现主要特征的融合。后处理模块对融合后的特征图进行非线性映射,得到去雾图像。

Abstract:

This week I read a paper on image dehazing network with multi-block and feature fusion. Dehazing methods based on deep learning have made significant progress in the field of image dehazing, but most methods still have the problems of incomplete dehazing and color distortion. In order to solve this problem, an image dehazing network based on multi-block and feature fusion is proposed. The network consists of preprocessing, feature extraction, feature fusion and post-processing modules. The preprocessing module can adaptively extract image feature information from the patch. The feature extraction module uses cascaded dense residual blocks to extract deep feature information. The feature fusion module performs channel weighting and pixel weighting on the feature map to achieve the fusion of the main features. The post-processing module performs nonlinear mapping on the fused feature map to obtain the defogged image.

一、论文

论文思想

这篇论文提出了本一种基于多块和特征融合机制的端到端去雾网络,考虑了多尺度特征的融合。首先,将输入的模糊图像分为几个不同大小的patch,并使用级联的密集残差块作为特征提取网络,使得小patch专注于提取局部特征,大patch专注于提取全局特征。特征融合模块对特征进行通道加权和像素加权,实现主要特征的融合。最后,对融合后的特征进行非线性映射以获得无雾图像。

网络架构

去雾网络的总体框架如下图所示。所提出的网络是多层架构,每个级别适合不同的数量补丁。如图所示,从上到下使用的patch数量为1、2、4。顶层仅使用1个patch,即整个有雾图像。在下一层中,图像在垂直方向上被分成2个patch,在底层,上一层的patch在水平方向上进一步被划分成4个patch。
在这里插入图片描述
假设输入有雾图像为 I H I^H IH,第 i 层的第 j 个 patch 表示为 I i H I_i^H IiH 。在第二层中, I H I^H IH垂直分为 I 2 , 1 H I_{2,1}^H I2,1H I 2 , 2 H I_{2,2}^H I2,2H。第三级中, I 2 , 1 H I_{2,1}^H I2,1H I 2 , 2 H I_{2,2}^H I2,2H 又分为 I 3 , 1 H I_{3,1}^H I3,1H I 3 , 2 H I_{3,2}^H I3,2H I 3 , 3 H I_{3,3}^H I3,3H I 3 , 4 H I_{3,4}^H I3,4H。预处理模块和多个密集残差块表示为 P r e i Pre_i Prei G i G_i Gi
在这里插入图片描述
将不同层次生成的特征图进行堆叠,送入特征融合模块,然后通过后处理模块重建清晰的图像 I ^ \hat{I} I^

基本块结构

网络输入通过预处理模块只能得到浅层特征信息。这篇论文采用级联密集残差块来设计特征提取网络。残差连接不仅充分利用了不同尺度提取的特征,而且可以防止训练过程中出现梯度消失、梯度爆炸等问题。密集残差块如图所示。密集残差块由 5 个卷积层组成。
在这里插入图片描述

特征融合模块

大多数图像去雾网络对通道方向和像素方向的特征一视同仁,无法正确处理非均匀图像。特征融合模块如图所示,包括通道注意力和像素注意力两部分,可以为每个通道方向和像素方向特征生成不同的权重。
在这里插入图片描述

Loss Function

损失函数 L 1 L_1 L1可以定义为:
在这里插入图片描述
其中 N N N表示输入到网络的有雾图像的数量, I ^ \hat{I} I^ 是网络输出的无雾图像, I g t I_{gt} Igt 表示输入有雾图像对应的清晰图像。
感知损失函数可以定义为:
在这里插入图片描述
式中, Φ ( I ^ ) , Φ ( I g t ) \Phi(\hat{I}),\Phi(I_{gt}) Φ(I^),Φ(Igt)表示重建图像和真实世界图像通过VGG16网络生成的三个特征图。所提出网络的总损失函数定义为:
在这里插入图片描述
其中λ是调整两个损失函数权重的参数。本篇论文取λ=0.04

结论

在这里插入图片描述
由500张室外和500张室内有雾图像组成的合成目标测试集(SOTS)实验。测试集(SOTS)上每种算法的PSNR和SSIM如表所示。从表可以看出,所提出的网络获得的PSNR和SSIM优于大多数算法。各算法的参数量以及SOTS数据集上的PSNR如图所示。所提出的网络参数量仅为FFA-Net的三分之一,但SOTS测试集上的PSNR几乎等于FFA-Net。

二 、GAN

2.1 如何客观评价GAN的生成能力?

​ 最常见评价GAN的方法就是主观评价。主观评价需要花费大量人力物力,且存在以下问题:
评价带有主管色彩,有些bad case没看到很容易造成误判
如果一个GAN过拟合了,那么生成的样本会非常真实,人类主观评价得分会非常高,可是这并不是一个好的GAN。
因此,就有许多学者提出了GAN的客观评价方法。

2.2 Inception Score

​ 对于一个在ImageNet训练良好的GAN,其生成的样本丢给Inception网络进行测试的时候,得到的判别概率应该具有如下特性:

  • 对于同一个类别的图片,其输出的概率分布应该趋向于一个脉冲分布。可以保证生成样本的准确性。
  • 对于所有类别,其输出的概率分布应该趋向于一个均匀分布,这样才不会出现mode dropping等,可以保证生成样本的多样性。

​ 因此,可以设计如下指标:
在这里插入图片描述
根据前面分析,如果是一个训练良好的GAN, p M ( y ∣ x ) p_M(y|x) pM(yx)趋近于脉冲分布, p M ( y ) p_M(y) pM(y)趋近于均匀分布。二者KL散度会很大。Inception Score自然就高。实际实验表明,Inception Score和人的主观判别趋向一致。IS的计算没有用到真实数据,具体值取决于模型M的选择。、
特点:可以一定程度上衡量生成样本的多样性和准确性,但是无法检测过拟合。Mode Score也是如此。不推荐在和ImageNet数据集差别比较大的数据上使用。

2.3 Mode Score

​ Mode Score作为Inception Score的改进版本,添加了关于生成样本和真实样本预测的概率分布相似性度量一项。具体公式如下:
在这里插入图片描述

2.4 Kernel MMD (Maximum Mean Discrepancy)

计算公式如下:
在这里插入图片描述
对于Kernel MMD值的计算,首先需要选择一个核函数 k k k,这个核函数把样本映射到再生希尔伯特空间(Reproducing Kernel Hilbert Space, RKHS) ,RKHS相比于欧几里得空间有许多优点,对于函数内积的计算是完备的。将上述公式展开即可得到下面的计算公式:
在这里插入图片描述
MMD值越小,两个分布越接近。
特点:可以一定程度上衡量模型生成图像的优劣性,计算代价小。推荐使用。

2.5 Wasserstein distance

FID距离计算真实样本,生成样本在特征空间之间的距离。首先利用Inception网络来提取特征,然后使用高斯模型对特征空间进行建模。根据高斯模型的均值和协方差来进行距离计算。具体公式如下:
在这里插入图片描述
特点:尽管只计算了特征空间的前两阶矩,但是鲁棒,且计算高效。

2.6 1-Nearest Neighbor classifier

​ 使用留一法,结合1-NN分类器(别的也行)计算真实图片,生成图像的精度。如果二者接近,则精度接近50%,否则接近0%。对于GAN的评价问题,作者分别用正样本的分类精度,生成样本的分类精度去衡量生成样本的真实性,多样性。

  • 对于真实样本 x r x_r xr,进行1-NN分类的时候,如果生成的样本越真实。则真实样本空间 R \mathbb R R将被生成的样本 x g x_g xg包围。那么 x r x_r xr的精度会很低。
  • 对于生成的样本 x g ​ x_g​ xg,进行1-NN分类的时候,如果生成的样本多样性不足。由于生成的样本聚在几个mode,则 x g ​ x_g​ xg很容易就和 x r ​ x_r​ xr区分,导致精度会很高。
    特点:理想的度量指标,且可以检测过拟合。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_1006813.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++程序设计-第四/五章 函数和类和对象【期末复习|考研复习】

前言 总结整理不易,希望大家点赞收藏。 给大家整理了一下C程序设计中的重点概念,以供大家期末复习和考研复习的时候使用。 C程序设计系列文章传送门: 第一章 面向对象基础 第四/五章 函数和类和对象 第六/七/八章 运算符重载/包含与继承/虚函…

算法-双指针、BFS与图论-1101. 献给阿尔吉侬的花束

题目 思路 BFS可以搜环,有环也没有关系,如果有解:一定可以找到一条最小步数的合法的路径Python中 collections模块的详细用法介绍_python collections-CSDN博客引用自上述文章: append(x):添加 x 到右端。appendleft(…

【机器学习】科学库使用第1篇:机器学习(常用科学计算库的使用)基础定位、目标【附代码文档】

机器学习(科学计算库)完整教程(附代码资料)主要内容讲述:机器学习(常用科学计算库的使用)基础定位、目标,机器学习概述,1.1 人工智能概述,1.2 人工智能发展历…

豆瓣书影音存入Notion

使用Python将图书和影视数据存放入Notion中。 🖼️介绍 环境 Python 3.10 (建议 3.11 及以上)Pycharm / Vs Code / Vs Code Studio 项目结构 │ .env │ main.py - 主函数、执行程序 │ new_book.txt - 上一次更新书籍 │ new_video.…

贝叶斯优化CNN-BiLSTM回归预测(matlab代码)

贝叶斯优化CNN-BiLSTM回归预测matlab代码 贝叶斯优化方法则采用贝叶斯思想,通过不断探索各种参数组合的结果,根据已有信息计算期望值,并选择期望值最大的组合作为最佳策略,从而在尽可能少的实验次数下达到最优解。 数据为Excel股…

双系统合集——Ubuntu+Windows 10安装融合!

平时我们常见的电脑系统都是单一 一个Windows,当然,对于日常办公或娱乐足够了,但是对于发烧友来说,这种呆板了。万一某天系统崩溃了,只能泪两行。这时双系统就体现出他的优点了,一个系统崩溃了,还可以进入另一个系统使用,而且两个系统都是完全独立的,互不影响,开机时…

LeetCode.2864. 最大二进制奇数

题目 2864. 最大二进制奇数 分析 这道题目其实我们只需要保证最后一位是1,其余的1都放在最前面,这样得到的就是最大二进制奇数。 所以,我们先统计给定的字符串有多少个 1,多少个 0,把其中一个 1 放在最后一位&…

excel批量数据导入时用poi将数据转化成指定实体工具类

1.实现目标 excel进行批量数据导入时,将批量数据转化成指定的实体集合用于数据操作,实现思路:使用注解将属性与表格中的标题进行同名绑定来赋值。 2.代码实现 2.1 目录截图如下 2.2 代码实现 package poi.constants;/*** description: 用…

【智能算法】蜻蜓算法(DA)原理及实现

目录 1.背景2.算法原理2.1算法思想2.2算法过程 3.代码实现4.参考文献 1.背景 2016年,Mirjalili受到蜻蜓静态和动态集群行为启发,提出了蜻蜓算法(Dragonfly algorithm, DA)。 2.算法原理 2.1算法思想 蜻蜓集群有两种行为目的:狩猎&#xf…

Java容器

容器 一、容器的概念二、Collection接口Collection接口的常用方法List和Set接口List接口List接口的实现类List接口特有的方法小结 Iterator接口Iterator接口的方法增强For循环(For-each)ListIterator Set接口Set接口中的实现类HashSetComparable接口sort…

OPPO后端二面,凉了!

这篇文章的问题来源于一个读者之前分享的 OPPO 后端凉经,我对比较典型的一些问题进行了分类并给出了详细的参考答案。希望能对正在参加面试的朋友们能够有点帮助! Java String 为什么是不可变的? public final class String implements java.io.Seri…

从GPT入门,到R语言基础与作图、回归模型分析、混合效应模型、多元统计分析及结构方程模型、Meta分析、随机森林模型及贝叶斯回归分析综合应用等专题及实战案例

目录 专题一 GPT及大语言模型简介及使用入门 专题二 GPT与R语言基础与作图(ggplot2) 专题三 GPT与R语言回归模型(lm&glm) 专题四 GPT与混合效应模型(lmm&glmm) 专题五 GPT与多元统计分析&…

Linux--vim

一.什么是vim Vim(Vi IMproved)是一种文本编辑器,通常在Linux和其他类Unix操作系统中使用。它是Vi编辑器的增强版本,提供了更多的功能和定制选项。Vim具有强大的文本编辑和编程功能,支持语法高亮、代码折叠、宏录制、…

Nodejs 第五十五章(socket.io)

传统的 HTTP 是一种单向请求-响应协议,客户端发送请求后,服务器才会响应并返回相应的数据。在传统的 HTTP 中,客户端需要主动发送请求才能获取服务器上的资源,而且每次请求都需要重新建立连接,这种方式在实时通信和持续…

yolov8模型结构

yolov8模型结构 yolo发展历史yolov8简介yolov8模型结构 yolo发展历史 YOLOv1:2015年Joseph Redmon和 Ali Farhadi等 人(华盛顿大学) YOLOv2:2016年Joseph Redmon和Ali Farhadi等人(华盛顿大学) YOLOv3&…

鸿蒙Harmony应用开发—ArkTS声明式开发(基础手势:TextClock)

TextClock组件通过文本将当前系统时间显示在设备上。支持不同时区的时间显示,最高精度到秒级。 说明: 该组件从API Version 8开始支持。后续版本如有新增内容,则采用上角标单独标记该内容的起始版本。 子组件 无 接口 TextClock(options?…

使用API有效率地管理Dynadot域名,使用API设置域名隐私保护

关于Dynadot Dynadot是通过ICANN认证的域名注册商,自2002年成立以来,服务于全球108个国家和地区的客户,为数以万计的客户提供简洁,优惠,安全的域名注册以及管理服务。 Dynadot平台操作教程索引(包括域名邮…

java代码将mysql表数据导入HBase表

java代码将mysql表数据导入HBase表 目录 一、项目目录介绍 二、主要接口方法与调用 三、全局配置文件 四、执行方式和输出介绍 五、项目依赖 一、项目目录介绍 主要包含四个接口:Com、RDB、HBase、RDBToHBase和其实现类xxxImpl。 两个配置文件:log4j日志配置文件log4j.pro…

Android App冷启动耗时优化

Android应用启动过程 Android应用启动过程,主要包含app::onCreate及执行前的Application阶段及Activity::onCreate执行之后的Activity阶段,以及两个阶段之间的间隙handleMessage阶段和最终页面渲染上屏完成前数据加载阶段四个区间组成。 具体来看&#x…

在 Android 上恢复已删除文件的 5 种简单方法

您可能会因为意外删除、未完成的 Android 更新、手机意外关机等原因而丢失 Android 上的重要数据。新技术的发展使许多手机功能或程序能够从内部恢复丢失的数据。 在 Android 上恢复已删除文件的 5 种简单方法 然而恢复成功率的不确定性也成为人们克服数据丢失困境的重要考虑因…