[CVPR2022] Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition

news/2024/5/5 1:23:29/文章来源:https://blog.csdn.net/weixin_45807767/article/details/128051599

Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition

要点:

1、半监督动作识别,使用伪标记分配未标记数据,然后在训练中用作附加的监督
2、最近研究:伪标签通过在标记数据上训练模型获取,然后使用来自该模型的置信度预测值来自学
3、新的伪标记方案 —— CMPL,跨模型伪标记
(a)在主干网络的基础上,引入轻量级的辅助网络,相互预测伪标签
(b)由于结构偏差,两个模型倾向于从相同的视频剪辑中学习互补表示
(c)通过利用跨模型预测作为监督,每个模型都可以从对应模型中获益

相关工作:

图像分类的半监督学习:

先前工作:利用一致性正则化,要求模型对包括数据增强、对抗性扰动在内的扰动具有鲁棒性
最近工作:集中于伪标记框架,根据模型预测为伪标记图像分配标签(a)利用模型参数的指数移动平均产生伪标签(b)利用模型参数的历史预测产生伪标签(c)FixMatch:通过要求来自强增强数据的预测反映来自弱增强数据的预测,结合了一致性和正则化伪标记
但是,这些方法都没有明确考虑人类行为的时间动态特征
本文方法:通过一个独立的互补网络来更有效地表示特征

动作识别的半监督学习:

1、极端学习机
2、图像重建的编码-解码结构
3、二维图像分类器
4、时间对比学习框架
5、不同视图,联合训练,集成伪标签,模型再训练(两个网络迭代预测,合并伪标签的共同监督两个模型)
本文:具有不同体系的两个模型在交叉学习中分别为对对方提供伪标签,从互补特征中获益

图表:

小网络和大网络的分类性能差距:
1、小网络:强时间动态的动作,stronger temporal dynamics, i.e., “Swinging Legs”
2、大网络:空间信息,actions mainly characterized by spatial information
在这里插入图片描述
正确伪标签的比率:
在这里插入图片描述
CMPL 框架图示:

1、Primary backbone F(.),主干网络
2、Auxiliary network A(.),辅助网络
3、两个网络以不同的帧率接收视频输入
4、给定一个未标记的视频,两个模型对弱增强数据进行独立地预测
5、根据预测结果为对方产生用于强增强版本监督的伪标签
6、SG:stop-gardient

在这里插入图片描述

代码:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_226102.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

单源广度优先搜索 (leetcode经典例题 C++实现)

文章目录01矩阵地图分析腐烂的橘子深度优先搜索与广度优先搜索前情回顾: 深度搜索dfs与广度搜索bfs算法总结(c 例题) 本节是广度优先搜索的进阶: 01矩阵 传送门: https://leetcode.cn/problems/01-matrix/?envType…

如何Cisco的学员 摆脱游客登录

Cisco Packet Tracer 是一款强大的网络模拟工具,可用于在虚拟实验环境中练习网络、物联网和网络安全技能。您不需要任何硬件,即可获得实操经验! 相信很多小伙伴在使用cisco packet tracer这个思科数据包跟踪器 - 网络仿真工具时在登录的时候…

XML的创建和读取

rapidxml是一个快速的xml库,由C模板实现的高效率xml解析库,同时也是boost库的property_tree的内置解析库。 当使用rapidxml时,只需要把rapidxml.hpp 、 rapidxml_print.hpp 和 rapidxml_utils.hpp 三个文件拷贝到你的工程目录下,就…

Redis持久化策略AOF、RDB详解及源码分析

写在前面 以下内容是基于Redis 6.2.6 版本整理总结 一、Redis为什么要持久化 Redis 是一个内存数据库,就是将数据库中的内容保存在内存中,这与传统的MySQL,Oracle等关系型数据库直接将内容保存到硬盘中相比,内存数据库的读写效…

Gof23-创建型-工厂-单例-抽象工厂-建造-原型以及UML的绘制

创建型的设计模式工厂模式单例模式抽象工厂建造者模式原型模式UML图形的绘制工厂模式 工厂模式 Factory Pattern 适用的场景:统一的接口作为统一的零件,实现类作为零件的组合,将实例产品类的生产交给工厂,用户只需要面对工程提取…

Java_接口

目录 1.接口的语法规则 2.接口使用 3.接口特性 4.实现多个接口 1)下面通过类来表示一组动物; 2)另外再提供一组接口, 分别表示 "会跑的", "会飞的", "会游泳的"; 3)接下来我们创建…

十九种卷积

参考文章:一文看尽深度学习中的20种卷积(附源码整理和论文解读) - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/381839221 一、原始卷积(Vanilla Convolution) CNNs中的卷积,也称为滤波器,是由一组具有固定窗口大小且带可学习参数(learnable paramerters)的卷积核所组…

Unity 如何实现框选游戏战斗单位

文章目录🍔 Preface✨ 如何在屏幕坐标系内绘制框选框🎉 根据框选范围定位其在世界坐标系中对应的区域🥇 在该区域内进行物理检测🍔 Preface 本文简单介绍如何实现即时战略游戏中框选战斗单位的功能,如图所示&#xff…

【外卖项目实战开发二】

文章目录1、完善登录功能问题分析代码实现2、新增员工需求分析数据模型代码开发3、员工信息分页查询需求分析代码开发4、启用/禁用员工账号需求分析代码开发代码修复5、编辑员工信息需求分析代码开发1、完善登录功能 问题分析 前面我们已经完成了后台系统的员工登录功能开发&…

基于JavaWeb的婚恋交友网站设计与实现

项目描述 临近学期结束,还是毕业设计,你还在做java程序网络编程,期末作业,老师的作业要求觉得大了吗?不知道毕业设计该怎么办?网页功能的数量是否太多?没有合适的类型或系统?等等。这里根据疫情当下,你想解决的问…

大数据:HDFS的Shell常用命令操作

文章目录一 HDFS的Shell介绍二 HDFS常用命令操作01 创建目录(1)创建单层目录(3)创建多层目录02 查看目录03 上传本地文件到HDFS04 查看文件内容05 下载HDFS文件到本地06 删除HDFS文件07 删除HDFS目录08 移动目录或文件09 文件合并…

第九章 堆排序与TOPK问题

第九章:堆排序与TOPK问题一、堆排序:1、思路分析:(1)建堆(2)排序2、堆排序模板二、TOPK问题:1、什么是TOPK问题?2、解决方法一、堆排序: 假设我们实现一个小…

26k Star, 理解Git太轻松了。。。

程序员宝藏库:gitee.com/sharetech_lee/CS-Books-Store Git是目前使用比较广泛一款版本控制工具,从事开发工作,很难绕开Git。 因此,关于如何快速学习Git使用一直都是一个经久不衰的话题。 前不久我在另外一篇文章中曾提到Git对初…

树莓派上搭建SVN服务器

目录 一、服务端安装步骤 1.安装svn 2.创建目录 3.创建版本仓库 4.修改配置(authz,passwd,svnserve.conf) 5.启动服务 二、tortoisSVN客户端安装 三、结束 一、服务端安装步骤 1.安装svn sudo apt-get install subversion 2.创建目录 sudo m…

用Python蹭别人家图片接口,做一个【免费图床】吧

打开本文,相信你确实需要一个免费且稳定的图床,这篇博客就让你实现。 文章目录⛳️ 谁家的图床⛳️ 实战编码⛳️ 第一轮编码⛳️ 第二轮编码⛳️ 第三轮编码⛳️ 第四轮编码⛳️ 谁家的图床 这次咱们用新浪微博来实现【免费图床应用】,通过…

基于keras 卷积神经外网络搭建的手写数字识别 完整代码+数据可直接运行

项目介绍: 适合新手入门学习代码数据很简洁 上结果: 主要的卷积神经网络: 卷积是指在滑动中提取特征的过程,可以形象地理解为用放大镜把每步都放大并且拍下来,再把拍下来的图片拼接成一个新的大图片的过程。 2D卷积是一个相当简单的操作: 我们先从一个小小的权重矩阵…

十个值得珍藏的正则表达式

正则表达式常学常忘,记规则不如记例子,记多不如记精,记例子就记最经典的。下面是本人珍藏的十个有用的正则表达式,不吝分享,以飨读者。 正则表达式要点 小括号:代表分组 中括号:代表集合 大括号…

外卖项目08---Linux

目录 一、 Linux简介 119 二、Linux安装 120 三、常用命令 122 3.1Linux命令初体验 3.1.1 command [-options] [parameter] 3.2Linux常用命令---文件目录操作命令-ls&-cd&-cat 124 3.2.1list 3.2.2 cd 3.2.3 cat 3.3 Linux常用命令---文件目录操作命令…

机器学习模型与backtrader框架整合

原创文章第116篇,专注“个人成长与财富自由、世界运作的逻辑, AI量化投资”。 北京疫情似乎还没有到拐点,但这三天结束后应该会到来。 今天重点说说,机器学习模型整合到我们的回测框架中,并与backtrader连接起来回测…

傻白入门芯片设计,先进封装技术(五)

集成电路芯片与封装之间是不可分割的整体。没有一个芯片可以不用封装就能正常工作,封装对芯片来说是必不可少的,随着IC生产技术的进步,封装技术也不断更新换代,每一代IC都与新一代的IC封装技术紧密相连。 目录 一、什么是封装&am…