GAP:Skeleton-based Action Recognition

news/2024/2/25 19:20:45/文章来源:https://blog.csdn.net/gaoqing_dream163/article/details/135553321

Generative Action Description Prompts for Skeleton-based Action Recognition解析

  • 摘要
  • 1.简介
  • 2. Related work
    • 2.1. Skeleton-based Action Recognition
    • 2.2 Human Part Prior
    • 2.3. Multi-modal Representation Learning
  • 3. 方法介绍
    • 3.1 生成动作提示框架
    • 3.2. Skeleton Encoder
    • 3.3. Text Encoder
    • 3.4. Action Description Learning
      • 骨架 - 语言对比学习:
      • Multi-part 对比学习:
    • 3.5 动作描述生成

论文链接:https://arxiv.org/abs/2208.05318
代码链接:https://github.com/MartinXM/GAP
论文出处:ICCV 2023
论文单位:香港理工大学

摘要

  • 基于骨骼的动作识别最近受到了相当大的关注。当前基于骨架的动作识别方法通常被表述为一个热门的分类任务,并且没有充分利用动作之间的语义关系。
  • 例如,“做胜利手势”和“竖起大拇指”是手势的两种动作,它们的主要区别在于手的动作。这些信息与动作类的分类编码无关,但可以从动作描述中揭示出来。
  • 因此,在训练中使用动作描述可能有利于表征学习。
  • 在这项工作中,我们提出了一种基于骨架的动作识别的生成动作描述提示(Generative Action-description Prompts,GAP)方法。
  • 具体而言,我们采用预训练的大规模语言模型作为知识引擎,自动生成动作肢体运动的文本描述,并提出了一种多模态训练方案,利用文本编码器生成不同肢体运动的特征向量,并监督骨架编码器进行动作表征学习。
  • 实验表明,我们提出的GAP方法在不增加推理计算成本的情况下,在各种基线模型上取得了显著的改进。
  • GAP在流行的基于骨架的动作识别基准上实现了最新的技术水平,包括NTU RGB+D, NTU RGB+D 120NW-UCLA

1.简介

  • 动作识别因其在人机交互、体育健康分析、娱乐等领域的广泛应用而成为一个活跃的研究课题。
  • 近年来,随着Kinect、RealSense等深度传感器的出现,人体关节可以很容易地获取。
  • 动作识别使用body关节等,基于骨架的动作识别由于其计算效率和对光照条件、视点变化和背景噪声的鲁棒性而受到广泛关注。
  • 以往的基于骨骼的动作识别方法大多侧重于对人体关节之间的关系进行建模,采用以一系列骨骼坐标作为输入的单模态训练方案。
  • 受最近图像和语言多模态训练成功的启发,我们研究了一个有趣的问题: 动作语言描述是否可以揭示动作关系并有利于基于骨架的动作识别?
  • 遗憾的是,由于缺乏由骨架文本对组成的大规模数据集,构建这样的数据集将需要大量的时间和财政资源。因此,该训练方案不能直接应用于基于骨架的动作识别。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_925893.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

TS学习笔记四:函数及泛型枚举

本节介绍ts的函数及泛型的相关内容,包括函数的声明格式及泛型的相关知识。 视频讲解 TS学习笔记四:函数的定义使用 B站视频 TS学习笔记四:函数的定义使用 西瓜视频 https://www.ixigua.com/7321535978286514727 一、函数 函数是js程序的…

[oeasy]python005_退出游乐场_重启游乐场_系统态shell_应用态_quit

0005_ 退出游乐场_重启游乐场_系统态shell 退出终端_重启游乐场_shell_quit 🥊 Python 回忆 上次 了解了 python进入了 python 游乐场 在游乐场 可以做 简单的计算还可以做 乘方运算 数字特别大之后 游乐场 会迟疑一下不过 最终 还是能算出来 可以让数字 更大一…

Vue学习笔记3--全局事件总线

Vue学习笔记3—全局事件总线 1.全局事件总线可以实现任意组件间通信 X需具备的条件: 所有的组件都要能看见X可以调用$on $off $emitVue.prototype.x {a:1, b:2} 可以被所有组件看见VueComponent.protoype.proto Vue.prototype组件实例对象(vc)可以访问到Vue原型上…

Java多线程并发篇----第十八篇

系列文章目录 文章目录 系列文章目录前言一、寄存器二、程序计数器三、PCB-“切换桢”四、上下文切换的活动五、引起线程上下文切换的原因前言 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站,这篇文章男女通用,看懂了…

QT软件在线安装与维护

一.安装 安装QT开发环境分离线安装和在线安装两种方式,具体步骤如下: QT官网注册账号----下载安装包-----安装-----选择要安装的版本与开发包----版本维护 注意:Qt5.14.2是最后提供二进制安装包的版本,后面的版本都需要在线安装…

小程序系列--7.页面配置以及网络数据请求

一. 页面配置 1.页面配置文件的作用 小程序中,每个页面都有自己的 .json 配置文件,用来对当前页面的窗口外观、页面效果等进行配置。 2. 页面配置和全局配置的关系 3. 页面配置中常用的配置项 二、网络数据请求 1. 小程序中网络数据请求的限制 2. 配…

数据分析中常用的指标或方法

一、方差与标准差二、协方差三、皮尔逊系数四、斯皮尔曼系数 一、方差与标准差 总体方差 V a r ( x ) σ 2 ∑ i 1 n ( x i − x ˉ ) 2 n ∑ i 1 n x i 2 − n x ˉ 2 n E ( x 2 ) − [ E ( x ) ] 2 Var(x)\sigma^2\frac {\sum\limits_{i1}^{n} (x_i - \bar{x})^2} {n…

SQL性能分析手段

SQL执行频率 MySQL 客户端连接成功后,通过 show [session|global] status 命令可以提供整个服务器执行sql的状态信息。通过如下指令,可以查看当前数据库的INSERT、UPDATE、DELETE、SELECT的访问频次: -- session 是查看当前会话 ; -- globa…

数据结构排序二叉树(下)

哎,调了几天深度学习模型,今天来更新排序二叉树 文章目录 前言 一、排序二叉树的结构定义 二、在排序二叉树添加数据 三、定义创建排序二叉树函数 四、查找一棵二叉排序树中的结点x的所在层数 五、删除二叉排序树中T关键字x的节点 六、查找二叉排序树中的所有小于key的关…

【小笔记】算法训练基础超参数调优思路

【学而不思则罔,思维不学则怠】 本文总结一下常见的一些算法训练超参数调优思路(陆续总结更新),包括: batchsize学习率epochsdropout(待添加) Batch_size 2023.9.29 简单来说,较…

Kotlin程序设计(二)面向对象

Kotlin程序设计中级篇 我们在前面已经学习了Kotlin程序设计的基础篇,本章我们将继续介绍更多Kotlin特性,以及面向对象编程。 函数 其实函数我们在一开始就在使用了: fun main() {println("Hello World") }我们程序的入口点就是…

day3:基于UDP模型的简单文件下载

思维导图 tftp文件下载客户端实现 #include <head.h> #define SER_PORT 69 #define SER_IP "192.168.125.223" int link_file() {int sfdsocket(AF_INET,SOCK_DGRAM,0);if(sfd-1){perror("socket error");return -1;}return sfd; } int filedownloa…

【Spring Cloud Alibaba】Sentinel 服务熔断与流量控制

目录 前言 一、Sentinel 入门 1.1 什么是 Sentinel ? 1.2 微服务集成 Sentinel 1.3 安装Sentinel控制台 二、Jmeter 压力测试工具 2.1 Jmeter 介绍 2.2 Jmeter 安装 2.3 接口测试 三、Sentinel 使用 3.1 限流规则 3.1.1 warm up(预热模式) 3.1.2 排队等待 3.1.3…

mathtype2024版本下载与安装(mac版本也包含在内)

安装包补丁主要是mathtype的安装包&#xff0c;与它的补丁。 详细安装过程&#xff1a; step1&#xff1a; 使用方法是下载完成后先安装MathType-win-zh.exe文件&#xff0c;跟着步骤走直接安装就行。 step2&#xff1a; 关闭之后&#xff0c;以管理员身份运行MathType7PJ.exe…

【数据结构和算法】反转链表

其他系列文章导航 Java基础合集数据结构与算法合集 设计模式合集 多线程合集 分布式合集 ES合集 文章目录 其他系列文章导航 文章目录 前言 一、题目描述 二、题解 2.1 方法一&#xff1a;迭代&#xff08;双指针&#xff09; 2.2 方法二&#xff1a;递归 三、代码 3.…

survey和surveyCV:如何用R语言进行复杂抽样设计、权重计算和10折交叉验证?

一、引言 在实际调查和研究中&#xff0c;我们往往面临着样本选择的复杂性。复杂抽样设计能够更好地反映真实情况&#xff0c;提高数据的代表性和可靠性。例如&#xff0c;多阶段抽样可以有效地解决大规模调查的问题&#xff0c;整群抽样能够在保证样本的随机性的同时减少资源消…

网络安全全栈培训笔记(53-WEB攻防-通用漏洞跨域CORS资源JSONP回调域名接管劫持)

第54天 WEB攻防-通用漏洞&跨域CORS资源&JSONP回调&域名接管劫持 知识点&#xff1a; 1、子域名接管检测&探针&利用 2、C0SP跨域资源检测&探针&利用 3、JSONP跨域回调-检侧&探针&利用 #前置知识点&#xff1a; 同源策路(SOP),“同源”包…

centos7配置时间同步网络时间

centos7配置时间同步网络时间 1、安装 NTP 工具。 sudo yum install -y ntp2启动 NTP 服务。 sudo systemctl start ntpd3、将 NTP 服务设置为开机自启动。 sudo systemctl enable ntpd4、验证 date

【特征工程】分类变量:MultiLabelBinarizer对多标签数据进行编码

MultiLabelBinarizer 说明介绍 1. MultiLabelBinarizer 是什么&#xff1f; MultiLabelBinarizer是scikit-learn库中的一个用于处理多标签数据的编码器。通常用于将多标签的分类任务中的标签转化为二进制形式&#xff0c;便于机器学习模型的处理。该编码器的主要目标是将每个…

【网络安全】【密码学】【北京航空航天大学】实验一、数论基础(上)【C语言和Java实现】

实验一、数论基础&#xff08;上&#xff09; 一、实验目的 1、通过本次实验&#xff0c;熟悉相关的编程环境&#xff0c;为后续的实验做好铺垫&#xff1b; 2、回顾数论学科中的重要基本算法&#xff0c;并加深对其的理解&#xff0c;为本学期密码学理论及实验课程打下良好…