NLP论文阅读记录 - 2022 | WOS 用于摘要法律文本的有效深度学习方法

news/2024/2/29 16:20:59/文章来源:https://blog.csdn.net/yuyuyu_xxx/article/details/135606189

文章目录

  • 前言
  • 0、论文摘要
  • 一、Introduction
    • 1.1目标问题
  • 二.相关工作
  • 三.本文方法
  • 四 实验效果
    • 4.1数据集
    • 4.2 对比模型
    • 4.3实施细节
    • 4.4评估指标
    • 4.5 实验结果
      • 4.6 细粒度分析
  • 五 总结


前言

在这里插入图片描述

Effective deep learning approaches for summarization of legal texts(22)

0、论文摘要

数字形式的法律判决文件的可用性为信息提取和应用提供了众多机会。由于这些法律文本的结构不寻常且复杂性高,自动摘要是一项至关重要且具有挑战性的任务。以前在这个方向上的方法依赖于巨大的标记数据集,使用手工设计的特征,利用领域知识并将注意力集中在狭窄的子领域以提高效率。在本文中,我们提出了使用神经网络的简单通用技术来完成印度法律判决文件的摘要任务。
我们为此任务探索了两种神经网络架构,利用单词和句子嵌入来捕获语义。所提出的方法的主要优点是它们不依赖于手工制作的特征或特定于领域的知识,它们的应用也不限于特定的子域,因此使它们也适合扩展到其他域。我们通过根据训练集中的句子与人类生成的参考摘要的匹配为句子分配类别/分数来解决任务的标记数据不可用的问题。实验评估确定了我们提出的方法与其他基线相比的有效性。

一、Introduction

1.1目标问题

网络上大量文本数据的可用性和访问的便捷性既带来了机遇,也带来了挑战。数据可访问性的增加导致了信息过载问题。为了促进此类在线文本的自动处理,人们投入了大量的研究工作。自然语言理解领域的一项重要任务是文档摘要,即将文本内容压缩为简洁的形式,仅捕获文档中的基本概念。法律领域的自动摘要可以有很多应用,从简化律师翻阅大量法律文档的工作到有效检索与查询相关的判决。
文档摘要方法通常基于两种方法 - 抽象(Chen 和 Bansal,2018)和提取(Saravanan 等人,2008;Polsley 等人,2016)抽象摘要技术模仿人类生成涵盖文档中表达的基本思想的摘要生成原始文档中不存在的内容,可能由不同的语言结构组成。另一方面,提取摘要技术从文档中识别并提取重要部分,然后将其逐字复制到摘要中。抽象摘要技术通常比提取摘要技术更具挑战性,并且在资源和算法复杂性方面要求更高。
文档摘要领域的研究已经持续了几十年。一些方法基于主题建模和潜在语义分析、LSA,它们完全基于文档中的文本(Allahyari 等人,2017)。之前的一些工作已经探索了通过利用领域知识来改进摘要结果来获取丰富的数据集(Saravanan 等人,2008)。这些方法基本上是无监督的。使用指示符方法的文本摘要也得到了有效的使用。这些方法通过每个句子的特征来表示它。基于图的方法和 TFIDF 权重方案用于从句子中提取特征。经典机器学习算法然后使用它们来确定各个句子的重要性。
法律信息科学家对自动摘要进行了广泛的研究,并且提出的方法基于广泛的方法。这些方法大多数侧重于利用标记数据进行文档分割以生成摘要或从文本中提取特征以包含在摘要中。法律文本摘要方法大多是提取性的,并且可以在存在足够标记数据的情况下作为监督学习方法呈现。在法律领域,此类标记数据不可用且生成成本昂贵,因此研究人员提出了从可用的未标记数据生成标记训练数据的方法。 (Wagh 和 Anand,2020) 中提出了通过利用领域知识自动生成用于法律文本分割的标记训练数据。在拟议的工作中,我们演示了完全数据驱动的标记数据集生成。我们通过利用一些判决文件中存在的人工生成的注释来缓解标记数据不可用的问题。考虑到基于深度学习的文本摘要方案的巨大成功(Allahyari et al., 2017; Sinha et al., 2018),我们探索了各种深度学习方法来完成不依赖于领域知识的提取式法律判决摘要任务或标记数据创建的领域专家。我们专门在 1947 年至 1993 年印度最高法院的判决中测试了我们的方法。我们发现,这些简单的提议技术除了优于基线之外,还产生了相当连贯的摘要。

二.相关工作

人工智能和机器学习算法的进步使人类能够利用这些技术来简化许多任务。随着互联网产生的文本内容量呈指数级增长,使用这些技术来提取与用户信息需求最相关的内容已变得势在必行。自动文本摘要旨在为文档生成简洁的文本,可以适当地用于将我们的注意力集中到相关的内容上。自动文本摘要技术已经存在多年,最早被应用于生成科学研究文档摘要(Allahyari 等人,2017)。
产生自动摘要的两种基本技术是提取和抽象。虽然提取性摘要(Kim 等人,2012;Kavila 等人,2013;Sinha 等人,2018)的任务是选择要包含在摘要中的文档的重要部分,但抽象摘要技术(Chen 和 Bansal,2018) )考虑整个文档并以更简单的方式重新表述摘要,可能使用与原文不同的单词和短语。最早的方法是提取性的,并使用简单的基于单词和短语的特征,例如句子中是否存在提示词来选择句子(Allahyari 等人,2017)。在计算句子的重要性时也考虑了其他特征,例如文档与文档标题的匹配程度以及句子在文档中的相对位置(Kanapala et al., 2019)。还提出了更先进的技术,例如基于频率、主题建模、潜在语义分析和贝叶斯模型的技术(Allahyari 等人,2017)。
随着深度学习技术的日益普及,抽象概括技术的研究近年来不断加速。这些技术利用基于规则的方法,通过识别包含重要事件的片段并将该信息包含在摘要中。基于树的方法和基于本体的方法用于抽象概括(Kasture et al., 2014)。
法律文本的自动摘要面临着多样化的写作风格和文本中讨论的法律问题的多个维度的挑战。作者在(Kanapala et al., 2019)中对法律文本摘要中使用的方法进行了详细回顾。非对称加权图(Kim et al., 2012)用于法律文本摘要,其中句子表示为图中的节点。选择具有高节点值的句子作为摘要的一部分。文档被表示为连接图的集合,其中属于连接组件的句子是相关的。这种方法有助于实现多样性,从而确保凝聚力。 (Kavila et al., 2013) 中的作者采用了两种技术的混合,即关键字/关键短语匹配以及基于案例的技术。 (Oufaida et al., 2014) 中提出了使用判别分析对阿拉伯文本的多文档摘要捕获信息多样性。 (Venkatesh, 2013) 提出了一种基于从分层潜在狄利克雷分配 (hLDA) 获得的主题来聚类法律判决的方法。主题和文档之间的相似性度量用于执行 hLDA 并使用相同主题查找每个文档的摘要。 (Seth et al., 2016) 中提出了一种更简单的方法,其中对每个句子中单词的 TF-IDF 分数进行求和,并通过句子长度进行归一化以找到重要性分数。对类似于章节标题的实体名称、日期和段给予特殊处理。 (Saravanan et al., 2008) 采用了一种不同的方法,作者将摘要任务分为两个阶段——使用条件随机场通过修辞角色识别来分割文档,并从如此识别的片段中生成摘要。在(Yamada et al., 2017)中提出了在判断中对不同粒度的文本单元进行注释以识别重要文本的类似方法。这些方法基于语义相似文本片段的识别并利用法律文本的结构。但这些方法完全依赖标记数据进行分割和注释。
近年来,深度学习方法已应用于文本摘要任务并取得了很高的成功率。提出了用于文本摘要的模型,范围从简单的多层网络(Sinha 等人,2018)到复杂的神经网络架构(Young 等人,2018)。但据我们所知,深度学习技术很少用于法律文件摘要生成。在本文中,我们提出了一种使用自动句子标记方法的基于深度学习的法律文本摘要方法。

三.本文方法

四 实验效果

4.1数据集

4.2 对比模型

4.3实施细节

4.4评估指标

4.5 实验结果

4.6 细粒度分析


五 总结

在本文中,我们提出了一种数据驱动的半监督方法,使用各种神经网络架构来提取法律文档摘要。我们的贡献是双重的——我们提出了一种使用参考摘要生成数据集的新技术,消除了对如此复杂领域专家的需求;其次,我们提出了一种无需特征制作或领域知识即可生成法律文档摘要的简单方法。根据 Rouge 分数衡量,所提出的技术表现良好,并产生连贯的摘要。我们的方法分为两个主要阶段:生成用于句子重要性分类/预测任务的标记数据集,以及在训练数据上使用各种深度学习模型将文档的基本组成部分压缩为摘要。我们提出了四种生成标记数据的方法,并进一步证明使用句子嵌入优于其他三种方法。对于分类/预测任务,基于 LSTM 的神经网络架构在大多数情况下优于其他方法。将来,我们打算对人类专家生成的法律文本摘要进行所提出的方法的评估。法院判决书使用特定术语和独特的写作风格撰写,因此往往包含非常冗长和复杂的句子。我们打算探索由此获得的摘要的句子简化方法,以增强复杂和长句子的可解释性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_925364.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

android 13.0 Launcher3长按app弹窗设置为圆角背景功能实现二

1.前言 在13.0的系统ROM定制化开发中,在进行一些Launcher3的定制化开发中,在使用app的弹窗的功能时,会弹出应用信息和 微件之类的内容,所以在定制需求中,需要默认设置为圆角背景,接下来就来分析下相关功能的实现如图: 2.Launcher3长按app弹窗设置为圆角背景功能实现二的…

基于深度学习的婴儿啼哭识别项目详解

基于深度学习的婴儿啼哭识别项目详解 基于深度学习的婴儿啼哭识别项目详解一、项目背景1.1 项目背景1.2 数据说明 二、PaddleSpeech环境准备三、数据预处理3.1 数据解压缩3.2 查看声音文件3.3 音频文件长度处理 四、自定义数据集与模型训练4.1 自定义数据集4.2 模型训练4.3 模型…

【ACL 2023】 The Art of Prompting Event Detection based on Type Specific Prompts

【ACL 2023】 The Art of Prompting: Event Detection based on Type Specific Prompts 论文:https://aclanthology.org/2023.acl-short.111/ 代码:https://github.com/VT-NLP/Event_APEX Abstract 我们比较了各种形式的提示来表示事件类型&#xff0…

C#,入门教程(66)——枚举Enum的高等用法

前言:国内码农与国外优秀程序员的最大区别是,我们的专家、教授喜欢唾沫横飞地,夸夸其谈语言特性、框架、性能,唯一目的是带私货(书籍或教程),很少能写出真有用的程序。差距在哪呢?基…

扫雷游戏棋盘的打印,判断输赢,深度分析

少年们,大家好,我是博主那一脸阳光,我来分享扫雷的打印和判断输赢,代码如何编写,如何使用,深度理解扫雷的游戏。 数据结构的分析和理论 我上次介绍棋盘的初始化,但是如果不打印出来&#xff0…

图解智慧:数据可视化如何助你高效洞悉信息?

在信息爆炸的时代,数据扮演着越来越重要的角色,而数据可视化则成为解读和理解海量数据的得力工具。那么,数据可视化是如何帮助我们高效了解数据的呢?下面我就以可视化从业者的角度来简单聊聊这个话题。 无需深奥的专业知识&#x…

【Leetcode 2707】字符串中的额外字符 —— 动态规划

2707. 字符串中的额外字符 给你一个下标从0开始的字符串s和一个单词字典dictionary。你需要将s分割成若干个互不重叠的子字符串,每个子字符串都在dictionary中出现过。s中可能会有一些额外的字符不在任何子字符串中。 请你采取最优策略分割s,使剩下的字…

【ONE·MySQL || 常见的基本函数】

总言 主要内容:介绍了MySQL中常用的基本函数。一些聚合函数、时间日期函数、字符串函数、数字函数等。       文章目录 总言1、聚合函数1.1、汇总1.2、COUNT()函数1.2.1、基本说明1.2.2、使用演示 1.3、SUM( )函数1.3.1、基本说明1.3.2、使用演示 1.4、AVG( )函…

java基础知识点系列——数据输入(五)

java基础知识点系列——数据输入(五) 数据输入概述 Scanner使用步骤 (1)导包 import java.util.Scanner(2)创建对象 Scanner sc new Scanner(System.in)(3)接收数据 int i sc…

PHP开发日志 ━━ php8.3安装与使用组件Xdebug

今天开头写点历史: 二十年前流行asp,当时用vb整合常用函数库写了一个dll给asp调用,并在此基础上开发一套仿windows界面的后台管理系统;后来asp逐渐没落,于是在十多年前转投php,不久后用php写了一套mvc框架&…

C++——map和set的基本使用

目录 一,关联式容器 二,键值对 三,set的使用 3.1 set介绍 3.2 set的插入和删除 3.3 set的pair 3.4 multiset 四,map的使用 4.1 map介绍 4.2 map实现简易字典 4.3 map实现统计次数 4.4 map的[] 五,使用map或…

TRB 2024论文分享:基于生成对抗网络和Transformer模型的交通事件检测混合模型

TRB(Transportation Research Board,美国交通研究委员会,简称TRB)会议是交通研究领域知名度最高学术会议之一,近年来的参会人数已经超过了2万名,是参与人数和国家最多的学术盛会。TRB会议几乎涵盖了交通领域…

【REST2SQL】07 GO 操作 Mysql 数据库

【REST2SQL】01RDB关系型数据库REST初设计 【REST2SQL】02 GO连接Oracle数据库 【REST2SQL】03 GO读取JSON文件 【REST2SQL】04 REST2SQL第一版Oracle版实现 【REST2SQL】05 GO 操作 达梦 数据库 【REST2SQL】06 GO 跨包接口重构代码 MySQL是一个关系型数据库管理系统&#xf…

系统性学习vue-vue核心

做了三年前端,但很多系统性的知识没有学习 还是从头系统学习一遍吧 课程是b站的Vue2.0Vue3.0课程 后续还会学习的如下,就重新开一篇了,不然太长,之后放链接 vue组件化编程 vue-cli 脚手架 vue中的ajax vue-router vuex element-ui vue3 老师推荐的vscode针对vue的插件: Vue 3…

在线项目实习|2024寒假项目实战火热报名中!

一、在线实习项目分类 二、在线实习项目流程 三、在线实习项目优惠及项目特色 1、师傅带练教学模式,手把手教你掌握 采用“师带徒”的教学模式,课程以“项目前置知识学习 师傅带练 项目实战”贯穿,强调动手实操,内容以代码落地为…

mp4文件全部转换为mp3

问题 今天突发奇想,想把mp4视频转换为mp3来收听,于是想到了ffmpeg工具 步骤 安装ffmpeg环境 要在 Windows 上配置 FFmpeg 环境,你可以按照以下步骤进行操作: 下载 FFmpeg: 首先,你需要下载 FFmpeg 的 W…

图像处理:孤立点的检测

图像处理-孤立点的检测 孤立点的检测在图像处理中通常涉及到检测图像中的突变或者边缘,而使用二阶导数是一种常见的方法。一阶导数可以帮助找到图像中的边缘,而二阶导数则有助于检测边缘上的峰值,这些峰值可能对应于孤立点或者特殊的图像结构…

如何在30秒内学会使用pprof分析Go

假设下面的代码是你要分析的 Go 代码: package mainimport ("fmt""sync""time" )// 模拟耗时操作 func hardWork(wg *sync.WaitGroup) {defer wg.Done()fmt.Printf("Start: %v\n", time.Now())// 模拟耗内存a : []string{…

[开发语言][c++]:Static关键字和全局变量

Static关键字和全局变量 1. 生命周期、作用域和初始化时机2. 全局变量3. Static 关键字3.1 面向过程3.1.1 静态全局变量3.1.2 静态局部变量(单例中会使用)3.1.3 静态函数 3.2 面向对象3.2.1 类内静态成员变量3.2.2 类内静态成员函数 Reference 写在前面&…

伪装目标检测模型论文阅读之:Zoom in and out

论文链接:https://arxiv.org/abs/2203.02688 代码;https://github.com/lartpang/zoomnet 1.摘要 最近提出的遮挡对象检测(COD)试图分割视觉上与其周围环境融合的对象,这在现实场景中是非常复杂和困难的。除了与它们的背景具有高…