基于异常值鲁棒性问题的极限学习机的回归问题研究(Matlab代码实现)

news/2024/3/29 18:06:06/文章来源:https://blog.csdn.net/m0_73907476/article/details/129189659

💥💥💞💞欢迎来到本博客❤️❤️💥💥

🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。

⛳️座右铭:行百里者,半于九十。

📋📋📋本文目录如下:🎁🎁🎁

目录

💥1 概述

📚2 运行结果

🎉3 参考文献

🌈4 Matlab代码实现


💥1 概述

摘要:极限学习机( Extreme Learning Machine,ELM )作为机器学习中最有用的技术之一,由于其独特的超快学习能力而受到广泛关注。特别地,ELM在取得令人满意的结果的同时具有速度优势已被广泛认可。然而,异常值的存在可能导致不可靠的ELM模型。本文研究了ELM在回归问题中的异常值鲁棒性。基于异常值的稀疏特性,本文提出了一种基于1 -范数损失函数的异常值鲁棒性ELM来增强鲁棒性。特别地,采用快速准确的增广拉格朗日乘子法来保证算法的有效性和高效性。通过函数逼近实验和一些实际应用表明,该方法不仅保持了原始ELM的优点,而且在处理含有异常值的数据时表现出显著且稳定的精度。

近几十年来,特别是在大数据时代,用于机器学习和统计建模的数据集变得越来越大,并且很容易访问有关所研究现象的大量信息[1]。然而,由于数据采集过程中的人为或仪器错误,训练数据中可能会出现突出且远离其他常规样本的异常值[2]。因此,构建异常值鲁棒模型的要求随之而来,因为常规学习算法具有有利于异常值的自然倾向,这似乎大大降低了学习模型的准确性和可靠性。

Huang等人[3]提出的极限学习机(ELM)因其独特的特点和显著的性能[4]而是一种有效且高效的学习方法。ELM的优点归因于以下功能:(i)与大多数神经网络一样,ELM不仅具有近似嵌入大量训练数据中的未知函数的能力,而且还具有并行结构,以便在训练期间以及测试过程中执行快速高效的并行计算。(ii)大量实证研究表明,ELM往往比传统的SVM具有更好的可扩展性和泛化性能[3],[5]。(iii)ELM以极快的学习速度执行,而其他传统学习算法必须面对高计算成本的挑战性问题。更准确地说,这是主要的优点,因为所有隐藏节点参数(输入权重和偏差)都是随机生成的(甚至在ELM看到训练数据之前),无需调整,因此可以分析确定输出权重。凭借这些非凡的优点,ELM在广泛的领域引起了广泛的关注。特别是对于回归问题,ELM已广泛应用于许多实际工程应用,例如电价预测[6],股票市场预测[7],[8]和铁磁材料的磁导率预测[9]。

尽管 ELM 具有许多优点,但有人指出,ELM 往往会受到训练数据中异常值的影响,这在处理实际应用程序时可能会发生 [10]。据我们所知,在强调ELM的异常稳健性方面做得很少。Huang等人[5]在原始ELM的基础上提出了正则化ELM,并规定输出权重的规范作为正则化项,对最终性能起着重要作用。邓等. [11] 通过结合加权最小二乘方案和正则化 ELM 提出了加权正则化 ELM。他们的工作在异常鲁棒性问题上显示出有希望的结果。霍拉塔等. [10]提出了迭代加权的ELM,然而,由于缺乏正则化项,性能并不理想,并且计算量大大增加,因为每次迭代涉及的时间与原始ELM所花费的时间一样多。所有这些方法都使用以l2-范数(或平方和)标准来学习模型。然而,有人指出,在2-范数容易受到异常值的严重影响,因为 l2-范数放大了与大偏差相关的异常值的影响[12]。通常,ELM模型具有l2-范数损失函数在存在异常值时往往不稳定。

在本文中,我们提出了一种新型ELM,其l1-异常值鲁棒性问题的范数损失函数。我们使用l 的原因1-范数而不是 l2-规范包括两折。一、1-范数对非典型观测值比 L 更稳健2-范数和l1范数损失函数已被广泛用于处理异常值(例如,参见[13],[14],[15],[16])。其次,稀疏性很突出,因为异常值通常只占整个训练样本的一小部分。压缩感知[17],[18],[19],[20]和鲁棒主成分分析[21],[22]两个研究领域的最新进展从理论上表明,在一定条件下,稀疏性可以通过1-规范。为了解决由此产生的优化问题,我们利用增强拉格朗日乘子(ALM)方法[23]来实现。虽然这种方法通常与迭代方案相关联,但事实证明,每次迭代中的简单公式使计算非常快,以实现有效的实现和竞争比较。考虑到我们提出的方法可以被视为异常鲁棒性问题的特殊ELM,为了简单起见,我们将其称为ORELM。

📚2 运行结果

部分代码:

function [TestingAccuracy,TY] = elm_predict(TP,TT,InputWeight, BiasofHiddenNeurons, OutputWeight)

%%%%%%%%%%% Load testing dataset


NumberofTestingData=size(TP,2);

%load elm_model.mat;


%%%%%%%%%%% Calculate the output of testing input

tempH_test=InputWeight*TP;
clear TP;             %   Release input of testing data
ind=ones(1,NumberofTestingData);
BiasMatrix=BiasofHiddenNeurons(:,ind);              %   Extend the bias matrix BiasofHiddenNeurons to match the demention of H
tempH_test=tempH_test + BiasMatrix;

H_test = 1 ./ (1 + exp(-tempH_test));

TY=(H_test' * OutputWeight)';                       %   TY: the actual output of the testing data

TestingAccuracy=sqrt(mse(TT - TY))  ;          %   Calculate testing accuracy (RMSE) for regression case
% sum(sign(TY)==TV.T)/NumberofTestingData

%save('elm_output','TY');

🎉3 参考文献

部分理论来源于网络,如有侵权请联系删除。

[1]Zhang K, Luo M. Outlier-robust extreme learning machine for regression problems[J]. Neurocomputing, 2015, 151: 1519-1527

🌈4 Matlab代码实现

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_103297.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2023年五月份图形化四级打卡试题

活动时间 从2023年5月1日至5月21日,每天一道编程题。 本次打卡的规则如下: 小朋友每天利用10~15分钟做一道编程题,遇到问题就来群内讨论,我来给大家答疑。 小朋友做完题目后,截图到朋友圈打卡并把打卡的截图发到活动群…

【独具匠心设计】全网最好的国学,历代文学,名著,小说网推荐

极力推荐一个功能简单、易用、访问快捷、界面大气,清爽、资源丰富、设计专业、完全免费的文学网站。它的名字叫“历代文学”,是由成都心海科技公司所研发,设计真可谓独具匠心。 “历代文学”收录了来自古今中外 20 多个朝代,近 30个 国家的作…

消息队列选型

消息队列选型 大家好,我是易安!今天我们聊下消息队列常见选型。 消息队列作用 谈选型之前我们先讲下我们为什么需要消息队列。 消息队列是一种很流行的技术,自从系统间开始通信时,消息队列就出现了。然而,对消息队列给…

Windows 远程桌面提示没有远程桌面授权服务器可以提供许可证

可参考之前发布的一篇文章,帮助你远程登录:远程连接提示 由于没有远程桌面授权服务器提供许可证_计算机没有远程桌面客户端访问许可证_csdn_aspnet的博客-CSDN博客 虽然上述文章命令可以远程进入系统,但是每次都需要使用上述文章中的命令进入…

【数据库】索引和事务

目录 1.索引 1.1关于索引 索引是什么? 为什么要有索引? 索引的作用? 索引的优点和缺点? 1.2索引类型及创建 索引的分类 创建索引 1.3索引的数据结构 1.4索引覆盖 2.事务 2.1关于事务 概念 事务的使用 2.2事务的特…

他们是怎么使用上gpt-4的-gpt-4在哪用

为什么有人在使用GPT4 openAI尚未正式发布GPT-4模型,也没有公布任何与GPT-4相关的信息。因此,没有人可以在使用GPT-4模型。 值得注意的是,虽然OpenAI尚未正式发布GPT-4,但由于其之前发布的GPT-3具有出色的性能和功能&#xff0c…

chmod 命令 (chmod 0660)

chmod的作用: 用于设置文件所有者和文件关联组的命令,就是控制用户的权限命令 注意事项: chown 需要超级用户 root 的权限才能执行此命令。 自己常用chmod 命令是 chmod 777 * 给所有文件权限 chmod 777 文件名 给单独文件权限 这个777 是怎么来的, 或者chmod 0660 这…

C++STL详解(10) -- 使用哈希表封装unordered_set和unordered_map

文章目录 哈希表模板参数改造针对模板参数V改造增加仿函数获取具体数据类型. 哈希表的正向迭代器正向迭代器中的内置成员:正向迭代器的成员函数 哈希表插入函数的修改(适用于unordered_map)一个类型K去做set和unordered_set他的模板参数的必备条件.unordered_set的模拟实现(完整…

PySide6/PyQT多线程的使用

前言 上一篇文章介绍了在PySide6中使用多线程去解决PySide6/PyQT的界面卡死问题,这次来具体介绍下多线程在使用上的一些细节。 本文尝试对以下两个问题进行解决: 对 PySide6/PyQT 多线程的使用不熟悉;在 PySide6/PyQT 的应用程序里有耗时任…

【Linux基础IO之 内存文件操作】

目录: 前言一、引入C语言中的文件操作系统文件操作open 位图权限close、write、readlseek C语言中的文件操作函数与系统文件操作函数的联系 三、文件描述符1.文件描述符是什么2.文件缓冲区再谈重定向 四、文件缓冲区分类语言级缓冲区为什么要有两个缓冲区 五、仿写c…

OpenGL入门教程之 变换

引言 这是一个闪耀的时刻,因为我们即将能生产出令人惊叹的3D效果! 变换 向量和矩阵变换包括太多内容,但由于学过线性代数和GAMES101,因此不在此做过多阐述。仅阐述包括代码的GLM内容。 GLM的使用 (1)GLM…

8、接口的高级用法

1、索引类型 我们可以使用接口描述索引的类型和通过索引得到的值的类型,比如一个数组[‘a’, ‘b’],数字索引0对应的通过索引得到的值为’a’。我们可以同时给索引和值都设置类型,看下面的示例: interface RoleDic {[id: number…

Pinia与Vuex区别、Pinia安装与使用

目录 一、Pinia和Vuex区别 二、Pinia使用state、getters、actions 1、安装使用Pinia 2、State 3、actions 4、getters 三、Pinia划分模块 1、目录结构 2、store/user.js 3、某组件使用 四、Pinia持久化存储 1、安装插件 2、store/index.js 3、store/user.js 4、…

收废品小程序开发中的常见问题及解决方法

常见问题 1. 用户界面设计 小程序的用户界面设计至关重要。设计师需要在用户界面中提供清晰的指示,以便用户可以轻松地找到他们需要的功能。同时,设计师还需要确保用户界面的整体风格与公司的品牌形象相符。 2. 功能开发 开发小程序的功能需要考虑到…

5G网络切片路由选择策略介绍

终端保存的NSSP(Network Slice Selection Policy)策略来源于网络侧。 NSSP规则是将应用程序匹配到S-NSSAI(Single network slice selection assistance information),并将应用程序绑定到现有PDU会话或发起新的PDU会话。 NSSP功能 NSSP的作用就是为应用程序选择S-NSSAI和…

堆的原理解析

看这篇文章需要对比较器有一定的了解,可以看我的这篇文章: 认识比较器_鱼跃鹰飞的博客-CSDN博客 堆的实际存储方式是数组,但是脑海中应该把他想象成一种树的结构 依次加入下标0-8的9个数(添加过程中会不断的和父节点大小进行比…

QT Graphics View 绘图架构之场景、视图与图形项简介

1、场景、视图与图形项 采用QPainter 绘图时需要在绘图设备的 paintEvent()事件里编写绘图的程序,实现整个绘图过程。这种方法如同使用 Windows 的画图软件在绘图,绘制的图形是位图,这种方法适合于绘制复杂性不高的固定图形,不能…

基于ResNet-attention的负荷预测

一、attention机制 注意力模型最近几年在深度学习各个领域被广泛使用,无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中,都很容易遇到注意力模型的身影。从注意力模型的命名方式看,很明显其借鉴了人类的注意力机制。我们来看…

机器人教学中游戏化课程案例尝试

本文内容严格按创作模板发布: 2023年LPL春季赛季后赛正在火热进行中,你们心中的总冠军是哪支队伍呢?作为热爱游戏的程序猿,一起来聊聊你那些有意义的游戏开发经历吧! 游戏化ROS机器人课程的优势有以下七点&#xff1a…

android studio RadioButton单选按钮

1.定义 <!--单选按钮--> <TextViewandroid:layout_marginTop"10dp"android:layout_width"match_parent"android:layout_height"wrap_content"android:text"请选择你的性别&#xff1a;"> </TextView> <RadioGrou…