P1-机器学习的核心算法-九五小庞

news/2024/7/22 14:01:15/文章来源:https://blog.csdn.net/qq_37241964/article/details/139205769

核心算法

线性回归算法

线性回归是一种预测数值型数据的监督学习算法。它的基本思想是通过学习一个线性模型,使得模型能够尽可能准确地预测实值输出标记。在单变量线性回归中,我们有一个特征(或输入变量)和一个目标变量(或输出变量)。在多变量线性回归中,我们有多个特征和目标变量。

线性回归模型
线性回归模型可以表示为:

[ y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \ldots + \beta_n x_n ]

其中,( y ) 是目标变量(或响应变量),( x_1, x_2, \ldots, x_n ) 是特征(或解释变量),而 ( \beta_0, \beta_1, \ldots, \beta_n ) 是模型的参数(或权重)。( \beta_0 ) 是截距项,( \beta_1, \ldots, \beta_n ) 是斜率项。

损失函数
为了找到最佳的模型参数,我们需要定义一个损失函数,该函数衡量了模型预测值与实际值之间的差异。在线性回归中,常用的损失函数是均方误差(Mean Squared Error, MSE):

[ MSE = \frac{1}{m} \sum_{i=1}^{m} (y_i - \hat{y}_i)^2 ]

其中,( m ) 是样本数量,( y_i ) 是第 ( i ) 个样本的实际值,( \hat{y}_i ) 是模型对第 ( i ) 个样本的预测值。

参数估计
为了找到使损失函数最小的模型参数,我们可以使用梯度下降等优化算法。梯度下降通过迭代地更新参数来最小化损失函数。在每次迭代中,我们根据损失函数关于参数的梯度来更新参数。

线性回归的步骤
数据准备:收集特征和目标变量的数据。
数据预处理:可能包括数据清洗、缺失值处理、特征缩放等。
选择模型:确定使用单变量线性回归还是多变量线性回归。
定义损失函数:选择适当的损失函数,如均方误差。
参数估计:使用优化算法(如梯度下降)来估计模型参数。
模型评估:使用测试数据评估模型的性能,如计算均方误差、决定系数(R²)等。
模型预测:使用训练好的模型对新的数据进行预测。
注意事项
特征选择:选择与目标变量相关性强的特征,避免过度拟合。
特征缩放:如果特征具有不同的尺度,可以考虑进行特征缩放,以便梯度下降算法更快地收敛。
正则化:当特征数量很多或存在高度相关的特征时,可以考虑使用正则化技术(如岭回归或Lasso回归)来避免过度拟合。
检查假设:线性回归模型假设输入变量和输出变量之间存在线性关系,以及误差项服从正态分布并具有相同的方差。在实际应用中,应该检查这些假设是否成立。

KMeans算法

K-Means算法是一种无监督学习的聚类算法,它试图将数据集中的n个观测值划分为K个(K≤n)聚类,使得每个观测值都属于离其最近的均值(即聚类中心或质心)对应的聚类,且作为该聚类中心的对象是均值迭代更新确定的。

K-Means算法的基本步骤:
初始化:随机选择K个对象作为初始的聚类中心(质心)。
分配:对于数据集中的每个对象,计算其与每个聚类中心的距离(通常使用欧氏距离),并将其分配给最近的聚类中心所对应的聚类。
更新:对于每个聚类,计算其所有成员的平均值(即新的质心),并将该平均值设为新的聚类中心。
迭代:重复步骤2和3,直到满足某个停止条件(如聚类中心不再发生显著变化,或者达到预设的最大迭代次数)。
K-Means算法的注意事项:
选择合适的K值:K值的选择是K-Means算法中的一个重要问题。通常可以使用肘部法则(Elbow Method)或轮廓系数(Silhouette Coefficient)等方法来评估不同K值下的聚类效果。
初始化问题:K-Means算法对初始聚类中心的选择是敏感的。不同的初始质心可能会导致不同的聚类结果。一种常见的改进方法是使用K-Means++算法来初始化质心,该算法能更均匀地选择初始质心。
异常值和噪声:K-Means算法对异常值和噪声数据是敏感的。这些异常值可能会被错误地分配到一个聚类中,从而影响聚类的效果。因此,在使用K-Means算法之前,通常需要对数据进行预处理,如标准化、去噪等。
迭代停止条件:迭代停止条件的选择会影响算法的效率和聚类效果。一种常见的停止条件是当聚类中心的变化小于某个阈值时停止迭代。
空聚类:在某些情况下,可能会出现空聚类(即没有数据点被分配到某个聚类中)。这通常是由于初始质心的选择不当或数据分布不均匀导致的。一种解决方法是重新选择初始质心并重新运行算法。
K-Means算法的应用:
K-Means算法在许多领域都有广泛的应用,如图像处理、文本挖掘、市场细分、生物信息学等。它可以帮助我们发现数据中的潜在结构和模式,从而更好地理解和利用数据。

PCA降维算法

PCA(Principal Component Analysis,主成分分析)是一种常用的降维算法,主要用于在保持数据集对方差贡献最大的特征的同时,降低数据的维度。PCA 的主要思想是将 n 维特征映射到 k 维上(k < n),这 k 维是全新的正交特征,也被称为主成分,是在原有 n 维特征的基础上重新构造出来的 k 维特征。

PCA的主要步骤:
标准化:为了消除特征之间的量纲和取值范围对分析结果的影响,需要对原始数据进行标准化处理,使得每个特征的均值为0,方差为1。
计算协方差矩阵:协方差矩阵表示了不同特征之间的相关性。如果某些特征之间高度相关,那么这些特征在协方差矩阵中的对应值就会很大。
计算协方差矩阵的特征值和特征向量:特征值的大小表示了对应特征向量方向上包含的信息量,即方差。信息量越多,该方向上的数据离散程度越大。
选择主成分:将特征值从大到小排序,选择其中最大的 k 个,然后将其对应的 k 个特征向量分别作为列向量组成特征向量矩阵。
将数据转换到新的特征空间:将数据集中的每个样本与特征向量矩阵相乘,得到降维后的数据。
PCA的注意事项:
k 值的选择:k 值的选择决定了降维后的数据维度。k 值过大会导致降维效果不明显,k 值过小则可能会丢失过多的信息。可以通过交叉验证等方法来选择最优的 k 值。
PCA 的无监督特性:PCA 是一种无监督的降维方法,即它在降维过程中并不考虑数据的标签信息。因此,在某些情况下,PCA 可能并不是最好的选择。
特征解释性:PCA 转换后的特征向量是原始特征的线性组合,可能不具有明确的解释性。因此,在使用 PCA 进行降维后,需要对新的特征进行进一步的分析和解释。
数据的分布:PCA 的效果受数据分布的影响较大。如果数据在某个方向上的分布较为集中,那么该方向上的方差就会很小,从而被 PCA 忽略。因此,在使用 PCA 之前,需要对数据的分布进行一定的检查和处理。
PCA的应用:
PCA 在许多领域都有广泛的应用,如图像压缩、人脸识别、文本挖掘、基因数据分析等。它可以帮助我们更好地理解数据的结构,发现数据中的潜在模式,并降低数据的复杂度,从而提高后续分析的效率和准确性。

朴素贝叶斯算法
决策树算法
集成学习算法

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_1052591.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LVGL圆弧、线条、图片、色环、按钮矩阵、文本区域、键盘部件

目录 LVGL圆弧部件 LVGL线条部件 LVGL图片部件 LVGL色环部件 LVGL按钮矩阵部件 LVGL文本区域部件 LVGL键盘部件 LVGL圆弧部件 圆弧部件以弧形滑动的形式来调节、显示某个参数的值。 圆弧部件组成部分&#xff1a; 背景弧&#xff08;LV_PART_MAIN&#xff09; 前景弧&am…

现代 c++ 三:移动语义与右值引用

移动语义很简单&#xff0c;但它相关联的术语很复杂。本文尝试从历史的角度解释清楚这些乱七八糟的术语及其关联&#xff1a; 表达式 (expression)、类型&#xff08;type&#xff09;、值类别 (value categories)&#xff1b; 左值 (lvalue)、右值 (rvalue)、广义左值 (glval…

UI问题 --- CardView和其它的控件在同一布局中时,始终覆盖其它控件

原本代码&#xff1a; <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://schemas.android.com/apk/res/android"android:layout_width"40dp"android:layout_height"wrap_content"andr…

代码随想录——最大二叉树(Leetcode654)

题目链接 递归 二叉树 /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* TreeNode() {}* TreeNode(int val) { this.val val; }* TreeNode(int val, TreeNode left, TreeNode rig…

ssh远程连接的相关配置

连接同一个局域网下&#xff1a; 正好这里来理解一下计算机网络配置中的ip地址配置细节&#xff0c; inet 172.20.10.13: 这是主机的IP地址&#xff0c;用于在网络中唯一标识一台设备。在这个例子中&#xff0c;IP地址是172.20.10.13。 netmask 255.255.255.240: 这是子网掩码…

Laravel和ThinkPHP框架比较

一、开发体验与易用性比较 1. 代码可读性&#xff1a; - Laravel以其优雅的语法和良好的代码结构著称&#xff0c;使得代码更加易读易懂。 - 相比之下&#xff0c;ThinkPHP的代码可读性较为一般&#xff0c;在一些复杂业务场景下&#xff0c;可能会稍显混乱。 让您能够一站式…

刷题记录5.22-5.27

文章目录 刷题记录5.22-5.2717.电话号码的字母组合78.子集131.分割回文串77.组合22.括号生成198.打家劫舍---从递归到记忆化搜索再到递推动态规划背包搜索模板494.目标和322.零钱兑换牛客小白月赛---数字合并线性DP1143.最长公共子序列72.编辑距离300.最长递增子序列状态机DP12…

自动化您的任务——crewAI 初学者教程

今天&#xff0c;我写这篇文章是为了分享您开始使用一个非常流行的多智能体框架所需了解的所有信息&#xff1a;crewAI。 我将在这里或那里跳过一些内容&#xff0c;使本教程成为一个精炼的教程&#xff0c;概述帮助您入门的关键概念和要点 今天&#xff0c;我写这篇文章是为了…

机器学习实验----逻辑回归实现二分类

目录 一、介绍 二、sigmoid函数 &#xff08;1&#xff09;公式&#xff1a; &#xff08;2&#xff09;sigmoid函数的输入 预测函数&#xff1a; 以下是sigmoid函数代码&#xff1a; 三、梯度上升 &#xff08;1&#xff09;似然函数 公式&#xff1a; 概念&#xff…

fpga系列 HDL 00 : 可编程逻辑器件原理

一次性可编程器件&#xff08;融保险丝实现&#xff09; 一次性可编程器件&#xff08;One-Time Programmable Device&#xff0c;简称 OTP&#xff09;是一种在制造后仅能编程一次的存储设备。OTP器件在编程后数据不可更改。这些器件在很多应用场景中具有独特的优势和用途。 …

python中import的搜索路径

文章目录 前言 一 python中import的搜索路径1. python中import的搜索路径先判断是否内置模块根据sys.path查找1.1 脚本当前目录和所属项目目录1.2 环境变量1.3 标准库1.4 .pth 文件1.5 第三方库 2. 解决ModuleNotFoundError 前言 码python时经常会遇到找不到包或者找不到模块的…

【考研数学】线代除了「李永乐」,还能跟谁?

考研线代&#xff0c;除了利用了老师&#xff0c;我觉得还有一个宝藏老师的课程值得听&#xff01; 那就是喻老&#xff0c;这个是我在b站上面新发现的老师&#xff0c;听完他的课程发现真的喜欢 他不仅在B站上开设了课程&#xff0c;还编写了配套的线性代数辅导讲义&#xff…

Chrome谷歌浏览器如何打开不安全页面的禁止权限?

目录 一、背景二、如何打开不安全页面被禁止的权限&#xff1f;2.1 第一步&#xff0c;添加信任站点2.2 第二步&#xff0c;打开不安全页面的权限2.3 结果展示 一、背景 在开发过程中&#xff0c;由于测试环境没有配置 HTTPS 请求&#xff0c;所以谷歌浏览器的地址栏会有这样一…

我用 Midjourney 的这种风格治愈了强迫症

在 Midjourney 能够实现的各种布局之中&#xff0c;有两种风格因其简洁、有序而独居魅力&#xff0c;它们就是平铺 (Flat Lay) 和 Knolling (Knolling 就是 Knolling, 无法翻译&#x1f923;)。要在现实生活中实现这样的美学效果并不容易&#xff0c;你需要精心挑选各种小物件&…

【UE Slate】 虚幻引擎Slate开发快速入门

目录 0 引言1 Slate框架1.0 控件布局1.1 SWidget1.1.1 SWidget的主要作用1.1.2 SWidget的关键方法1.1.3 使用SWidget创建自定义控件1.1.4 结论 1.2 SCompoundWidget1.2.1 SCompoundWidget的主要作用1.2.2 SCompoundWidget的使用示例1.2.3 SCompoundWidget的关系1.2.4 总结 1.3 …

python数据分析:爬取某东商城商品评论数据并做词云展示(含完整源码及详细注解)

python数据分析,爬取某东商城商品评论数据并做词云展示。 一、明确爬取的网页及结构 找到要爬取的网页地址,发现有一个获取json格式评论数据的接口: url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=217…

数据结构——不相交集(并查集)

一、基本概念 关系&#xff1a;定义在集合S上的关系指对于a&#xff0c;b∈S&#xff0c;若aRb为真&#xff0c;则a与b相关 等价关系&#xff1a;满足以下三个特性的关系R称为等价关系 (1)对称性&#xff0c;aRb为真则bRa为真&#xff1b; (2)反身性,aRa为真; (3)传递性,aRb为真…

【Qt Creator】跨平台的C++图形用户界面应用程序开发框架---QT

&#x1f341;你好&#xff0c;我是 RO-BERRY &#x1f4d7; 致力于C、C、数据结构、TCP/IP、数据库等等一系列知识 &#x1f384;感谢你的陪伴与支持 &#xff0c;故事既有了开头&#xff0c;就要画上一个完美的句号&#xff0c;让我们一起加油 目录 1.互联网的核心岗位以及职…

3D工业视觉

前言 本文主要介绍3D视觉技术、工业领域的应用、市场格局等&#xff0c;主要技术包括激光三角测量、结构光、ToF、立体视觉。 一、核心内容 3D视觉技术满足工业领域更高精度、更高速度、更柔性化的需求&#xff0c;扩大工业自动化的场景。 2D视觉技术基于物体平面轮廓&#…

JavaScript面试 题

1.延时加载JS有哪些方式 延时加载 :async defer 例如:<script defer type"type/javascript" srcscript.js></ script> defer:等html全部解析完成,才会执行js代码,顺次执行的 async: js和html解析是同步的,不是顺次执行js脚本(谁先加载完先执行谁)2.JS数…