多元正态分布(Multivariate Normal Distribution)

news/2024/4/12 23:12:20/文章来源:https://blog.csdn.net/weixin_39699362/article/details/136433013

多元正态分布(Multivariate Normal Distribution),也称为多变量高斯分布,是单变量正态分布(高斯分布)在多维空间中的推广。它是描述位于多维空间中的随机向量的分布情况的一种概率分布。多元正态分布在统计分析、机器学习、模式识别等多个领域有着广泛的应用。
在数学上,一个n维随机向量 X = [ X 1 , X 2 , … , X n ] T \mathbf{X} = [X_1, X_2, \ldots, X_n]^T X=[X1,X2,,Xn]T 如果服从多元正态分布,可以用以下的密度函数来描述:
f ( x ; μ , Σ ) = 1 ( 2 π ) n ∣ Σ ∣ exp ⁡ ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) f(\mathbf{x}; \boldsymbol{\mu}, \boldsymbol{\Sigma}) = \frac{1}{\sqrt{(2\pi)^n|\boldsymbol{\Sigma}|}} \exp\left(-\frac{1}{2}(\mathbf{x} - \boldsymbol{\mu})^T \boldsymbol{\Sigma}^{-1}(\mathbf{x} - \boldsymbol{\mu})\right) f(x;μ,Σ)=(2π)nΣ 1exp(21(xμ)TΣ1(xμ))
其中:

  • x \mathbf{x} x 是一个具体的实数向量 [ x 1 , x 2 , … , x n ] T [x_1, x_2, \ldots, x_n]^T [x1,x2,,xn]T
  • μ \boldsymbol{\mu} μ 是一个n维均值向量 [ μ 1 , μ 2 , … , μ n ] T [\mu_1, \mu_2, \ldots, \mu_n]^T [μ1,μ2,,μn]T,表示各个分量的平均值。
  • Σ \boldsymbol{\Sigma} Σ是一个 n × n n \times n n×n的协方差矩阵,表示各分量之间的协方差,描述了变量之间的相关性。矩阵 Σ \boldsymbol{\Sigma} Σ必须是对称的和半正定的。
  • ∣ Σ ∣ |\boldsymbol{\Sigma}| Σ 是协方差矩阵的行列式。

特征:

  1. 每个分量 X i X_i Xi 自身是正态分布的。
  2. 任意两个分量 X i X_i Xi X j X_j Xj 的线性组合也服从正态分布。
  3. 分量之间可以是相互独立的,如果协方差矩阵 Σ \boldsymbol{\Sigma} Σ是对角矩阵;如果协方差矩阵是单位矩阵,且各随机变量有相同的方差,则这些变量不仅相互独立,而且是标准正态分布的。
  4. 多元正态分布的概率密度函数的等高线总是椭球型的,其形状、大小和方向取决于均值向量 μ \boldsymbol{\mu} μ 和协方差矩阵 Σ \boldsymbol{\Sigma} Σ
  5. 协方差矩阵的特征值和特征向量决定了这些椭球的方向和轴的长度。

在实际应用中,参数 μ \boldsymbol{\mu} μ Σ \boldsymbol{\Sigma} Σ 通常通过样本的均值和样本协方差矩阵来估计。多元正态分布是许多多变量统计方法的基础,如多变量回归分析、主成分分析(PCA)等。

多元正态分布的性质主要包括以下几点:

  1. 线性变换
  • 如果一个随机向量 X \mathbf{X} X 服从多元正态分布 N ( μ , Σ ) N(\boldsymbol{\mu}, \boldsymbol{\Sigma}) N(μ,Σ),则对于任意线性变换 A X + b \mathbf{AX} + \mathbf{b} AX+b,其中 A \mathbf{A} A 是一个常数矩阵, b \mathbf{b} b 是一个常数向量,变换后的随机向量也服从多元正态分布。
  1. 边缘分布
  • 多元正态随机向量的任何子集也服从多元正态分布。例如,如果 X \mathbf{X} X 是一个多元正态分布,那么 X \mathbf{X} X中的任何元素或者元素的子集也是正态分布的。
  1. 条件分布
  • 在多元正态分布中,条件分布也是正态分布。也就是说,一个或多个变量给定条件下其他变量的分布仍然是正态分布。
  1. 独立性
  • 如果两个或多个随机变量之间的协方差为零,则这些随机变量在多元正态分布中是独立的。
  1. 非奇异协方差矩阵
  • 多元正态分布要求协方差矩阵 Σ \boldsymbol{\Sigma} Σ是非奇异的,即 Σ \boldsymbol{\Sigma} Σ的行列式不为零。这意味着所有变量都有正方差,且没有完全的线性关系。
  1. 概率密度函数的形状
  • 当协方差矩阵是对角矩阵时,各个变量之间独立,概率密度函数的等高线是轴对齐的椭圆形(或超椭球形)。当协方差矩阵具有非对角线元素时,等高线会旋转和倾斜,反映出变量之间的相关性。
  1. 均值向量和协方差矩阵的决定作用
  • 均值向量 μ \boldsymbol{\mu} μ确定了多元正态分布的中心位置,而协方差矩阵 Σ \boldsymbol{\Sigma} Σ 决定了分布的形状和变量间的相关性。
  1. 无偏估计
  • 样本均值和样本协方差矩阵是多元正态分布参数的无偏估计。
  1. 最大熵性质
  • 在给定均值向量和协方差矩阵的条件下,多元正态分布具有最大熵,这意味着它在所有可能的概率分布中具有最大的不确定性。这使得多元正态分布在自然界和社会科学中的数据建模中非常普遍。

这些性质使得多元正态分布在理论研究和实际应用中都非常重要,尤其是在统计推断、风险管理、机器学习和许多其他领域。

在多元正态分布中,有些特殊的情况是值得注意的:

  1. 标准多元正态分布:
  • 当均值向量 μ \boldsymbol{\mu} μ是零向量,协方差矩阵 Σ \boldsymbol{\Sigma} Σ是单位矩阵时,即所有随机变量都有均值 0 和方差 1,且彼此独立,这种多元正态分布称为标准多元正态分布。
  1. 各向同性多元正态分布:
  • 如果协方差矩阵 Σ \boldsymbol{\Sigma} Σ是一个标量乘以单位矩阵,即 σ 2 I \sigma^2\mathbf{I} σ2I,这表明所有变量都有相同的方差 σ 2 \sigma^2 σ2,并且彼此独立。这种分布的等高线在空间中具有各向同性的性质,无论从哪个方向看都是相同的。
  1. 相关多元正态分布:
  • 当协方差矩阵的非对角线元素不为零时,不同变量之间存在线性相关性。相关性由协方差矩阵的非对角元素的符号和大小确定。
  1. 退化多元正态分布:
  • 如果协方差矩阵 Σ \boldsymbol{\Sigma} Σ 的行列式为零,也就是说矩阵不是满秩的,那么这个多元正态分布被称为退化的。在这种情况下,随机变量间存在完全的线性关系,导致分布不再有一个良好定义的密度。退化分布的支持是在一个维度低于其变量数的空间中。
  1. 条件多元正态分布:
  • 在多元正态分布中,给定一些变量值后,剩余变量的条件分布仍然是多元正态分布。条件分布的均值和协方差可以通过已知变量的值计算得出。
  1. 截断多元正态分布:
  • 当多元正态分布在某些区域被截断时,例如某些变量只能取正值,那么在这个区域内的分布是截断多元正态分布。

上述特殊情况下的多元正态分布在理论探讨和实际应用中都有重要的地位,比如在金融模型、社会科学研究、工程问题等领域。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_997626.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

异常以及处理异常

认识异常 异常:就是代表程序出现的问题 方法一旦出现问题,方法的内部就会把这个问题的信息封装成一个所谓的异常对象,然后把这个异常对象从main方法中抛出去,抛给JVM虚拟机,JVM收到这个异常之后,会把程序先…

【MySQL 系列】MySQL 起步篇

MySQL 是一个开放源代码的、免费的关系型数据库管理系统。在 Web 开发领域,MySQL 是最流行、使用最广泛的关系数据库。MySql 分为社区版和商业版,社区版完全免费,并且几乎能满足全部的使用场景。由于 MySQL 是开源的,我们还可以根…

ChatGPT数据分析应用——同期群分析

ChatGPT数据分析应用——同期群分析 ​ 同期群分析在一定程度上属于分组分析的一个变种。顾名思义,同期群就是相同时期的群体,同期群分析就是针对相同时期的群体展开分析。接下来我们让ChatGPT解释这个方法的概念并提供相应的案例。发送如下内容给ChatG…

Python高级一

一、介绍 1、特点 面向对象 对象:对客观事物的抽象 对一个具体事务的存在,现实生活中可以看得见摸得着的 可以直接使用的 2、类和对象的关系 类:对对象的抽象 具有相似内部状态和运动规律的实体的集合(或统称为抽象) 具有相同属性和行…

nicegui学习使用

https://www.douyin.com/shipin/7283814177230178363 python轻量级高自由度web框架 - NiceGUI (6) - 知乎 python做界面,为什么我会强烈推荐nicegui 秒杀官方实现,python界面库,去掉90%事件代码的nicegui python web GUI框架-NiceGUI 教程…

redis最新版本在Windows系统上的安装

一、说明 这次安装操作主要是根据redis官网说明,一步步安装下来的,英语比较好的同学,可以直接看文章底部的超链接1,跳到官网按步操作即可。 目前redis的最新稳定版本为redis7.2。 二、Windows环境改造 Redis在Windows上不被官方…

设置Matlab2022a断点查看参数变化

Matlab2022a设置断点,查看参数变化 本文使用的是下载好的matlab2022a软件,下载加安装matlab预计1小时(百度网盘加速)。需要的安装包的评论。 安装好的matlab界面如下: 接下来,编辑一个.m文件,…

【Linux篇】Linux下利用git同步到gitee

💛不要有太大压力🧡 💛生活不是选择而是热爱🧡 💚文章目录💚 1. 克隆仓库到本地:git clone2. 添加:git add3. 提交:git commit4. 推送:git push5. 查看日志&a…

EMMC的介绍

1、emmc的含义 eMMC (Embedded Multi Media Card)是MMC协会订立、主要针对手机或平板电脑等产品的内嵌式存储器标准规格。eMMC在封装中集成了一个控制器,提供标准接口并管理闪存,使得手机厂商就能专注于产品开发的其它部分,并缩短向市场推出产…

linux救援模式恢复

只需要在这里的shell键入一条命令: xfs_repair -v -L /dev/dm-0 命令为修复磁盘命令 执行完成后即可重启,恢复正常。 如果输入xfs_repair -v -L /dev/dm-0 ,报 no such file or directionary 的错误,是没有这个设备。 输入jou…

李沐动手学习深度学习——3.6练习

本节直接实现了基于数学定义softmax运算的softmax函数。这可能会导致什么问题?提示:尝试计算exp(50)的大小。 可能存在超过计算机最大64位的存储,导致精度溢出,影响最终计算结果。 本节中的函数cross_entropy是根据交叉熵损失函数…

【Redis项目实战】使用Springcloud整合Redis分布式锁+RabbitMQ技术实现高并发预约管理处理系统

🎉🎉欢迎光临🎉🎉 🏅我是苏泽,一位对技术充满热情的探索者和分享者。🚀🚀 🌟特别推荐给大家我的最新专栏《Redis实战与进阶》 本专栏带你Redis从入门到入魔 这是苏泽的个…

SAR ADC学习笔记(4)

CDAC电容阵列 一、电容失配 二、电容失配对CDAC线性度的影响 1.电容失配对DNL的影响 2.电容失配对INL的影响 三、分段结构的CDAC 四、CDAC开关切换方案&#xff1a;传统开关切换策略 第一次比较阶段&#xff1a;如果VP(1)-VN(1)<0 第一次比较阶段&#xff1a;如果VP(1)-VN…

Gemini 初体验

1 使用体验 同样需要科学上网。速度很快&#xff0c;而且还不要钱&#xff0c;据说使用太多可能被限流。对于小语种翻译效果比 GPT-4 好&#xff0c;其它还没测试。可通过 ChatBox 界面调用&#xff0c;也可使用 Python 调用。 2 使用 ChatBox 方式调用 在 build with gemin…

Linux基础命令[12]-cat

文章目录 1. cat 命令说明2. cat 命令语法3. cat 命令示例3.1 不加参数3.2 -n&#xff08;显示行号&#xff09;3.3 -E&#xff08;行尾加 $&#xff09;3.4 -s&#xff08;多行并一行&#xff09; 4. 总结 1. cat 命令说明 cat&#xff1a;用来查看文件内容&#xff0c;因为 …

STM32 学习9 中断、外部中断及定时器中断

STM32 学习9 中断、外部中断及定时器中断 一、STM32中断介绍一、STM32中断介绍1. 什么是中断&#xff1f;2. 中断在嵌入式系统中的作用和重要性3. STM32中断的概述 4. 中断的优先级4.1 中断优先级级别4.2 中断优先级分类&#xff08;1&#xff09;硬件优先级&#xff08;2&…

Effective C++ 学习笔记 条款16 成对使用new和delete时要采取相同形式

以下动作有什么错&#xff1f; std::string *stringArray new std::string[100]; // ... delete stringArray;每件事看起来都井然有序&#xff0c;使用了new&#xff0c;也搭配了对应的delete。但还是有某样东西完全错误&#xff1a;你的程序行为未定义。至少&#xff0c;str…

聊一聊ThreadLocal的原理?

1.ThreadLocal创建方式 ThreadLocal<String> threadlocal1 new ThreadLocal(); ThreadLocal<String> threadlocal2 new ThreadLocal(); ThreadLocal<String> threadlocal3 new ThreadLocal(); 2.首先介绍一下&#xff0c;ThreadLocal的原理&#xff1a; 如…

buuctf EasyBypass --不会编程的崽

buu后边的题有些确实难&#xff0c;有些其实也没那么复杂。昨天做一道异或绕过的题&#xff0c;现在还没看懂QAQ 先来一题简单的吧。哎&#xff0c;随缘更新吧 <?phphighlight_file(__FILE__);$comm1 $_GET[comm1]; $comm2 $_GET[comm2];if(preg_match("/\|\|\\|\…

开源分子对接程序rDock使用方法(1)-Docking in 3 steps

欢迎浏览我的CSND博客&#xff01; Blockbuater_drug …点击进入 文章目录 前言一、Docking in 3 steps 标准对接rDock 的基本对接步骤及注意事项 二、 三步对接案例Step 1. 结构文件准备Step 2. 产生对接位点Step 3. 运行分子对接3.1 检查输入文件3.2 测试-只进行打分3.3 运行…