EM算法总结

news/2024/3/29 7:00:59/文章来源:https://blog.csdn.net/lichengxiang000/article/details/129132750

目录

一。Jensen不等式:若f是凸函数

二。最大似然估计 

三。二项分布的最大似然估计

四。进一步考察 

1.按照MLE的过程分析 

2.化简对数似然函数 

3.参数估计的结论 

4.符合直观想象

五。从直观理解猜测GMM的参数估计 

1.问题:随机变量无法直接(完全)观察到 

2.从直观理解猜测GMM的参数估计 

3.建立目标函数 

4.第一步:估算数据来自哪个组份 

5.估计每个组份的参数 

六。EM算法的提出  

1.通过最大似然估计建立目标函数

 2.问题的提出​编辑

3.Jensen不等式

4.寻找尽量紧的下界 

5.进一步分析

七。EM算法整体框架 

八。从理论公式推导GMM 

1.E-step 

2.M-step 

3.对均值求偏导 

4.高斯分布的均值 

5.高斯分布的方差:求偏导,等于0 

6.多项分布的参数 

7.拉格朗日乘子法 

8.求偏导,等于0 

9.总结

九。pLSA模型 

1.D代表文档,Z代表主题(隐含类别),W代表单词;

2.最大似然估计:wj在di中出现的次数​编辑 

3.目标函数分析  

4.求隐含变量主题zk的后验概率 

5.分析似然函数期望  

6.关于参数P(zk|di)P(wj|zk) 的似然函数期望 

7.完成目标函数的建立 

8.目标函数的求解 

9.分析第一个等式

10.同理分析第二个等式 

11.pLSA的总结 

12. pLSA进一步思考


一。Jensen不等式:若f是凸函数

经典的K-means聚类方法,能够非常方便的将未标记的样本分成若干簇; 
但无法给出某个样本属于该簇的后验概率。

其他方法可否处理未标记样本呢?  

二。最大似然估计 

找出与样本的分布最接近的概率分布模型。简单的例子 
10次抛硬币的结果是:正正反正正正反反正正

假设p是每次抛硬币结果为正的概率。则:得到这样的实验结果的概率是: 

最优解是:p=0.7  

三。二项分布的最大似然估计

投硬币试验中,进行N次独立试验,n次朝上,N-n次朝下。 

假定朝上的概率为p,使用对数似然函数作为目标函数: 

四。进一步考察 

若给定一组样本x1,x2…xn,已知它们来自于高斯分布N(μ,σ),试估计参数μ,σ。  

1.按照MLE的过程分析 

高斯分布的概率密度函数: 

将Xi的样本值xi带入,得到: 

 

2.化简对数似然函数 

 

3.参数估计的结论 

 

4.符合直观想象

上述结论和矩估计的结果是一致的,并且意义非常直观:样本的均值即高斯分布的均值,样本的伪方差即高斯分布的方差。  

五。从直观理解猜测GMM的参数估计 

1.问题:随机变量无法直接(完全)观察到 

随机挑选10000位志愿者,测量他们的身高:若样本中存在男性和女性,身高分别服从N(μ1,σ1)和N(μ2,σ2)2)的分布,试估计μ1,σ1,1,μ2,σ2 。

给定一幅图像,将图像的前景背景分开 

无监督分类:聚类/EM 

2.从直观理解猜测GMM的参数估计 

随机变量X是有K个高斯分布混合而成,取各个高斯分布的概率为π1π2... πK,第i个高斯分布的均值为μi,方差为Σi。若观测到随机变量X的一系列样本x1,x2,...,xn,试估计参数π,μ,Σ。 

3.建立目标函数 

由于在对数函数里面又有加和,无法直接用求导解方程的办法直接求得最大值。为了解决这个问题,我们分成两步。

4.第一步:估算数据来自哪个组份 

估计数据由每个组份生成的概率:对于每个样本xi,它由第k个组份生成的概率为 

 

上式中的μ和Σ也是待估计的值,因此采样迭代法:在计算γ(i,k)时假定μ和Σ已知; 

        需要先验给定μ和Σ。 

        γ(i,k) 亦可看成组份k在生成数据xi时所做的贡献。 

5.估计每个组份的参数 

对于所有的样本点,对于组份k而言,可看做生成了 这些点。组份k是一个标准的高斯分布,利用上面的结论:  

六。EM算法的提出  

假定有训练集  包含m个独立样本,希望从中找到该组数据的模型p(x,z)的参数。

1.通过最大似然估计建立目标函数

取对数似然函数 

 

 2.问题的提出

z是隐随机变量,不方便直接找到参数估计。策略:计算l(θ)下界,求该下界的最大值;重复该过程,直到收敛到局部最大值。  

3.Jensen不等式

 

4.寻找尽量紧的下界 

为了使等号成立 

 

5.进一步分析

 

七。EM算法整体框架 

 

八。从理论公式推导GMM 

随机变量X是有K个高斯分布混合而成,取各个高斯分布的概率为φ1φ2... φK,第i个高斯分布的均值为μi,方差为Σi。若观测到随机变量X的一系列样本x1,x2,...,xn,试估计参数φ,μ,Σ。 

1.E-step 

2.M-step 

将多项分布和高斯分布的参数带入: 

 

3.对均值求偏导 

 

4.高斯分布的均值 

令上式等于0,解的均值: 

 

5.高斯分布的方差:求偏导,等于0 

 

6.多项分布的参数 

考察M-step的目标函数,对于φ,删除常数项 

 

得到 

 

7.拉格朗日乘子法 

由于多项分布的概率和为1,建立拉格朗日方程

  

求解的φi一定非负,不用考虑φi≥0这个条件 

8.求偏导,等于0 

 

9.总结

对于所有的数据点,可以看作组份k生成了这些点。组份k是一个标准的高斯分布,利用上面的结论: 

 

九。pLSA模型 

基于概率统计的pLSA模型(probabilistic Latent Semantic Analysis,概率隐语义分析),增加了主题模型,形成简单的贝叶斯网络,可以使用EM算法学习模型参数。  

1.D代表文档,Z代表主题(隐含类别),W代表单词;

        P(di)表示文档di的出现概率

        P(zk|di)表示文档di中主题zk的出现概率

        P(wj|zk)表示给定主题zk出现单词wj的概率

每个主题在所有词项上服从多项分布,每个文档在所有主题上服从多项分布。

整个文档的生成过程是这样的:

        以P(di)的概率选中文档di 

        以P(zk|k|di)的概率选中主题zk

        以P(wj|zk)的概率产生一个单词wj 

观察数据为(di,i,wj)对,主题zk是隐含变量。 

(di,wj)的联合分布为 

对应了两组多项分布,而计算每个文档的主题分布,就是该模型的任务目标。  

2.最大似然估计:wj在di中出现的次数 

 

3.目标函数分析  

4.求隐含变量主题zk的后验概率 

 

5.分析似然函数期望  

在(di,wj ,zk)已知的前提下,求关于参数P(zk|di)、P(wj|zk) 的似然函数期望的最大值,得到最优解P(zk|di)、P(wj|zk) ,带入上一步,从而循环迭代; 

6.关于参数P(zk|di)P(wj|zk) 的似然函数期望 

7.完成目标函数的建立 

 

显然,这是只有等式约束的求极值问题,使用Lagrange乘子法解决。  

8.目标函数的求解 

 

9.分析第一个等式

 

10.同理分析第二个等式 

 

11.pLSA的总结 

pLSA应用于信息检索、过滤、自然语言处理等领域,pLSA考虑到词分布和主题分布,使用EM算法来学习参数。 
虽然推导略显复杂,但最终公式简洁清晰,很符合直观理解,需用心琢磨;此外,推导过程使用了EM算法,也是学习EM算法的重要素材。  

12. pLSA进一步思考

pLSA不需要先验信息即可完成自学习——这是它的优势。如果在特定的要求下,需要有先验知识的影响呢? 

答:LDA模型;

        三层结构的贝叶斯模型 
        需要超参数 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_71978.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

开发日记-lombok

开发日记-lombok环境问题解决方案:1 Data注解失效 无法正常生成 get和set方法2 RequiredArgsConstructor(onConstructor _(Lazy)) 符号_无法识别环境 idea2020.1lombok1.18.24jdk1.8 问题 Data注解失效 无法正常生成 get和set方法RequiredArgsConstructor(onCons…

C++——map和set的应用总结

目录1. 关联式容器2. 键值对3. 树形结构的关联式容器3.1 set3.1.1 set的介绍3.1.2 set的使用3.2 multiset3.2.1 multiset的介绍3.2.2 multiset的使用3.3 map3.3.1 map的介绍3.3.2 map的使用operator[]3.4 multimap3.4.1 multimap的介绍3.4.2 multimap的使用3.5 map和set在OJ中的…

大学计算机基础 知识点总结

一/ 计算机的发展、类型及其应用领域。 1. 计算机(computer)是一种能自动、高速进行大量算术运算和逻辑运算的电子设备。 其特点为:速度快、精度高、存储容量大、通用性强、具有逻辑判断和自动控制能力。 2. 第一台计算机:ENIAC,美国&#…

【TensorFlow 】查看Tensorflow和python对应版本、将现有的TensorFlow更新到指定的版本

1、查看Tensorflow和python对应版本 1.1这里我是在TensorFlow官方网址产看的 1、打开官方网址 https://pypi.org/project/tensorflow/1.1.0rc2/#files但是这个网址好像打不开,点击会出现这样 问题不大 输入Tensorflow然后点击搜索,就会跳转到https://p…

面试官:说说react的渲染过程

hello,这里是潇晨,大家在面试的过程中有没有遇到过一些和react相关的问题呢,比如面试官让你说说react渲染的过程,这到题目比较开放,也比较考验大家对react渲染原理以及源码的整体架构的理解。 整体流程: r…

Vue — 详解mixins混入使用

前言 当我们的项目越来越大,我们会发现组件之间可能存在很多相似的功能,你在一遍又一遍的复制粘贴相同的代码段(data,method,watch、mounted等),如果我们在每个组件中去重复定义这些属性和方法会…

DJI 无人机 Onboard SDK ROS 功能包demo运行

DJI 无人机 Onboard SDK ROS 功能包demo运行demo功能准备测试环境运行 dji sdk 节点运行 demo 节点自动飞行任务航点自动飞行兴趣点环绕自动飞行飞行控制本地坐标位置控制搭建好 Onboard SDK ROS 的开发环境后,功能包自身具备一些写好的demo功能案例 dji sdk 的节点…

接口服务熔断方案

一.熔断方式1.中间件支持熔断2.支持节点级熔断2.支持url前缀匹配二.配置1.延迟方式expression "LatencyAtQuantileMS(50.0) > 100"//50%延迟超过100ms2.失败率方式expression "NetworkErrorRatio() > 0.30" //失败率超过30%3.组合方式expression …

Python学习-----文件操作(读写定位篇)

目录 前言: 1.打开文件 (open) 关闭文件(close) 2.文件的读取(文件变量名 f) (1)整体读取(read) (2)读取一行(readline) (3)读…

三次握手四次挥手详细解析面试常问

文章目录1.第2次握手传回了ACK,为什么还要传回SYN?2.断开连接-TCP 四次挥手3.为什么要四次挥手?4.为什么不能把服务器发送的 ACK 和 FIN 合并起来,变成三次挥手?5.如果第二次挥手时服务器的 ACK 没有送达客户端&#x…

51-52 - 进程状态设计

---- 整理自狄泰软件唐佐林老师课程 文章目录1. 问题2. 进程状态设计2.1 任务生命周期2.2 任务的状态2.3 任务的生命周期与状态切换2.4 状态切换概要设计2.4.1 核心数据结构>内核队列2.4.2 KillTask() 实现思路2.4.3 整体实现规划2.4.4 编程实验:任务生命周期状态…

Axios二次封装和Api的解耦

目录 一、axios三种基本写法 二、axios的二次封装 三、Api的解耦 一、axios三种基本写法 1)get方法(是最简单的): 写法二: 2)post: 3)axios请求配置 默认是get请求,如…

蓝海创意云vLive虚拟直播亮相2023昆山元宇宙产品展览会

2月15日-19日,由中国计算机行业协会“元宇宙创见未来”2023元宇宙产品展览会在江苏昆山隆重召开,共吸引了省内外32家企业参展,展出近百款元宇宙产品或技术,涵盖芯片、显示、VR、AR等硬件设备,以及工业、文旅、娱乐、教…

IDEA性能优化设置(解决卡顿问题)修改内存

在我们日常使用IDEA进行开发时,可能会遇到许多卡顿的瞬间,明明我们的机器配置也不低啊?为什么就会一直卡顿呢? 原来这是因为IDEA软件在我们安装的时候就设置了默认的内存使用上限(通常很小),这就…

火山引擎数智平台 ByteHouse 入围稀土掘金《Top10 年度创新产品》

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 近日,国内开发者技术社区稀土掘金发布「2022 稀土掘金引力榜」,旨在盘点 2022 年在数字化转型领域内最具影响力、创新力及潜质的个人、企业、…

ASP.NET MVC | 简介

目录 前提 1.教程 2.MVC 编程模式 最后 前提 在学习学过很多课程,但是最主要学的还是ASP.NET MVC这门课程,工作也是用的ASP.NET MVC,所以写一点ASP.NET MVC的东西,大家可以来看看,我自己不会的时候也不用找别的地方…

「TCG 规范解读」第8章 TPM工作组 TPM 1.2中 SHA1的使用

可信计算组织(Ttrusted Computing Group,TCG)是一个非盈利的工业标准组织,它的宗旨是加强在相异计算机平台上的计算环境的安全性。TCG于2003年春成立,并采纳了由可信计算平台联盟(the Trusted Computing Platform Alli…

如何使用 ChatGPT 编写 SQL JOIN 查询

通过清晰的示例和解释,本文展示了 ChatGPT 如何简化和简化创建复杂 MySQL 查询的过程,使用户更容易与数据库交互并检索他们需要的数据。无论您是初学者还是经验丰富的开发人员,本文都提供了有关如何利用 ChatGPT 来增强您的 MySQL 查询编写技…

微信公众号抽奖怎么做_分享微信抽奖小程序制作的好处

在H5游戏中,抽奖是最受消费者喜爱的模式之一。将H5微信抽奖活动结合到营销中,可以带来意想不到的效果,带流量和曝光率,所以许多企业也会在做活动时添加上不同类型的H5微信抽奖活动。编辑那么,新手怎么搭建微信抽奖活动…

钓鱼网站+persistence植入后门程序+创建用户

本实验实现1: 利用MS14-064漏洞,会生成一个网址,诱导用户点击,打开后,会直接连接到发起攻击的主机上,即可攻击成功。 本实验实现2: 一旦入侵成功,则拿到控制目标主机的部分权限&…