-
EM算法详细例子及推导
EM算法详细例子及推导数θ),那么对于上面的实验,我们可以计算出他们出现我们观察到的结果即0=(5,9,.8,4,7,20=(B,A,A,B,4)的概率函数P(X=x10),2z)⑨)就叫做θ的似然函数。我们将它对θ求偏导并令偏导数为0,就可以得到如的结果P(X=x0,=20))=(;P(z=A)3(1-P(z=A)2C10(1-64)10A(1-6C104(1-0(1-6B)C106n(1-6我们将这个问题稍微改变一下,我们将我们所观察到的结果修改一…下我们现在只知道每次试验有几次投掷出正面,但是不知道每次试验投掷的是哪个硬币,也就是说我们只知道表中第一列和第三列。这个时候我们就称Z为隐藏变量( Hidden variable),X称为观察变量( Observed variable)。这个时候再来估计参数θ4和θB,就没有那么多数据可供使用了,这个时侯的估计叫做不完整数据的参数估计。如果我们这个时候冇某种方法(比如,正确的猜到每次投掷硬币是A还是B),这样的话我们就可以将这个不完整的数据估计变为完整数据估计当然我们如果没有方法来获得更多的数据的话,那么下面提供了一种在这种不完整数据的情况下来估计参数θ的方法。我们用迭代的方式来进行:(1)我们先赋给θ一个初始值,这个值不管是经验也好猜的也好,反正我们给它一个初始值。在实际使用中往往这个初始值是有其他算法的结果给岀的,当然随机给他分配一个符合定义域的值也可以。这里我们就给定64=0.7,6B=0.4(2)然后我们根据这个来判断或者猜测每次投掷更像是哪枚硬币投掷的结果。比如对于试验1,如果投掷的是Δ,那么出现5个止面的概率为C10×0.75×(1-07)5≈0.1029:;如果投掷的是B,出现5个正面的概率为C105×0.43×(1-0.4)5≈0.2007;基于试验1的试验结果,可以判断这个试验投掷的是使币A的概率为0.10290.10290.2007)-0.389是B的概率为02007(0.1029+0.2007)06611。因此这个结果更可能是投掷B出现的结果(3)假设上一步猜测的结果为B,A,A,B,A,那么恨据这个猜测,可以像完整数据的参数仙计一样(公式2重新计算的值这样一次一次的迭代2-3步骤直到收敛,我们就得到了θ的估计。现在你可能有疑问,这个方法靠谱么?事实证明,它确实是靠谱的。期望最大化算法就是在这个想法上改进的。它在估计每次投掷的硬币的吋候,并不要确定住这次就是硬币A或者B,它计算岀来这次投掷的硬币是A的概率和是B的概率;然后在用这个概率(或者叫做Z的分布)来计算似然函数。期望最大化算法步骤总结如下:F步骤先利用旧的参数值〃计算隐藏变量Z的(条件)分布P(万=2|Xn2),然后计算logP(,X=m)的期望B(o(2,X=x)=∑∑P(Z=别X=)P(Z=X=x)其中θ是当前的值,而θ是上一次迭代得到的值。公式中已经只剩下θ一个变量了,θ是一个确定的值,这个公式或者函数常常叫做Q函数,用Q(6,6)来表示。M步骤极大化Q,往往这一步是求导,得到由旧的θ值′米计算新的θ值的公式aQ总结一下,期望最大化算法就是先根据参数初值估计隐藏变量的分布,然后根据隐藏变量的分布来计算观察变量的似然函数,估计参数的值。前者通常称为E步骤,后者称为M步骤3数学基础首先来明确一下我们的目标:我们的目标是在观察变量X和给定观察样本:1,x2,…,rn的情況下,极大化对数似然函数(=>nP(X2=x;)(5)其中只包含观察变量的概率密度函数P(X2=2)=∑P(X=n,=)这里因为参数θ的写法与条件概率的写法相同,因此将参数θ写到下标以更明确的表述其中Z为隐藏随机变量,{}是Z的所有可能的取值。那么6)=∑h∑P(X=x,z=2)∑h∑。Px=x这里我们引入了一组参数(不要怕多,我们后面会处理掉它的)a,它满足可能的;,0;∈(0,1和∑;a=1到这里,先介绍一个凸函数的性质,或者叫做凸函数的定义。∫(x)为凸函数,=1,2,…,m,A∈[0,1∑1A对∫(x)定义域中的任意n个m1,x2,…,xn有f(∑Aa)≤∑mf(xr)i=1对于严格凸函数,上面的等号只有在x1=2xn的时候成立。关于凸函数的其他性质不再赘述。对数函数是一个严格凸数。因而我们可以有下面这个结果0)=∑hn∑≥∑∑ah(X=2n,2=C现在我们根据等号成立的条件来确定a;即P(X=x,Z=2)C(10)其中c是一个与j无关的常数。因为∑,=1,稍作变换就可以得到P(X;=x;)现在来解释下我们得到了什么。c;就是Z=2;在X=x;下的条件概率戌者后验概率。求α就是求隐藏随机变量Z的条件分布。总结一下目前得到的公式就是)-∑∑P(Xi=i,Z(12)直接就极大值比较难求,EM算法就是按照下面这个过程来的。它就是大名鼎鼎的琴生( Jensen)不等式(1)根据上一步的θ来计算α,即隐藏变量的条件分布(2)极大化似然函数来得到当前的的估计3.1极大似然估计好吧,我觉得还是再说说极大似然估计吧。给定一个概率分布D,假设其概率密度函数为f,其中f带有一组参数6。为了估计这组参数6,我们可以从这个分布中抽出一个具有n个采样值的X1,X2,…,Yn,那么这个就是n个(假设独立)同分布随机变量,他们分别有取值x1,x2…,xn,那么我们就可以计算出出现这样一组观察值的概率密度为lI f(ai)(13)对于f是离散的情况,就计算出现这组观察值的概率10)注意,这个函数中是含有参数0的。0的极大似然估计就是求让上面似然函数取极大值的时候的参数O值。般来说,会将上面那个似然函数取自然对数,这样往往可以简化计算。记住,这样仅仅是为了简化计算。取了自然对数之后的函数叫做对数似然函数。ln()=∑lnf(n)因为对数是一个严格单调递增的凹函数,所以对似然函数取极人值与对对数似然函数取极大值是等价的。3取了对数之后还可以跟信息熵等概念联系起来4关于凸函数有很多种说法,上凸函数和下凸函数,凸函数和凹函数等等,这里指的是二阶导数大」(等」)0的一类函数,而凹函数是其相反数为凸数的一类函数32期望最大化算法收敛性如何保证算法收敛呢?我们只用证明l(04+1)≥1(00)就可以了l(0(t11)∑∑(+1)1PX=x;2=2)(+(t+1∑∑nf(X=x;,z=z;)(+1)(t)o(tn /(r=i,Z=2(t)≥∑∑ahn(t)7(0其中第一个人于等于号是因为只有当a取值合适(琴生不等式等号成立条件)的时候才有等号成立,第二个人于等于号正是M步骤的操作所致。这样我们就知道l(θ)是随着迭代次数的增加越来越人的,收敛条件是值不再变化或者变化幅度很小。4应用举例4.1参数估计很直接的应用就是参数估计,上面举的例子就是参数估计42聚类但是如果估计的参数可以表明类别的话,比如某个参数表示某个样本是否属于某个集合。这样的话其实聚类问题也就可以归结为参数估计问题。References[]最大似然估计[oNline].Availablehttp://zh.wikipediaorg/wiki.%E6%9c%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1[2] Ceppellini, r, Siniscalco, M.& Smith, C.A. Ann. Hum. Genet. 20, 97-115(1955)3 Hartley, H. Biometrics 14, 174-194(1958)4 Baum, L.E., Petric, T, Soulcs, G.& Weiss, N. Ann. Math. Stat 41, 164-171(1970)[ 5] Dempster, A P, Laird, N.M., Rubin, D B.(1977). "Maximum Likelihoodfrom Incomplete Data via the em algorithm. Journal of the royal statis-tical Society Series B(Methodological)39(1): 1-38. JSTOR 2984875 MR0501537[6]Whatistheexpectationmaximizationalgorithm[oNline].Avaiable:http//ai. stanford. edu/-chuongdo/papers/em tutorial pdf[7TheEmAlgorithmOnline.Availablehttp://www.cnblogs.com,jerrylead/ archive/2011/04/06/2006936html
- 2020-12-07下载
- 积分：1
-
最完美的STM32读写I2C EEPROM驱动
目前网上能找到的最完美的STM32读写EEPROM驱动，硬件I2C中断加DMA方式！用24C16测试通过！
- 2020-12-04下载
- 积分：1
-
全国电子设计大赛----波形发生器设计
全国电子设计大赛----波形发生器设计使用计算机和数模转换器构成信号发生器，可以产生方波、三角波、锯齿波和正弦波等多种波形，波形的周期、频率可调。要求完成计算机和DAC的选型，了解不同波形的产生原理和设计方案，画出硬件电路图，并编程完成软件部分，最后调试观察产生不同类型的波形信号。（1）课程设计论文内容要正确，概念要清楚；（2）完成任务书所规定的内容；（3）附有电路原理图及程序流程图，以及程序清单；（4）文字要通顺，书写要工整，设计图纸必须符合规范
- 2020-12-05下载
- 积分：1
-
路威机器人常用软件
路威常用的软件很不错Rovio中文说明+驱动+安装+安卓中文+固件+API
- 2020-12-12下载
- 积分：1
-
MIMO技术原理及应用
PPT内容 pdf 现代通信先进技术MIMO技术原理及应用。MMO系统模型(1)MIMO系统模型(2)■M根发送天线发射的倌号矢量为■N根接收天线上引入的噪声矢量为N根接收天线HM根发送天线(n的每一个分量都是独立同发布的复高斯随机过程)■接攻信号可以表示为r= hs+n〔其中图MIM0系统框图MIMo系统模型(3)MIMO信道模型(1)■独立同分布的复高斯信道为n,表示第j根发送天线到第根接收天线幼冲击响应函数;且都是独立司分布的复机变量,实部和虚部都是高斯随机变量h注:这样的独立高斯信道,一般用于描述较强的散射环境,可以认为是比较理想的信道MIMO信道模型(2)MIMO信道模型(3)■带有相关性的信道模型主散射休>天线之间的间距入射波的到达角入射波的角度扩展接收端多輸入多输出系天线结构示意图MIMO信道模型(4)MIMo信道模型(5)■ nokia空间相关MMo信道模型■每一条路径接收角(A0A)和发送角(AOD)定研究的MHMo信道模型假定在远场区有很少的空间义为关于天线阵列和主要反射体位置的量。独立的主反射体,一个主反射体有一条主要路径■由于本地散射,每一条路径P都会有角度扩展a9),这条路径含有大量的引入波,这些波是由接收机使信号延时几乎相同的时间,但会随AOA的变化:和发射机附近的当地散射体的结构引起的g)=∑)∑yMIMo信道模型(6)MIMo信道模型(7)表示有L个本地散射体。同理定义发送端有当地散射的角度扩展(φ)假设接收天线在发送天线的远区场内。因此式中可假定接收天线接收的是平面波。通过天线阵列,平面波的传播在不同的天线环境下产生时延^。不同天线的波前到达的很小的时间延式中d“是两个邻近的天线的距离,几是通信系統的载迟导致接收天线的相移Φ波波长MIM信道模型(8)MIMO信道模型(9)≯阵列的传播向量包括关于第一个天线的这些■同样,在发送端相移。对于具有相同天线间隔d的线性阵列,向量a。可表示为Oo,uit. d sin o.接收端的相关矩阵为MIMo信道模型(10)MIMo信道模型(11)■发送端的天线之间的相关矩阵Noka空间相关MMO信道的仿真用生成单天线快衰落的方法,生成互相独立的列向量R1=∑ana3)用上述方法分別计算接收天线和发送天线的相关矩阵Rx、RR计算接收天线和发送天线的相关矩阵的Kronecker积,得到总的相关矩阵RNuMIMo信道模型(12)MIM◎信道 Shannon容量(1)Nokia空间相关MMO信道的仿真(续■基于前面所述的信道模型,根据信息论的结论,此将总的相关矩阵进行 Cholesky分解,得到矩阵MIMO系统能达到的系统 Shannon容量为Nx MNC=log;deo+fH”)bsH计算列向量hx=[h,h2,…,hw丁和矩阵其中du)表示取方阵的行列式,是NxN单位矩阵,p为每根CMww的乘积,得到列向量hMN接收天线的信噪比,∥表示信道矩阵的共轭转置■由于信道矩阵H是随机的,上式的容量也是一个随机变量将列向量h进行分段,得到矩阵hM,即为空间相关的MMO信道MIMo信道 Shannon容量(2)MIM信道 Shannon容量(3)■在理想情况下,即MMO信道可以等效为最大数目的独C=log, I/eI立、等增益、并行的子信道时,得到最大的 Shannon容量(为保证系统性能比较是在相同条件下,将发射功率Roll Lahs Tewchaui n AR s, UTs归一化;每根发送天线的发射功率与1/M成比例)当信道列矢量互相正交时可以达到的容量aCaloyM log,(C=Logo/.5以看出,对于采用多天线发送和接收技术的系统,理想情况下的信道容量将随着发射天线的数目成线性増长这就为MIMO的高速数据速率传输奠定了理论基础。MIM信道 Shannon容量(4)MIM信道 Shannon容量(5)■当接收天线和发送天线数目都为8根,且平均H吧M=信噪比为20旧B时,链路容量可以高达42b/s/HzDm5■在大信噪比下,仅仅在链路的一端采用多天线,比两端都采用多天线所取得的容量要小。例如,N=M=2在大信噪比下的容量比N=4,M=1的容量要大图二不同天线数目下, Shann。n容量与SNR曲线MIMo系统的实现接收分集(1)■接收分集■采用一个发送天线,多个接收天线的分集方式,■发送分集能够抗衰落和抗噪声■分层空时结构r=hs+n■空时编码■空时扩频其中■正交发送分集r=r2…y■空时发送分集Th, h,,hy j接收分集(2)接收分集(3)■最大比合并算法(MRc■容量为s=[h,,,+h1…hn=(h2+h2+,+h(+h1nhC-log(+p∑■分集增益为h2+1hP+,+h16发送分集(1)发送分集(2)■采用多个发送天线,一个接收天线的分集方式,能够抗衰落■如果和接收分集保持相同的总的发送功率,则每个发送天线的发送功率为发送分集的1MC=log(1-(p/M∑h■分集增益为(内2+h2F÷.+h)/M发送分集(3)发送分集(5)■上面的发送分集方案是在发送端不知道信道信息的情况下得到的性能,如果发送端准确地知道信道的信息,可以获得与接收分集相同的性S能,下面以2个天线的情况为例加以说明。√h22+|h22■对发送的信息进行预处理,令h2发送分集(6)发送分集(7)■则■系统增益为r= hs+nh2+1h2+.+h2h *s,+h,.s+n■容量为hIh,.s+nN4P+1212°h1P+1h2PC=log(+*∑2)2+|h2*s+n分层空时结构(1)分层空时结构(2)■为了充分利用MMO的信道容量,G. OSchin提出■将信源数据分为多个数据子流,分别经过多个信道编了分层空时结构( BLAST: Bel-laboratories码器编码,或不经过信道编码,直接送入调制映射器Layered Space-Time进行信号映射。输出的多路调制信号进行空间域和时间域的信号构造(对角结构、垂直结构等)后,再由■ BLAST的优点是真正意义上实现了高数据通信多个发射天线发射出去.经无线信道传播后,由多个因为它在多条并行信道里发送的是独立的、没有冗余接收天线接收。在接收机中经空时检测、解调、译码,的信息流,所以它的传输速率将远大于利用传统技术得到判决数据。所得到的传输速率分层空时结构(3)分层空时结构(4)■特点高散射高信噪比T开环系统,因为 BLAST的发射机不需要信道的data ende信息,只需在接收端进行信道预澳Fig 1 V-BLASTHigh-lerei syster dagra:m分层空时结构(5)分层空时结构(6)■发送端将单个用户的数据部变并到多个发送天线上,同时l D-BLAST( Diagonal Bell Laboratories Layered的、并行的发送这些数据,利用多输入和多输出方式在同Space-Time)技术是一种在接收端和发送端均使频率上传输并行信息流。如果信道是多径散射环境足够用多天线矩阵,并运用一种较好的钟层编码的结构,强,在接攻端可以采用 BLAST算法,恢复出原始信号码块在空时结构中分散在对角线在独立的瑞利散射环境中,这种处理技术理论上以使容量与发送天线数目成线而且接近于■ BLAST根据构造方式的不同,可以分为对角结构(D-Shannon容量极限的90%,但是这种算法较复杂BLAST: Diagonal BLAST)和垂直结构( V-BLAST实现较困难Vertical blast)。■ V-BLAST( Vertical BLAST)是一种简化的BLAST检测算法,也就是码块垂直分散在每根天线上在室肉慢表环境中其频谱效率可以达到40bits/Hz。8分层空时结构(7)分层空时结构(8)对角结构的检测也是对角线进行处理的。比如现在需要如图三阶示,设发送天线数检测第1路数据,a3:图中对角线(蓝色)以上部为M=5,5路数括流在5根天线上循环发,比如对于第1分(红色)都是未检测数据,对角线以下部分(绿色)路,第1个数据a在天熊1都是已测数据。对于数据干扰抵消法将巳检测的时间t泼送,第2个数据在b1,c1,d1,e1抵消,再进行检测;对于数据2,用干扰天线2上时间发送,5个时抵消法将已检测的b:;2d抵消,再用干扰置零法将未控间段完成一个循环测的巳2消除,再进行检测,依此类推。分层空时结构(9)分层空时结构(10)■发射机采用循环变动的结构;就避免了某一路数据因为信道条件的不好,而导致连续的误码,从如图四所示,设发射天线数而影响整个接收机的性能.D- BLAST能够达到为M5,5路数据流分別在5根天线上并行发送,第Shannon容量的90%,其运算极其复杂;所以贝路的数据恒在天线1尔实验室又进一步提出了 V-BLAST算法上发送:第二路的数据也恒在天线2上发送;等等依次类推分层空时结构(11)分层空时结构(12)广在检测时间!1的数据时,先计算出信道转移炬阵■ V-BLAST迫零算法的伪逆,取出其中模数最小的行向量,亦即对应于最大信噪比■迫零(ZF)矢量(w:i=1,2…,M)的数椐,假设为C1,用干扰置零法将术检测的a1hd,消除从而进行C1的检测,检测后的C1应在总的接收信号去掉它的影响,并且在信道转移矩阵中去掉相应的列向量,生成新的信7(H);=道矩阵;再计算此信道粳阵的伪逆,依此类推其中(为H的第j列,d为 Kronecker delta函数,迫零炬阵HH(伪逆)分层空时结构(13)分层空时结构(14)≯假设发送信号向量为a=(x1,42…,ax),对应的N维摄■V- BLAST迫零加干扰消除算法向量为由矩阵理论可知,矩阵H的列数越少,迫零失量的模越小所以性能越好y=Wr=(H"H)H"(Ha+v)=a+H"H"*v分层空时结构(15)分层空时结构(16)V- BLAST加干扰消除检测算法是一个循环过程,包括优化排序方法■以下是一个循环递归过程的选取W;=(G,)rGI=H=(HH)H(ZF这样就判决出了一个信号.然后把它的影响从接收信号中减去,并去掉k,= arg min (G;lI信道转移矩阵肀相应的列,得到新的转移矩降,并确定新竹伪迸阵,确定耕的判决顺序注:1k1,k为检测过程的排序2k1为追零矩阵G1中具有最小模值的行向k:= argmin(G21),‖表示H中去掉的量第《列后卓伪逆分层空时结构(17)分层空时结构(18)a的第k个成分检测后的SNR为■最小均方误差(MMSE)算法H*=( I+H"H)H在栓测过程中,不同的推序会产生不同的P1:例如M=3的系统,一般来说,先检测1和先检测2,所褥的■只是迫零矢量变化,不能严格迫零,但是使总的嗓声加干是不一样的。假没的所有成分均采用相同的消除方法:则扰的方差最小。信噪比内最小的成分将决定系純的误码率性能。因此,该系统中我们可以采用一种最小信噪比最大亿的概念。在榍环检测过程中,每一步我们都选择最好的,从这种将最小信嗅比最大化的意义上来说,就可以萩得最优化排序510
- 2021-05-06下载
- 积分：1
-
ANSYS实例分析75道
ANSYS实例分析75道，ANSYS实例分析75道，ANSYS实例分析75道。
- 2020-12-10下载
- 积分：1
-
MCL算法 马尔可夫聚类算法（英文）
文档对马尔可夫聚类算法进行了详细的描述，并且有图例进一步解释，易于理解。
- 2020-12-09下载
- 积分：1
-
MIPI M-PHY.pdf
在MIPI目前公布的协议中，有3类基于摄像头的接口，一个是前几年大行其道的D-PHY接口，一个是C-PHY接口，还有一个是M-PHY接口,这个文档讲的就是M-PHY
- 2021-05-06下载
- 积分：1
-
基于ARM的PC104总线实现
详述了x86架构下PC104总线，以及如何在ARM+CPLD的架构下实现PC104总线
- 2020-12-09下载
- 积分：1
-
IEEE33节点前推回代程序
学习 matlab 潮流计算编程简单的入门程序 采用IEEE33节点 具有普遍性 采用配电网常用的前推回代潮流计算方法
- 2020-06-26下载
- 积分：1
