EM算法详细例子及推导
EM算法详细例子及推导数θ),那么对于上面的实验,我们可以计算出他们出现我们观察到的结果即0=(5,9,.8,4,7,20=(B,A,A,B,4)的概率函数P(X=x10),2z)⑨)就叫做θ的似然函数。我们将它对θ求偏导并令偏导数为0,就可以得到如的结果P(X=x0,=20))=(;P(z=A)3(1-P(z=A)2C10(1-64)10A(1-6C104(1-0(1-6B)C106n(1-6我们将这个问题稍微改变一下,我们将我们所观察到的结果修改一…下我们现在只知道每次试验有几次投掷出正面,但是不知道每次试验投掷的是哪个硬币,也就是说我们只知道表中第一列和第三列。这个时候我们就称Z为隐藏变量( Hidden variable),X称为观察变量( Observed variable)。这个时候再来估计参数θ4和θB,就没有那么多数据可供使用了,这个时侯的估计叫做不完整数据的参数估计。如果我们这个时候冇某种方法(比如,正确的猜到每次投掷硬币是A还是B),这样的话我们就可以将这个不完整的数据估计变为完整数据估计当然我们如果没有方法来获得更多的数据的话,那么下面提供了一种在这种不完整数据的情况下来估计参数θ的方法。我们用迭代的方式来进行:(1)我们先赋给θ一个初始值,这个值不管是经验也好猜的也好,反正我们给它一个初始值。在实际使用中往往这个初始值是有其他算法的结果给岀的,当然随机给他分配一个符合定义域的值也可以。这里我们就给定64=0.7,6B=0.4(2)然后我们根据这个来判断或者猜测每次投掷更像是哪枚硬币投掷的结果。比如对于试验1,如果投掷的是Δ,那么出现5个止面的概率为C10×0.75×(1-07)5≈0.1029:;如果投掷的是B,出现5个正面的概率为C105×0.43×(1-0.4)5≈0.2007;基于试验1的试验结果,可以判断这个试验投掷的是使币A的概率为0.10290.10290.2007)-0.389是B的概率为02007(0.1029+0.2007)06611。因此这个结果更可能是投掷B出现的结果(3)假设上一步猜测的结果为B,A,A,B,A,那么恨据这个猜测,可以像完整数据的参数仙计一样(公式2重新计算的值这样一次一次的迭代2-3步骤直到收敛,我们就得到了θ的估计。现在你可能有疑问,这个方法靠谱么?事实证明,它确实是靠谱的。期望最大化算法就是在这个想法上改进的。它在估计每次投掷的硬币的吋候,并不要确定住这次就是硬币A或者B,它计算岀来这次投掷的硬币是A的概率和是B的概率;然后在用这个概率(或者叫做Z的分布)来计算似然函数。期望最大化算法步骤总结如下:F步骤先利用旧的参数值〃计算隐藏变量Z的(条件)分布P(万=2|Xn2),然后计算logP(,X=m)的期望B(o(2,X=x)=∑∑P(Z=别X=)P(Z=X=x)其中θ是当前的值,而θ是上一次迭代得到的值。公式中已经只剩下θ一个变量了,θ是一个确定的值,这个公式或者函数常常叫做Q函数,用Q(6,6)来表示。M步骤极大化Q,往往这一步是求导,得到由旧的θ值′米计算新的θ值的公式aQ总结一下,期望最大化算法就是先根据参数初值估计隐藏变量的分布,然后根据隐藏变量的分布来计算观察变量的似然函数,估计参数的值。前者通常称为E步骤,后者称为M步骤3数学基础首先来明确一下我们的目标:我们的目标是在观察变量X和给定观察样本:1,x2,…,rn的情況下,极大化对数似然函数(=>nP(X2=x;)(5)其中只包含观察变量的概率密度函数P(X2=2)=∑P(X=n,=)这里因为参数θ的写法与条件概率的写法相同,因此将参数θ写到下标以更明确的表述其中Z为隐藏随机变量,{}是Z的所有可能的取值。那么6)=∑h∑P(X=x,z=2)∑h∑。Px=x这里我们引入了一组参数(不要怕多,我们后面会处理掉它的)a,它满足可能的;,0;∈(0,1和∑;a=1到这里,先介绍一个凸函数的性质,或者叫做凸函数的定义。∫(x)为凸函数,=1,2,…,m,A∈[0,1∑1A对∫(x)定义域中的任意n个m1,x2,…,xn有f(∑Aa)≤∑mf(xr)i=1对于严格凸函数,上面的等号只有在x1=2xn的时候成立。关于凸函数的其他性质不再赘述。对数函数是一个严格凸数。因而我们可以有下面这个结果0)=∑hn∑≥∑∑ah(X=2n,2=C现在我们根据等号成立的条件来确定a;即P(X=x,Z=2)C(10)其中c是一个与j无关的常数。因为∑,=1,稍作变换就可以得到P(X;=x;)现在来解释下我们得到了什么。c;就是Z=2;在X=x;下的条件概率戌者后验概率。求α就是求隐藏随机变量Z的条件分布。总结一下目前得到的公式就是)-∑∑P(Xi=i,Z(12)直接就极大值比较难求,EM算法就是按照下面这个过程来的。它就是大名鼎鼎的琴生( Jensen)不等式(1)根据上一步的θ来计算α,即隐藏变量的条件分布(2)极大化似然函数来得到当前的的估计3.1极大似然估计好吧,我觉得还是再说说极大似然估计吧。给定一个概率分布D,假设其概率密度函数为f,其中f带有一组参数6。为了估计这组参数6,我们可以从这个分布中抽出一个具有n个采样值的X1,X2,…,Yn,那么这个就是n个(假设独立)同分布随机变量,他们分别有取值x1,x2…,xn,那么我们就可以计算出出现这样一组观察值的概率密度为lI f(ai)(13)对于f是离散的情况,就计算出现这组观察值的概率10)注意,这个函数中是含有参数0的。0的极大似然估计就是求让上面似然函数取极大值的时候的参数O值。般来说,会将上面那个似然函数取自然对数,这样往往可以简化计算。记住,这样仅仅是为了简化计算。取了自然对数之后的函数叫做对数似然函数。ln()=∑lnf(n)因为对数是一个严格单调递增的凹函数,所以对似然函数取极人值与对对数似然函数取极大值是等价的。3取了对数之后还可以跟信息熵等概念联系起来4关于凸函数有很多种说法,上凸函数和下凸函数,凸函数和凹函数等等,这里指的是二阶导数大」(等」)0的一类函数,而凹函数是其相反数为凸数的一类函数32期望最大化算法收敛性如何保证算法收敛呢?我们只用证明l(04+1)≥1(00)就可以了l(0(t11)∑∑(+1)1PX=x;2=2)(+(t+1∑∑nf(X=x;,z=z;)(+1)(t)o(tn /(r=i,Z=2(t)≥∑∑ahn(t)7(0其中第一个人于等于号是因为只有当a取值合适(琴生不等式等号成立条件)的时候才有等号成立,第二个人于等于号正是M步骤的操作所致。这样我们就知道l(θ)是随着迭代次数的增加越来越人的,收敛条件是值不再变化或者变化幅度很小。4应用举例4.1参数估计很直接的应用就是参数估计,上面举的例子就是参数估计42聚类但是如果估计的参数可以表明类别的话,比如某个参数表示某个样本是否属于某个集合。这样的话其实聚类问题也就可以归结为参数估计问题。References[]最大似然估计[oNline].Availablehttp://zh.wikipediaorg/wiki.%E6%9c%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1[2] Ceppellini, r, Siniscalco, M.& Smith, C.A. Ann. Hum. Genet. 20, 97-115(1955)3 Hartley, H. Biometrics 14, 174-194(1958)4 Baum, L.E., Petric, T, Soulcs, G.& Weiss, N. Ann. Math. Stat 41, 164-171(1970)[ 5] Dempster, A P, Laird, N.M., Rubin, D B.(1977). "Maximum Likelihoodfrom Incomplete Data via the em algorithm. Journal of the royal statis-tical Society Series B(Methodological)39(1): 1-38. JSTOR 2984875 MR0501537[6]Whatistheexpectationmaximizationalgorithm[oNline].Avaiable:http//ai. stanford. edu/-chuongdo/papers/em tutorial pdf[7TheEmAlgorithmOnline.Availablehttp://www.cnblogs.com,jerrylead/ archive/2011/04/06/2006936html
- 2020-12-07下载
- 积分：1
车辆动力学及控制（拉贾马尼）
本文主要介绍了车辆动力学及控制，主要内容包括车辆侧向动力学、自动车道保持的转向控制、车辆纵向动力学、车辆纵向控制、自适应巡航控制等等。汽车先进技术译从车辆动力学及控制(美) Rajesh Rajamani著王国业江发潮等译机械工业出版社本书主要讨论了足以体现车辆动力学特征的,而且能够满足设计车辆控制系统需要的车辆动力学模型,给出了这些模型的特性,和由这些模型开发出的实际汽车控制系统的基本结构。本书涵盖了巡航控制、自适应巡航控制、制动防抱死系统、车道自动保持系统、高速公路自动行驶、横摆稳定性控制、发动机控捌、被动悬架、主动悬架和半主动悬架、轮胎模型以及轮胎路面参数识别,书中特别介绍了几种目前科研中经常采用的轮胎模型。本书可供汽车行业和大专院校里从事控制系统研究的工程师和专家们参考,也可用作汽车专业研究生的教材。Vehicle Dynamics and ControlRajesh RajamaniOriginal ISBN 9780-387-26396-9Translation from the English language edition:Vehicle Dynamics and Control by Rajesh RajamaniCopyright Rajesh Rajamani 2006Published by Springer Science Business Media, InAuthorized Simplified Chinese edition is published by cmP,All Rights Reserved本书中文简体版由 Springer出版社授权机减工业出版社独家出版发行版权所有,侵权必究。北京市版权局著作权合同登记号:01-2009-3284图书在版编目(CI)数据车辆动力学及控制/(美)拉贾马尼( Rajamani,R)著:王国业,江发潮等译北京:机械工业出版社,2010.11(汽车先进技术译丛书名原文: Vehicle Dynamics and ControlIsBN9787-11l-31283-3I.①车…Ⅱ.①拉…②王…③江…Ⅲ①汽车—动力学Ⅳ.①U461.1中国版本图书馆CI数据核字(2010)第132639号机被工业出版社(北京市百万庄大街22号邮政编码10007)策划编辑:徐巍责任编辑:刘煊版式设计:霍永明责任校对:刘怡丹封面设计:鞠杨责任印制:杨曦北京中兴印刷有限公司印刷2011年1月第1版第1次印刷169mm×239mm,19印张·369千字00g1—3000册标准书号:ISBN978-7-111-31283-3定价:5900元凡购本书,如有缺页、倒页、脱页,由本社发行鄧调换电话服务网络服务社服务中心:(010)88361066销售一部:(010)68326294门户网:htp://w.cmpbook.com销售二部:(010)88379649教材网http://www.cmpedu.com读者服务部:(010)68993821封面无防伪标均为盗版译者的话本书论述了能足以体现车辆动力学特征、满足车辆控制系统设计需要的车辆动力学模型的建立方法以及车辆动力学控制系统的设计。本书较其他同学论若具有深入、系统和实用的特点,是一本既有理论研究意义又有实际应用价值的参考书。Rajamani教授是明尼苏达大学机减工程系先进控制和微型传感器实验室主任, IEEE/ ASME学报编委。我们关注 Rajamani教授的研究是从2002年他发表的“基于GPS实时识别轮胎-路面摩擦系数”的文章开始的, Rajamani教授长期从事车辆控制技术领域的研究,发表重要论文70余篇,涉及到本书内容的主要方面。2006年我们在网上查到此书,看后觉得此书具有理论研究和实际应用价值,对我国从事车辆动力学及其控制领域的科研人员会有具体指导和帮助,于是有了翻译此书的想法。翻译和出版工作得到机械工业出版社汽车分社的大力支持,在此表示由衷感谢。本书第1章、第2章、第3章、第6章、第7章、第8章由王国业翻译,第4章、第5章、第9章、第10章由江发潮翻译;第11章、第12章、第13章第14章由侯春敏翻译,李淑艳老师审译了部分章节,樊月珍老师参与了本书的部分翻译工作。全书终稿由中国农业大学余群教授审阅,叶阳、曾蔚英、付燕荣、李元、章娟丽、刘恩托、朱妮、付晓丹、肖龙等参与了本书的部分翻译整理工作,在此表示感谢由于水平所限,本书难免有翻译不当之处,欢迎读者提出宝贵意见。译者言作为一名车辆工程专业研究生的指导教师,我经常觉得需要一本对有关汽车控制系统的研究成果及其应用进行总结,以及建立开发这些系统所需的车辆动力学模型的论著。已经出版的为数不多的几本介绍车辆动力学的论著已远远不能满足当今车辆控制系统工程师的需要。车輛控制系统工程师们需要既简单又足以体现车辆动力学特征的,最主要地还要满足设计车辆控制系统需要的车辆动力学模型。本书将试图介绍这样的模型,以及由这些模型开发出的实际汽车控制系统。本书涵盖了巡航控制、自适应巡航控制、制动防抱死系统、车道自动保持系统、高速公路自动行驶、横摆稳定性控制、发动机控制、被动悬架、主动悬架和半主动悬架、轮胎模型以及轮胎一路面参数识别。本书特别介绍了几种在文献中经常采用的轮胎模型。随着汽车在全球范围内应用日广,发展能够更好地适应公路系统,更节能、更舒适、更安全,同时对环境的破坏达到最小的交通体系就显得更加重要。为了达到这诸多方面的,甚至互相冲突的要求,现代汽车越来越倚重于综合应用传感器、调节器和反馈控制的电子控制系统。本书适合供那些在汽车行业和大专院校里从事这类控制系统研究的工程师和专家们参考,同时也适合作为车辆动力学和控制方向的研究生教材。在本书出版后如果发现有排版错误和其他错误将会在下面的网址上及时改Eohtlp://www.menet,utmulledu/wrajamani/vde.htrula如果读者发现了这些错误能够告知我们,我们将会很感激。Rajesh Rajamani译者的话前言第1章概论画画画画画画画b画面晶面量垂西酯面鲁1.1驾驶员辅助系统n■t非自聊t·虚章。售日·申量F·鲁,,·鲁费鲁日···。里自甲日····翻1.2主动稳定性控制系统……1.3平顺性……1.4用于解决交通堵塞的技术着福日画_a自面a自ma曲自at_幽由■面。■1虚自面_虚虚曲自鲁1.4.1自动化公路系统……··。如口·着。中自··由·非·“非·自非abt·士;普1.4.2“交通友好”的自适应巡航系统1.4.3窄型工勤车辆倾斜控制日章∮,面P鲁曹鲁鲁·音·曾1.5排放和燃油经济性……画··。画看·画翻福而福藤·酯番酯串■着昌■备晶鲁音看串看非。着自着即息是t自自1.5.1混合动力汽车…1.5.2燃料电池汽车咖_物鲁咖D自t曲自电P翻4567888参考文献第2章车辆侧向动力学画“面垂“垂画“由音晋音画面音“请普非音番自面音“普普香F;新鲁音曹鲁鲁鲁鲁2.1商业应用开发中的汽车侧向运动控制系统2.1.1车道偏离预警系统2.1.2车道保持系统122.1.3横摆稳定控制系统132.2车辆侧向运动的运动学模型……………………………………………142.3两轮车辆侧向动力学的模型…2.4相对旋转坐标系中点的运动222.5关于路面误差力学模型的讨论……………………………;……232.6动力学模型中的横摆角速度和侧偏角的讨论………2627从车辆坐标系到地面坐标系………………272.8路面模型中:要幽妻脂中着康曹垂萨曹萨者要p曹普鲁,中曹沿。围自·看_“翻d垂垂更吾道垂音自垂曹业函,2.9本章小结参数表参考文献32Ⅵ车辆动力学及控制第3章自动车道保持系统的转向控制·着费·新单和着群;音「+吾吾吾请·非非自音343.1状态反馈343.2动力学方程的稳态误差……………………363.3稳态转向…………………………………393.3.1稳态转向的转向角393.3.2方向角误差能否达到零值…423.3.3非零方向角误差的影响=“m“++..=4·:.:.;4:·:···罗3.4考虑不同的纵向速度433.5输出反馈3.6全反馈闭环系统………………………443.7比例控制闭环系统分析473.8带超前补偿器的回路分析……523.9带超前补偿器的仿真性能……553.10闭环系统性能分析……………………………………563.10.1随车速的性能变化…563.10.2随传感器位置的性能变化…583.1I带超前传感器测量的补偿器设计………593.12本章小结…………………………………………………………60参数表61参考文献∵…………………62第4章车辆纵向动力学4.1整车纵向动力学644.1.1空气阻力■■面654.1.2轮胎纵向力……………………………………………………………664.1.3纵向轮胎力和滑动率之间的依赖关系684.1.4滚动阻力∴………………--4694.1.5法向载荷的计算…………………………………………………714.1.6轮胎有效半径计算4.2传动系统动力学…………………734.2.1变矩器………………………………………………………744.2.2传动系的动力学模型754.2.3发动机动力学…………………74.2.4轮胎动态性能774.3本章小结………………"78參数表目录Ⅶ参考文献自要面世曾曾t世d百哥;,.79第5章车辆纵向控制815.1引言……………………………………………………815.1.1自适应巡航控制系统…815.1.2避撞系统…画福音画看新面晶825.1.3自动化公路系统5.2纵向自动控制的优点……………………835.3巡航控制系统士由…845.4巡航控制系统的上层控制器…………855.5巡航控制系统的下层控制器e:曹e4吾垂普看!串·垂事当星量■看『四■鲁875.5.1根据期望加速度计算发动机转矩…8755.2发动机控制………………鲁量吾日8956防抱死制动系统……895.6.I目的…………………曹音一t自普曹晋普推會鲁量曾·曹曾曹鲁·中·香5.6.2ABS的功能925.6.3基于减速度门限值的算法……………………………………………935.6.4其他ABS控制算法………9656.5关于ABS的近期研究出版物…975.7本章小结…………………………………………97参数表………………………………………………………97参考文献第6章自适应巡航控制…11006.1引言1016.2车辆跟随准则…………1026.3控制系统结构……………………………1036,4车队的稳定行驶1046.5固定车距与自主控制…1046.6固定时距控制策略的自主控制…曹曹看鲁费普音·中自鲁音曹鲁鲁鲁鲁鲁吾平6.6.1基于CTG车距控制策略的车队稳定行驶……1076.6.2典型的延迟值1096.7过渡控制……………………11167.1过渡控制器的必要性…………………………………………………11167.2通过R-R图设计转换控制器…1126.8下层控制器…11569本章小结………………………………………116Ⅷ蠡车辆动力学及控制参数表鲁翻…116参考文献…………………………………117第6章附录…………………………………118第7章车队的纵向控制………………1217.1自动化髙速公路系统……………………12172自动化高速公路系统中的车辆控制……………………1217.3纵向控制结构…1227.4车辆跟随准则……………………1237.4.1单个车辆的稳定行驶…1237.4.2车队的稳定行驶1247.5信号及系统范数的背景2447.5.1信号的范数………………………1247.5.2系统的范数……………………………1257.5.3利用诱导范数矸究信号放大257.6保证车队稳定行驶的设计方法………1277.7固定车距的自主控制…………………………………………………1277.8采用无线通信的固定车距控制策略7.9实验结果………b。都…………1317.10下层控制器………………………………………………………1327.11参数未知车辆的自适应控制13311.1重新定义符号…………………………1337.11.2自适应控制器………………………………………1347.12本章小结………………………………………………………………136参数表··,·翻·137参考文献…………138第7章附录…垂最车·………………139第8章电子稳定性控制………………………1418.1引言……………………141音·非·。·。。非4··非·。非非m中··,·即··量着,··音章·8.1.1稳定性控制原理1418.1.2汽车厂商开发的稳定性控制系统1428.1.3稳定性控制系统的种类…………………………………………………1428.2差动制动控制系统…s………14382.1车辆动力学模型……1438.2.2控制系统架构………………………………………………1458.2.3理想的横摆角速度中自鲁··即··中·鲁··中·更·鲁·鲁助··使曹·中兽,46
- 2021-05-07下载
- 积分：1
