RBM 算法理解
RBM 算法理解 这份笔记参考了很多网上的资源，也加入很多自己的理解和详细推导， 非常适合初学者使用， 这篇笔记属于复合型产物，感谢那些网上无私奉献自己心得的人们。RBM能量模型这里说一下RBM的能量模型,这里关系到RBM的理解能量模型是个什么样的东西呢?直观上的理解就是,把一个表面粗糙又不太圆的小球,敚到一个表面也匕较粗糙的碗里,就随便往里面一扔,看看小球停在硫的哪个地方。一般来说停在碗底的可能性比较大,停在靠近碗底的其他地方也可能,甚至运气好还会停在碗口附近(这个碗是比较浅的一个碗):能量模型把小球停在哪个地方定义为一种状态,每种状态都对应着个能量,这个能量由能量函数来定义,小球处在某和状态的概率(如停在碗底的概率跟停在碗口的慨率当然不一样)可以通过这种状态下小球具有的能量来定义(换个说法,如小球停在了碗∏附近,这是·种状态,这个状态对应着一个能量,而发生“小球停在碗口附近”这种状态的概率,可以用来表小,表小成,其中是能量函数),其实还有一个简单的理解,球在碗底的能量一般小于在碗边缘的,比如重力势能这,显然碗底的状态稳定些,并且概率大些,就是我认为的能量模型。1.概率分布函数。各个节点的取值状态是概率的、随机的,这里用了3种概率分布来描述整个RBM网络,有联合概率密度,条件概率密度和边缘概率密度2.能量函数。随机神经网络的基础是统计力学,差不多思想是热力学米的,能量函数是描述整个系统状态的一种测度。系统越有序或者概率分布越集中(比如小球在碗底的情况),系统的能量越小,反之,系统越无序并且概率分布发散(比如平均分布),则系统的能量越大,能量函数的最小值,对应着整个系统最稳定的状态RBM能量模型的作用是什么呢?为什么要弄清楚能量模型的作用呢?第一、RBM网终是一种无监督学习的方法,无监督学习的目的自然就是最大限度的拟合输入数据和输出数据。第二、对于组输入数据来说,如果不知道它的分布,那是非常难对这个数据进行学习的。例如:如果我们实现写出了高斯函数,就可以写出似然睬数,那么就可以进行求解,就知道大致的参数,所以实现如果不知道分布是非常痛苫的·件事情,但是,没关系啊,统计力学的一项硏究成果表明,任何概率分布都可以转变成基于能量的模型,即使这个概率分布是未知的。我们仍然可以将这个分布改写成能量函数第三、能量函数能够为无监督学习方法提供个特殊的东两)日标函数b)标解换句话说,使用能量模型使得学丬一个数据的变得容易叮行了。能否把最优解的求解嵌入能量模型中至关重要,决定着我们具体问题求解的好坏。能量模型要捕获变量(这里我理解的是各个分量之间的关系)之间的相关性,变量之间的相关程度决定了能量的高低。把变量的相关关系用图表是一个图,以概率为测度,所以是概率图)模型的能量模型。由上面所说,RBM是一种概率图模型,既然引入了概率,那么就可以通过采样技术来求解,在CD( contrastive diⅳ vergence)算法中采栟部分扮演着模拟求解梯度的角色。能量模型需要定义一个能量函数,RBM能量函数如下:()=∑∑∑∑这个式子的含义非常明显,每个节点有一个能量, hidden和wsbe之间的连接也有个能量,如何求解呢?如果ⅵ isible有组取值(1,0,1),对应的 hidden取值是(1,0,1,01,0,分别带入上面的公式,最后得到的结果就是能量,这里要注意到()里面的地位是相等的,不存在先后顺序,这是一个结构整体的能量值为什么要搞能量函数?前面指出未知分布不好求解但是可以通过能量函数米表示,那么能量函数的概率模型很大程度上可以得到未知分布的概率模型,这样大致就知道了未知分布的分布既然知道了—个RBM网络 hidden和 visible整个框架的能量函数,那么可以定义这个能量函数(能量)出现的概率,很显然这个能量的出现与 hidden和sbe的每个节点的取值都有关系,那么这个能量出现的概率就是和的联合概率密度里可以将能量函数理解成小球在碗里面具体的一个位置所具有的一个能量,那么联合概率密度就是能量也就是这个状态出现的概率)这个概率不是随便定义的,是有统计热力学解释的定义了联合概率密度,那么我就可以得到一个分布,现在再回来前面的知识,可以得到1最初是未知分布的数据,求解参数,完全无从下手2.将未知分布的数据与能量函数联合在起3定义这个能量函数出现的概率,其实也就是对应着未知分布数据一个函数出现的概率4我们可以得到能量函数的概率分布,这个分布就叫 Gibbs分布,这里不是一个标准的Gibs分布,而是一个特殊的 Gibbs分布,这个分布有一组参数,其实就是能量函数中的那儿个前面知道∫下面可以得到边缘概率密度和()∑∑也可以得到条件概率密度和∑∑从概率到极大似然上面的内容已经得到了Gb分布的各种概率密度函数,现在回到最初的目的,即求解让RBM网络表示的Gibs分布最大可能的拟合输入数据,或者换一种说法,求解的目标可以认为是让RBM网终表示的 Gibbs分布与输入样本的分布尽可能的接近现在的小问题是“最大可能的拟合输入数据"这句话怎么定义:假设表小样本空间,即里面含有很多个不同的,是输入样本的分布,()表示训练样本的概率,再假设是RBM网络表示的 Gibbs分布的的边缘分布,即可以理解成每种不同情况的都对应着一个概率。输入样本的集合定义为,那么样木真实的分布和RBM网络表示的边缘分布的KL距离就是2者之间的差异性(KL的详细讲解见附录),样本的真实分布(什么是样本的分布?见附录)与RBM网络表示的边缘分布的KL距离如下所示()20)-0=2()0)2()(如果输入样本表小的分布与RBM表小的Gbbs分布完全符合,这个KL距离就是0,否则是一个大于0的数山附录对熵的定义(在KL讲解里面)可知,上面)的第一项是输入样本的熵,这个是·个固定的数,输入样本固定了,熵就固定了,第二项明显无法直接求。由KL的性质可知,KL是一定大于0的,那么当第二项最大的时候,整个KL最小,我们本来的日的也是求KL最小。注意到第二项-∑()()中的()当样木固定的时候,是固定的而函数是递增的,即当∑()最大即可。在实际应用中,我们采用的是∑(),其中是样本的个数。这里的-∑()就是极大似然估计(这里大家可以∈代替了∈Ω,这是为什么呢?拿一个2维向量来说,(1,0),(1,1),(0,0)这3个的概率和是1,(0,1)出现的概率是0,那么样本空间是(1,0),(1,1),(0,0),但是我们采样的时候只采样到∫(1,0),(1,1),那么这次的输入样本的集合就是(1,0)(1,1))。结论就是求解输入样本的极大似然,就能让RBM网络表示的 Gibbs分布和样本本身表示的分布最接近。求解极大似然这里对似然的定义参考我的另一篇笔记EM算法这个样本从所有样本被取到的概率为0)=∏(b)b∈6()=(0)=∑(0)c⊙在RBM模型中,上面的似然函数写成(上面的式子中是样本,也可以理解为一个isbe节点):(O)-(0)-l()O∈()=∏(b)=∑()0∈对这个函数进行求导02(066∈⊙66我们由能量模型应该也知道了()的概率∑,那么下面开始求导∑06∑c8上面这个式子一定要注意一个问题,即第一项的和第二项的00是不一样的。第一项的是固定的里面的取多少它就取多少而第二项里面的是所有可能的,其实这个细节也可以从∑和∑中发现出来()注意到()和,上面的式子可以写成∑0606∑()∑x((2m0)2x(2m0606第一项和第二项分别是和的期望,这2个是不同的,第一060个求在下的期望,第二项求的是这个函数在概率()下的期望。将O和()由最前面的东西代换,可得到以下3个式了∑∑∑∑∑∑()∑∑()∑()∑∑(这里用到了一个技巧∑这里∑是指hden中第个向量为0,其他分量的值任取的一组向量。?岁∑()∑()∑()∑()∑∑∑∑)-∑()-∑∑()()-∑()∑()∑∑=∑()-∑∑()()=∑()-∑()∑())-∑()(可以发现和的第二项都含有∑,这意味着要对进行遍历,这明显不可能,但是算梯度需要怎么小呢?这时就可以通过 markov采样来算,只要抽取一堆样本,这些样本符合RBM网络表示的Gibs分布,就可以把上面3个偏导数算出来。具体的处理过程是对于每个训练样本,都用某种抽样方法抽取一个对应的,这个是符合RBM网络所表示的Gbs分布的。那么对于整个训练集{米说,就得到一组对应的符合RBM网络表示的Gibs分布的样本集{然后拿这个样本去估算第二项∑,那么梯度就可以用以下的式了来近似了:()(=)-∑()(=)-∑()上面的式子中表小第个训练样木,是所对应的符合RBM网络表小的Gs分布的样本,在式子中用表示。梯度求出来了,就可以求解了,最后不断迭代就可以得到
- 2020-12-11下载
- 积分：1
ZEMAX官方中文手册
ZEMAX官方中文使用手册2010年2月版 有700多页。光学必备光研科学荣誉出品声明ZEMAX是 ZEMAX Development corporation(ZDC)的注册商标。所有商标权益皆受相关法律保护。涉及到的所有其它产品名称和商标分别为它们的拥有者所有。本手册屮所提及的软件和参考资料都获相关许可,只有在符合使用许可的条件下才能被使用或复制。本书内容受著作权法保护,本书的简伾中文版由ZDC授权光硏科学有限公司翻译并发行。光研科学有限公司禁止任何未经本公司授权的以任何形式传播、复制、引用与保存本书及其内容的行为。本书内容是ZEMAⅩ光学设计软件的官方指导用书,仅用于软件使用的指导。本书不得用作最终设计、生产与加工的依据。仁何由于未经验证而将设计投入生产和加工而导致的损失不得要求ZDC以及光研科学有限公司负责。任何修改和错误修F将不会另行通知,请用户自行询问光研科学荣誉出品光研科学荣誉出品目录第一章绪论关于本于册的说明( About this document)∠EMAX能做什么?( What does Zemax do)?ZEMAX不能做什么?( What doesn’ t zemax do?)学习如何使用 ZEMAX( Learning to use ZEMAX)多处理器的计算机( Multiple processor computers)"…系统要求( System reguirements)申,·鲁鲁··,36安装过程( Installation procedure密钥政策( Policy on the key).支持的定义( Definition of support)36获得技术支持( Getting technical support)错误修正的政策( Policy on bug fixes)第二章用户界面引言( Introduction)··39窗口的类型( Types of windows)主窗口的操作( Main window operations)图形窗口操作( Graphic windows operations).编辑窗∏操作( Editor windows Operations)9900使用注释功能( Using the annotation feature)··使用移动和缩放功能( Using pan and zoom)43文本窗口操作( Text windows opoerations)43取消长时间的计算( Aborting long computations∴…………对话操作( Dialog operations)常用快捷键综述( Summary Of useful shortcuts)45使用 Windows剪贴板( Using the Windows clipboard)申申非46ZEMAX的文件扩展名(文件名后缀)( ZEMAX file types by extension第三章约定与定义言( introduction引言当前组态( Active configuration).·鲁···申·鲁申非49角放大率( Angular magnification)49光瞳分布( Apodization)49后焦距( Back focal length)49某面( Cardinal planes).19主光线( Chief rav)坐标轴( Coordinate axes)..50衍射极限( Diffration limited)...50边缘厚度( Edge thickness)有效焦距( Effective focal length)∵…5051入瞳直径( Entrance pupil diameter)51入瞳位置( Entrance pupil position)51出瞳直径( Exit pupil diameter)51出瞳位置( Exit pupil position)51附加数据( Extra data)视场角与物高( Field heights)51随光阑尺寸漂移(∏ loat by stop size)51鬼像反射( Ghost reflections)52目录光研科学荣誉出品玻璃( Glasses)六边环( Hexapolar rings)像空问F/#( Image space f/#).像空间数值孔径( Image space numerical aperture.NA)透镜(镜头)单位( Lens units)52边缘光线( Marginal ray)··.·······.····52最大视场( Maximum field),,52非近轴系统(Non- paraxial systems)非序列光线追迹(Non- sequential ray tracing)归一化视场坐标( Normalized field coordinates).....圆形视场归一化( Radial field normalization)矩形视场归一化( Rectangular field normalization).54归一化光瞳坐标( Normalized pupil coordinates).55物空间数值孔径( object space numerical aperture)参数数据( Parameter data)近轴和傍轴光线( Paraxial and parabasal rays)近轴像高( Paraxial image height)近轴放大率( Paraxial magnification)··+.··近轴工作F/#( Paraxial working F/#)主波长( Primary wavelength)鲁着56半径(Radi).56真实传播( Real propagation)弧矢与子午( Sagittal and tangentia1)57半直径(Semi- diameters)序列光线追迹( Sequential ray trac in)特殊字符( Special characters)斯特利尔数( Strehl ratio).表面孔径( Surface apertures)58系统孔径( System aperture).全反射( Total internal reflection:TIR)、…子午面( Tangential)厚度( Thickness)总长度( Total track)单( Units)渐晕因子( Vignetting factors)59虚传播( Virtual propagation)波长数据( Waveleng th data)工作F/井( Working t/#)第四章文件菜单新建(NEW)打开(Upen).63保存(Save)保存为( Save as)使用场景文件( Use Session files)备份存档文件( Backup To archive file)恢复存档文件( Restore from Archive file)∴…·,.64程序模式( Program Mode).插入透镜( Insert lens)属性( Preferences)地址( Address)文件夹( Folders).目录光研科学荣誉出品图形( Graphics)67杂项( Miscellaneous)编辑( Editors)打印( Printing)颜色1-12,颜色13-24( Colors1-12, Colors13-24)按钮1-16,按钮17-32,按钮33-48( Button1-16, Button17-32, Button33-48).......71状态栏( Status bar).··,,71退出(Exit)72最近用的文件( Recently used files)..第五章编辑菜单镜头数据( Lens data)73插入和删除表面( Inserting and deleting surfaces)血序号显小( The surface number display)·鲁剪切、复制、粘贴衣面数据( Cutting, Copying, and Pasting surface data)输入表面注释( Entering surface comments)74输入半径数据( ntering radii data)..着··鲁71输入厚度数据( Entering thickness data)74输入玻璃数据( Entering glass data).74输入半口径数据( Entering semi- diameter)··74表面特性类型标签( Surface Properties type tab oX)米输入二次曲血数据( Entering conic data)..74输入参数数据( Entering parameter data)74表面特性对话框( The Surface properties dialog b74着75表面类型( Surface Type)表面DLL( Surface dll)表面颜色( Surface color)··:··表面的不透明化( Surface0 pacity)行颜色( Row color).使该面变为光阑( Make Surface Stop)..着·曹,,,,,,,,,,75使该血变为全域坐标参考面( Make surface global coordinate reference)75衣面不能为超半球面( Surface cannot Be Hyperhemi spheric)75忽略此表面( Ignore This Surface)76表面特性画图标签( Surface properties draw tab)鲁··76隐减表面的入射光线和出射光线( Hiding ray to surfaces)..光线跳过此面( Skip rays to this Surface)76不画出此面( Do not draw this surface)76不画出始于此血的边缘( Do Not draw Edges From This Surface).,,,,76画出局部轴( Draw local axis)/6将边缘画作( Draw edge as)76镜面基底和厚度( Mirror substrate and thickness)衣面特性孔径标签( Surface properties aperture tab)孔径类型和其它孔径控制( Aperture type and other aperture controls孔径类型代码和参数( Aperture type codes and parameters)··着非平面上的孔径投影( Aperture projection on non-plan surfaces)78孔径偏心和跟随( Aperture decanters and pickups)78用户定义孔径/遮阑( User defined apertures and obscurations)78UDA文件格式( The uda file format)79UDA例了( UDA Examples)80表面特性散射标签( Surface properties scattering tab)表面散射设置( Surface scattering settings)表面倾斜/偏心标签( Sur face tilt/ decenter tab)目录光研科学荣誉出品使用坐标返回( Using the Coordinate return)表面物理光学标签( Surface physical optics tab)84表面镀膜标签( Surface coating tab)申·鲁,,84设置和移除解( Setting and removing Solves)·····设置和移除变量( Setting and removing variables).84菜单选项( Menu options).·.:··:·;:···;:··84编辑(Edit)解(S·“视图(View)86帮助(Help),·鲁评价函数( Merit function)..86菜单选项( Menu options)∵编辑(Edit).+·非·,非·;···.:·:·工具(Too1)视图(View)87帮助(Help)87多重结构( Multi- Configuration)87菜单选项( Menu options)···.87编辑(Edit)..·,,解( Solves)..工具( Tools)·····视图(VieW)榘助(Help).公差数据( Tolerance data).,,90菜单选项( Menu options)编辑(Edit)工具(Tool)视图(View)91帮助(Help)91附加数据( Extra data)..91菜单选项(Menu0 ptions).91编辑(Edit)解( Sloves)..91工具(lool)91视图(View)帮助(Help)92非序列元件(Non- Sequential components).菜单选项(Menu0 ptions)...92编辑(Edit)解( Solves)误差( Errors)探测器( Detectors)...93数据库( Database),91工具OUIS94视图(View)94帮助(Help)··鲁94撤消、亘做、恢复(Undo、Redo、 Recover).····:·········::··,,,94撤销:无(Undo:None)94撤销:一步记忆撤销(Undo: Memory1step)撤销:多步存盘撤销(Undo: Disk Multi step)目录光研科学荣誉出品第六章系统菜单更新( Update)97全部史新( Update a1l).通用(G孔径( Aperture).97孔径类型( Aperture type)孔径值( Aperture value)分布类型( Apodization type)均匀分布( Uniform apodization高斯分布( Gaussian apodization)余弦立体分布( Cosine cubed apodization)用户定义分布( User defined apodization),,,,,99分布因子( Apodization factor)远心物空间( Telecentricω bject Space)无焦像空间( Afocal i mage space)优化时重设求解( Iterate Solves When Updating),,,单位( Units100透镜单位( Lens units)..,..100光源单位( Source units),,,,,,,,,,,,,,101分析单位( Analysis Units)101无焦模式的单位( Afocal Mode units)..,,,,......101MTF单位( MTF Units)标题/注释( Title/ Notes)·售·售镜头标题( Lens title)注释( Notes).102玻璃库( Glass catalogs).,102光线校准( Ray aiming),102光线校准( Ray aiming).102使用光线校准缓存( Use Ray aiming cache)103加强型光线校准(慢)( Robust Ray aiming(Slow))103光瞳偏移:X,Y,z( Pupil shift:X,Y,andZ)环境( Environment)..104棖据环境调整折射牽数据( Ad just Index data To environment)摄氏温度( Temperature in degree C),,,,,,104AT压力( Pressure in atm)104偏振(仅E支持)( Polarization( ZEMAX- EE only)).,,,,,,,,104非偏振( Unpolarized).,,,,,,,,,,,,,,105Jx, Jy,X Phase. Y Phase将膜层相位转换成等效光线( convert thin film phase to ray equivalent)∴·..105105方法( Method).,105文件( Files),105镀膜文件( coating files)..105散射表面文件( scatter profile).,105ABG数据文件( ABg data file)105梯度特性文件( GRADIUM Profile)杂项( Miscellaneous)光程差参考( Referece opd).106近轴光线( Paraxialray106半口径余量(用透镜单位表示)( Semi diameter margin( lens units))全局坐标参考面( Global Coordinate Reference Surface)"∴∴半口径余量%( Semi diameter Margin in%)107目录光研科学荣誉出品计算F/#的方法( Method To Compute f/#)108快速球面追迹( Fast Asphere trace)108半口径的快速计算法( Fast semi- Diameters)..,,,,,,,,108检査(RIN孔径( Check GRIN Aperture)关闭线程( Turn off Threading),,,,,,,,109不要打印坐标转折数据(Don’ t Print coordinate break data),,109OP横( OPD Modulo)..,109非序列(Non- Sequentia1)..109每条光线的最大交点数( Maximum intersections per ray)每条光线最大区段数( Maximum Segments Per ray109最大嵌套/密接物体( Maximum nested/ Touching0 ojects)最小相对光线强度( Minimum relative ray intensity),,,,,,,110最小绝对光线强度( Minimum absolute Ray intensity).·.··用透镜单位表示的胶合距离( Glue distance in lens units)透镜单位下错过光线的画出长度( Missed ray draw distance In lens units)内存中的最大文件型光源的光线数( Maximum Source file rays In Memory)111简单的光线分束( Simple ray Splitting)..,,,111文件打开时重新追迹光源的光线( Retrace Source rays Upon File Open)l11视场( Fields)….,,,,111保存及导入视场数据( Saving and loading field data)……渐晕因子( Vignetting Factors)波长( Wavelengths保存和载入波长数据( Saving and loading wavelength Data)112下组态( Next Configuration)112最后组态( Last Confi guration).112第七章分析菜单前言( Introduction)视图( Layout).e·,113二维视图(2 Layout).·······,,,,,,,,,,,,,113维视图(3 Layout)114方向指示器( The orientation indicator)115光线乒常( Ray errors)115组态数据( Configuration da ta)116光线列表文件格式( Raylist file format)116阴影模型( Shaded model).,,,,,,,,,,,,116ZEMAX元件图( ZEMAX Element drawing).···...117特殊字符( Special characters..119IS0元件图(IS0 Element Drawing)画IS010110符号和代号概述( Summary of Is010110 symbols and codes),,,,,,,,,120直径和斜角( Diameters and bevels)121公差数据( Tolerance data).121NSC三维视图(NsC3 D Layout)..121非序列阴影模式( NSC Shaded Mode l,,,,,122NSC物体察看器( NSC Object Viewer).122扇形图(Fans),,.,,,,123光线像差( Ray aberration),,123在中间衣面上评估结果( Evaluating results at intermediate Surfaces),,,.,124光程( Optical path)光瞳像差( Pupil aberration)点列图( Spot Diagram)··125目录
- 2020-07-04下载
- 积分：1
