RBM 算法理解
RBM 算法理解 这份笔记参考了很多网上的资源，也加入很多自己的理解和详细推导， 非常适合初学者使用， 这篇笔记属于复合型产物，感谢那些网上无私奉献自己心得的人们。RBM能量模型这里说一下RBM的能量模型,这里关系到RBM的理解能量模型是个什么样的东西呢?直观上的理解就是,把一个表面粗糙又不太圆的小球,敚到一个表面也匕较粗糙的碗里,就随便往里面一扔,看看小球停在硫的哪个地方。一般来说停在碗底的可能性比较大,停在靠近碗底的其他地方也可能,甚至运气好还会停在碗口附近(这个碗是比较浅的一个碗):能量模型把小球停在哪个地方定义为一种状态,每种状态都对应着个能量,这个能量由能量函数来定义,小球处在某和状态的概率(如停在碗底的概率跟停在碗口的慨率当然不一样)可以通过这种状态下小球具有的能量来定义(换个说法,如小球停在了碗∏附近,这是·种状态,这个状态对应着一个能量,而发生“小球停在碗口附近”这种状态的概率,可以用来表小,表小成,其中是能量函数),其实还有一个简单的理解,球在碗底的能量一般小于在碗边缘的,比如重力势能这,显然碗底的状态稳定些,并且概率大些,就是我认为的能量模型。1.概率分布函数。各个节点的取值状态是概率的、随机的,这里用了3种概率分布来描述整个RBM网络,有联合概率密度,条件概率密度和边缘概率密度2.能量函数。随机神经网络的基础是统计力学,差不多思想是热力学米的,能量函数是描述整个系统状态的一种测度。系统越有序或者概率分布越集中(比如小球在碗底的情况),系统的能量越小,反之,系统越无序并且概率分布发散(比如平均分布),则系统的能量越大,能量函数的最小值,对应着整个系统最稳定的状态RBM能量模型的作用是什么呢?为什么要弄清楚能量模型的作用呢?第一、RBM网终是一种无监督学习的方法,无监督学习的目的自然就是最大限度的拟合输入数据和输出数据。第二、对于组输入数据来说,如果不知道它的分布,那是非常难对这个数据进行学习的。例如:如果我们实现写出了高斯函数,就可以写出似然睬数,那么就可以进行求解,就知道大致的参数,所以实现如果不知道分布是非常痛苫的·件事情,但是,没关系啊,统计力学的一项硏究成果表明,任何概率分布都可以转变成基于能量的模型,即使这个概率分布是未知的。我们仍然可以将这个分布改写成能量函数第三、能量函数能够为无监督学习方法提供个特殊的东两)日标函数b)标解换句话说,使用能量模型使得学丬一个数据的变得容易叮行了。能否把最优解的求解嵌入能量模型中至关重要,决定着我们具体问题求解的好坏。能量模型要捕获变量(这里我理解的是各个分量之间的关系)之间的相关性,变量之间的相关程度决定了能量的高低。把变量的相关关系用图表是一个图,以概率为测度,所以是概率图)模型的能量模型。由上面所说,RBM是一种概率图模型,既然引入了概率,那么就可以通过采样技术来求解,在CD( contrastive diⅳ vergence)算法中采栟部分扮演着模拟求解梯度的角色。能量模型需要定义一个能量函数,RBM能量函数如下:()=∑∑∑∑这个式子的含义非常明显,每个节点有一个能量, hidden和wsbe之间的连接也有个能量,如何求解呢?如果ⅵ isible有组取值(1,0,1),对应的 hidden取值是(1,0,1,01,0,分别带入上面的公式,最后得到的结果就是能量,这里要注意到()里面的地位是相等的,不存在先后顺序,这是一个结构整体的能量值为什么要搞能量函数?前面指出未知分布不好求解但是可以通过能量函数米表示,那么能量函数的概率模型很大程度上可以得到未知分布的概率模型,这样大致就知道了未知分布的分布既然知道了—个RBM网络 hidden和 visible整个框架的能量函数,那么可以定义这个能量函数(能量)出现的概率,很显然这个能量的出现与 hidden和sbe的每个节点的取值都有关系,那么这个能量出现的概率就是和的联合概率密度里可以将能量函数理解成小球在碗里面具体的一个位置所具有的一个能量,那么联合概率密度就是能量也就是这个状态出现的概率)这个概率不是随便定义的,是有统计热力学解释的定义了联合概率密度,那么我就可以得到一个分布,现在再回来前面的知识,可以得到1最初是未知分布的数据,求解参数,完全无从下手2.将未知分布的数据与能量函数联合在起3定义这个能量函数出现的概率,其实也就是对应着未知分布数据一个函数出现的概率4我们可以得到能量函数的概率分布,这个分布就叫 Gibbs分布,这里不是一个标准的Gibs分布,而是一个特殊的 Gibbs分布,这个分布有一组参数,其实就是能量函数中的那儿个前面知道∫下面可以得到边缘概率密度和()∑∑也可以得到条件概率密度和∑∑从概率到极大似然上面的内容已经得到了Gb分布的各种概率密度函数,现在回到最初的目的,即求解让RBM网络表示的Gibs分布最大可能的拟合输入数据,或者换一种说法,求解的目标可以认为是让RBM网终表示的 Gibbs分布与输入样本的分布尽可能的接近现在的小问题是“最大可能的拟合输入数据"这句话怎么定义:假设表小样本空间,即里面含有很多个不同的,是输入样本的分布,()表示训练样本的概率,再假设是RBM网络表示的 Gibbs分布的的边缘分布,即可以理解成每种不同情况的都对应着一个概率。输入样本的集合定义为,那么样木真实的分布和RBM网络表示的边缘分布的KL距离就是2者之间的差异性(KL的详细讲解见附录),样本的真实分布(什么是样本的分布?见附录)与RBM网络表示的边缘分布的KL距离如下所示()20)-0=2()0)2()(如果输入样本表小的分布与RBM表小的Gbbs分布完全符合,这个KL距离就是0,否则是一个大于0的数山附录对熵的定义(在KL讲解里面)可知,上面)的第一项是输入样本的熵,这个是·个固定的数,输入样本固定了,熵就固定了,第二项明显无法直接求。由KL的性质可知,KL是一定大于0的,那么当第二项最大的时候,整个KL最小,我们本来的日的也是求KL最小。注意到第二项-∑()()中的()当样木固定的时候,是固定的而函数是递增的,即当∑()最大即可。在实际应用中,我们采用的是∑(),其中是样本的个数。这里的-∑()就是极大似然估计(这里大家可以∈代替了∈Ω,这是为什么呢?拿一个2维向量来说,(1,0),(1,1),(0,0)这3个的概率和是1,(0,1)出现的概率是0,那么样本空间是(1,0),(1,1),(0,0),但是我们采样的时候只采样到∫(1,0),(1,1),那么这次的输入样本的集合就是(1,0)(1,1))。结论就是求解输入样本的极大似然,就能让RBM网络表示的 Gibbs分布和样本本身表示的分布最接近。求解极大似然这里对似然的定义参考我的另一篇笔记EM算法这个样本从所有样本被取到的概率为0)=∏(b)b∈6()=(0)=∑(0)c⊙在RBM模型中,上面的似然函数写成(上面的式子中是样本,也可以理解为一个isbe节点):(O)-(0)-l()O∈()=∏(b)=∑()0∈对这个函数进行求导02(066∈⊙66我们由能量模型应该也知道了()的概率∑,那么下面开始求导∑06∑c8上面这个式子一定要注意一个问题,即第一项的和第二项的00是不一样的。第一项的是固定的里面的取多少它就取多少而第二项里面的是所有可能的,其实这个细节也可以从∑和∑中发现出来()注意到()和,上面的式子可以写成∑0606∑()∑x((2m0)2x(2m0606第一项和第二项分别是和的期望,这2个是不同的,第一060个求在下的期望,第二项求的是这个函数在概率()下的期望。将O和()由最前面的东西代换,可得到以下3个式了∑∑∑∑∑∑()∑∑()∑()∑∑(这里用到了一个技巧∑这里∑是指hden中第个向量为0,其他分量的值任取的一组向量。?岁∑()∑()∑()∑()∑∑∑∑)-∑()-∑∑()()-∑()∑()∑∑=∑()-∑∑()()=∑()-∑()∑())-∑()(可以发现和的第二项都含有∑,这意味着要对进行遍历,这明显不可能,但是算梯度需要怎么小呢?这时就可以通过 markov采样来算,只要抽取一堆样本,这些样本符合RBM网络表示的Gibs分布,就可以把上面3个偏导数算出来。具体的处理过程是对于每个训练样本,都用某种抽样方法抽取一个对应的,这个是符合RBM网络所表示的Gbs分布的。那么对于整个训练集{米说,就得到一组对应的符合RBM网络表示的Gibs分布的样本集{然后拿这个样本去估算第二项∑,那么梯度就可以用以下的式了来近似了:()(=)-∑()(=)-∑()上面的式子中表小第个训练样木,是所对应的符合RBM网络表小的Gs分布的样本,在式子中用表示。梯度求出来了,就可以求解了,最后不断迭代就可以得到
- 2020-12-11下载
- 积分：1
软件测试计划范例
软件测试计划的一个范例，用于软件测试计划阶段日录1.概述…,-11.1产晶简介……1.2范围1.3限制条件n1日1日日日日面道14参考文档2.约定日重日画面面面面面面画重看画面面画面面画面量面国画国面面口量面日面目日面面国面面面口日重画面面量自审国221测试目标2.2接收标准23资源和工具23.1资源.2.3.2工具224送测要求,4225编号规则23.测试种类反测试标准31测试种类32测试方法及标准…32.1功能测试出,322业务测试33.23压力测试a:aaaa:接a332.4安装测试325验收测试面 nnnn n画 nnnnnnnnn面 nnnnnDIn4.测试重点及顺序……4.1预测风险4.2测试重点42.1功能测试.4422业务测试45.暂停标准和再启动要求6.测试任务和进度…7.测试提交物作者:白红勃测试计划概述11产品简介本次开发是在销售助手一期的基础上诖行的后续开发,包括新増客服功能模垬、解决期遗留的告前部分问题、完成必要的库房管理功能。二期结末后产品就成为一个比铰完整的销售管理敦件12范围本测试计划是针对中规定内容的测试计划,包括:改进后的报价书改进后的客户关怀冫销售札会中新增加的客户反馈销售机会中新增加的客户组织分析销售机会中改进的竞争管理(待定销售机会中改进的联系人改进后的产品和价格配制器新增的销售知识库新增的联系活动管理新增的客户请求模块新增的客服活动模块新增的客服合同模块新增的客服计划模块γ新增的客服知识库模块新增的完成关联任务模块公共部分新加或改进的口历浏览数据公共部分新加或改过的报表功能公共部分新加或改进的个人事务中心13限制条件本测试计划受限于产品开发人员提交测试的内容和时间的事实。根据开发人员提交模块的实际情况,不计划会做出相应修改。14参考文档序号名称作者备注二期概要设计说明书作者:白红勃测试计划2客服物坦模型日历模块详细设计说明4.个人事务中心模块详细设计说明5.客服产品缺陷详细设计说明6.客户请求详细设计说明7.客服活动详细设计说明品和价格配制详设计说明完成关联任务详细设计说明10.客服合同详细设计说明11.客服计划详印设计说明12.客服报表详细设计说明13.客服知识库详设计说明14.联系活动管理详细设计说明15.商品组表方案详细设计说明16.销售机会修改详绀设计说明17.选择商品修改详细设计说明18.售知识库详细设计说明19.客户关怀修改详细设计说明作者:白红勃测试计划2.约定21测试目标通过测试,达到以下目标:测试已实现的产品是否达到设计的要求,包括:各个功能点是否以实现,业务流程是否正确。产品规定的操作和运行稔定。Bug数和缺陷率控制在可接收的范围之内。22接收标准木节所述的接收标准是指可测试的标准,这个标准以测试组接收测试为限。单元测试接收标准的亡细规定参见文档二普销售助手测试接标准doc。其余各阶段接收标准,以经过审核后的上一阶段测试报告为准,每一阶没停止标准的详细规定参见文档软件测试停止标准doc23资源和工具231资源测试服务器稳定的测试服务器,IP地址为:192.131.0.1人灵测试审核人一名,测试实施人员4名。232工具测试中使用的Bug管理工具为经过改进的B吗g管理工具。自动化测试工具待定24送测要求销售助手开发人员提交的测试按以下要求进行:步骤动作负责人相关文档或记录要求1打包、编译开发人员无确认可测试终审核的上一级测试2审核并提交测试Xx报告测试报告xx审核并签字3接收测试测试人员经x审核并签字的上汲测试报告作者:白红勃测试计划4开始测试测试人员|Bug单、小结测试小结个人编写个人的容25编号规则与本测试计划相关的编号规则如下:测试用例中的编号,功能名+界面名(每个字第一个汉语拼音大写)编号例如:新增报价书第一个用例XZBJSO0O1测试用例文件命命名规则,模块名+测试用例例如:客服合同模块客服合同测试用例作者:白红勃测试计划3.测试种类及测试标准3.1测试种类计划完成以下类型测试功能测试业务测试压力测试安装测试验收测试32测试方法及标准3.2.1功能测试3.2.1.1功能系统能按照设计要求实现模块的各个功能,数据应完整、界面美观、操作方便。具体可参照本文档涎试重点及顺导部分。3.2.1.2界面测试详的界面测试可以参考界面测试doc32.1.3数据项测试字丹数字数据项是否能够正确回显,并褕入到系统中?图形模式的数据项〈如滑动条)是否正常工作?是否能够认别非法数据?薮捱输入消息是否可理解?3.2.1.4帮助文档测试冫文档是否精确描述∫如何使用各种使用模式?交互顺序的描述是否精确?例子是合精确?术语、菜咩描述和系统响应是否与实际程序一致?是否能够很方便圯在文档中定位指南?是否能够很方便地使用文档排除错误?文档的內容和索引是否精确完整?冫文档的设计(布局、缩进和图形)是否便于信息的理解?显示给用户的错误信息是否有更洋细的文档解释?作者:白红勃测试计划〉如果使用超级链接,超级链接是否精确完整?3.2.2业务测试功能测试完成后进行业务测试,业务测试关注的要点是业务流程,及薮据流从软件中的一个模块流到另一个模块的过程中的正确性。压力测试32.3.1压力测试说明本次压力测试根据实际情況包含性能测试,重点模拟客户进行多月户测试。压力测试有一条8:2原则。及百分之人十的业务量在百分之二十的时间内输入。例如:正常每天有00条新数据,测试时在两小时内输入80条数据。我们无法知道用户的业务量,所以只有利用公司现有资源进行大量的数据量的测试。3.23.2压力测试工具待3.23.3压力测试方法及标准压力测试的方法及标准参考压力测试计划doc3.2.3安装测试3.2.4.1安装测试说明除了嵌入式软件之外,安装是软件产品实现具功能的第一步,没有止确的安装根本就谈不上正确的执行,因此对于安裝的测试就显得尤为亘要。3.2.4.2安装测试方法及标准自动安装还是手工配置安装,测试各种不同的安装组合,并验让各种不同组合的止桷性,最终目标是所有组合都能实装成功。冫安裝退出之后,确认应用程序可以正确启动、运行。卸载测试和安装测试冋样重嬰,如果系统提供自动卸载二具,那么卸载之后需检验系统是否扣所有的文件全部圳除,注朋表中有关的注肋信息是否也被删除全少要在一台笔记本上进行安装测试,因为有很多产品在笔记木中会出瑰问题,尤其是系统级的产品。(有条件的情况下)安裝完成之后,可以在简单地使用之后再执行卸载操作;有的系统在使用之后会发生变化,变得个可卸载。安装时间是否合理作者:白红勃测试计划对于客户服务器模式的应用系统,可以先安裝客户端,然后安裝服务器端,测试是否会出现问题。考察安装该系统是否对其他的应用程序造戍影响,特别是 Windows操作系统经常会出现此类的问题。3.24验收测试3.2.5.1验收测试说明软件产品测试部对经过内部单元测试、集成测试和系统测试后的软件所进行的测试,测试用例采用业务流程测试用例3.2.5.2验收测试方法及标准参考二普软件验收测试规范.d∝c和软件测试停止标准.doc4.测试重点及顺序
- 2020-12-06下载
- 积分：1
