卷积神经网络CNN学习笔记 pdf
个人整理的CNN学习笔记，所有素材均来自于互联网。把经典的摘之以作备案，待整理好这份笔记后，发现对CNN也有了深入理解，希望对你也有帮助！LOCALLY CONNECTED NEURAL NETCONVOLUTIONAL NETSTATIONARI? Statisties issimilar at dif ferent locationsLearn multiple filters.Example: 1000x1000 image1M hidden unitsFilter size: 10x10E.g. 1000x1000 image100M parameters100 FiltersFilter size: 10x10u鴻網互聯EEIDEE下面的分析来源于:htp/ log csdn. net/zouxy09/ article/details,/8781543我们知道,隐含层的每一个神经元都连接10x10个图像区域,也就是说每一个神经元存在10x10=100个连接权值参数。那如果我们每个神经元这100个参教是相同的呢?也就是说每个神经元用的是同一个卷积核去卷积图像。这样我们就只有多少个参数??只有100个参数啊!!!亲!不管你隐层的神经元个数有多少,两层间的连接我只有100个参数啊!亲!这就是权值共享啊!亲!这就是卷积神经网络的主打卖点啊!亲!(有点烦了,呵呵)也许你会问,这样做靠谱吗?为什么可行呢?好了,你就会想,这样提取特征也忒不靠谱吧,这样你只提取了一种特征啊?对了,頁聪明,我们需要提取多种特征对不?假如一种滤波器,也就是一种卷积核就是提出图像的一种特征,例如某个方向的边缘。那么我们需要提取不同的特征,怎么办,加多几种滤波器不就行了吗?对∫。所以假设我们加到100种滤波器,每种滤波器的参数不一样,表示它提出输入图像的不同特征,例如不同的边缘。这样每种滤波器去卷积图像就得到对图像的不同特征的放映,我们称之为 Feature Map。所以100种卷积核就有100个 Feature Map。这100个 Feature Map就组成了一层神经元。到这个时候明了了吧。我们这一层有多少个参数了?100种卷积核x每种卷积核共享100个参数=100×100=10K,也就是1万个参数。才1万个参数啊!亲!(又来了,受不了了!)见上图右:不同的颜色表达不同的滤波器嘿哟,遗漏一个问题了。刚才说隐层的参数个数和隐层的神经元个数无关,只和滤波器的大小和滤波器种类的多少有关。那么隐层的神经元个数怎么确定呢?它和原图像,也就是输入的大小(神经元个数)、滤波器的大小和滤波器在图像中的滑动步长都有关!例如,我的图像是1000×1000像素,而滤波器大小是10×10,假设滤波器没有重叠,也就是步长为10,这样隐层的神经元个数就是(1000×1000y(10×10}=100×100个神经元了,假设步长是8,也就是卷积核会重叠两个像素,那么……我就不算了,思想懂了就好。注意了,这只是一种滤波器,也就是一个 Feature Map的神经元个数哦,如果100个 Feature Map就是100倍了。由此可见,图像越大,神经元个数和需要训练的权值参数个数的贫富差距就越大。CONV NETS: EXTENSIONSBypool ing"(e. g. max or average)filterresponses at different locations we gain Over the years. some new medes have proven to be veryrubustness to the exact spatial location effective when plugged inte corv-netsof featuresL2 PoolingU, kEN(x,r)Local Contrast normalizationhN(x y)iN(xvIRenato总之,卷积网络的核心思想是将:局部感受野、权值共享(或者权值复制)以及时间或空间亚采样这三种结构思想结合起来获得了某种程度的位移、尺度、形变不变性。23实例视觉皮层存在两类相关的细胞,S细胞( Simple Cel)和C( Complex Cell)细胞。S细胞在自身的感受野内最大限度地对图像中类似边缘模式的剌激做出响应,而C细胞具有更大的感受野,它可以对图像中产生刺激的模式的空间位置进行精准地定位C是卷积层,S是下采样层。参看这个两个网址,对理解CNN非常有帮助http://www.68idc.cn/help/buildlang/ask/20150705417730.htmlhttp://www.68idc.cn/help/buildlang/ask/20150705419299.html涵pC1s2c384江蘇鴻網互刷三 -TOLERc是卷积层,S是下采样层。输入的一幅图像,在C1层,通过和3个卷积模板做卷积运算,然后加上偏置值,再经过 sigmoid激活函数,得到3幅输出图像,在S2层,对C1层输出的3幅图像做下采样,假设采样因子是2,也就是图中每2*2的 patch中的4个像素进行求和,再加偏置,再通过激活函数,得到3张尺寸减小了的输出图像。同样的,再经过C3S4。将S4的输出拉成一个向量,输入传统的神经网络中,并得到输出24综合实例G1: feature maps8@28X28C3: f. mapInp ut20@10x1032×32S1: f. mapsS4: f. maps@14x1420@5x5C5:120Output: 9ConvolutionsSubsamplingSubsamplingconnectionConvolutions og. Csdn. n Convolutions 688图中的卷积网终Ⅰ作流程如下,输入层由32×32个感知节点组成,接收原始图像。然后,计算流程在卷积和子抽样之间交替进行,如下所述·第一隐藏层进行卷积,它由8个特征映射组成,每个特征映射由28×28个神经元组成,每个神经元指定一个5×5的接受域,这28×28个神经元共享5×5个权值参数,即卷积核第二隐藏层实现子抽样和局部平均,它同样由8个特征映射组成,但其每个特征映射由14×14个神经元组成。每个神经元具有一个2×2的接受域,一个可训练系数,一个可训练偏置和一个 sigmoid激活函数。可训练系数和偏置控制神经元的操作点;第三隐藏层进行第二次卷积,它由20个特征映射组成,每个特征映射由10×10个神经元组成。该隐藏层中的每个神经元可能具有和下一个隐藏层几个特征映射相连的突触连接,它以与第一个卷积层相似的方式操作。第四个隐藏层进行第二次子抽样和局部平均汁算。它由20个特征映射组成,但每个特征映射由5×5个神经元组成,它以与第一次抽样相似的方式操作。●第五个隐藏层实现卷积的最后阶段,它由120个神经元组成,每个神经元指定一个5×5的接受域。最后是个全连接层,得到输出向量。综合起来,如下图山辆入员/閩张38的圈像辆入|种特图到C28×28KD卷,:对应位遇相森再未和⊙如偏置每种图有个偏置a老积层f同治减函数6↑5的卷铝kC6个偏置值b输邶钟培钲图24X0mno:22域的值平均坐smle=2辆入6种征图列12|2k2个55的着核kKk22个偏置值b辆出12钟特钲图8×88×g年怦居D mean pooL斜样9=2s输出口钟特征图4x叶把S园輪出的特征图垣成一年向量入,维,:平4x×12=12F房入节点有2个192资接的神经刚络W1,09W参教W:20×192矩阵爹教bho0x1向量oh辆出节点有个,国为baby的度是o·上图中28如何变成24的?12如何变成8的?详情见这个网址:hto:/ud. stanfordedu/wki/ index. php/ Featureextractionusing convolution这个过程中,有这么几个参数:a.深度 depth:神经元个数,决定输出的dept厚度。同时代表滤波器个数。*b.步长 stride:决定滑动多少步可以到边缘。C.填充值zero- padding:在外围边缘补充若干圈0,方便从初始位置以步长为单位可以刚好滑倒末尾位置,通俗地讲就是为了总长能被步长整除。最左边一列是输入层,第二列是第一个滤波器(W0),第三列是第二个滤波器(W1),第四列是输出层。*该图有两个神经元,即 depth=2,意味着有两个滤波器数据窗口每次移动两个步长取3*3的局部数据,即stde=2。zero-padding=13cNN的激励层与池化层ReLU激励层不要用 sigmoid,因为它容易饱和、造成终止梯度传递,且没有0中心化ReLU的优点是收敛快,求梯度简单。·池化poo层池化,简言之,即取区域平均或最大,如下图所示Single depth slice1124Xmax pool with 2X2 filters5678 and stride 26832234304y参考文献:·htp:/ yann lecun. com/exdb/lenet/index. html( Yann securη实现的CNN演示,以动画的形式演示了位移、加噪、旋转、压缩等识别,最有价值的是把隐层用图像显示出来了,很生动形象)
- 2021-05-07下载
- 积分：1
贝叶斯统计
优秀的贝叶斯统计学入门教材，简单明了，包含贝叶斯统计学的思想精华，值得一看高等院校统叶学写业规划教材贝叶斯统计峁诗松編著中团先计齿坂社京)新登字041号图书在版编目(CP数据贝叶斯统计/茆诗松编著一北京:中国统计出版衬,1999.9高等院校统计学规划教材ISN75037-29309.茆QI.贝叶斯统计-高等学校-教材IV.0212中国版本图惊CIP数据核字(1999第10216号作者虾诗松贲狂编辑/军责任校对:刘开颜封面设计:张建民出版发行中国统计版社通信地址/北京市二里河月坛街7号邮政编码09826办公地址/北点市丰台区哐三坏南路甲6号电话09)63459084、6326660(发行部印刷科伦克三莱印务(北京)有限公司经钠/新华书店斤本850×116mm132子数6千子印张{8.6印数/1-5)(册版别/上9910月第1版版次19作10月第1次印刷节号/SRN7-5037-2939.34定价15.6元中国统汁版图书,版权所有,侵权必究中国统计版图书,如有印装错误,本社发行部负责调换出版诜明“九五”期闾是我国社会主义市场经濟体制逐步完著和发展重要时期,一方面,随着髙等教育体制改革和统计改革的深入发展,对统计教育模式和统计人才培养目标都提出新的要求,另一方面科学技术的飞速发展也促使统计技术发生了重大交革,新理论、新方法畑新技穴不断涌现并被应用于统计实践活应这新形勢的需要,全国统计教树编审委员会制定了《1996-200年国统计教树建设规划》,根据《规划》的要求,编委会采取招标的方式组织全国有关院校的专家、学者编写了这批统计学专业“规教材”。这批教材力求以邓小理论为指早,在总结“八五”蝴间规捌统计教材建设经验的基础上,认真贯彻以下原则:①理论紧密联系实际的原则;巴解放思想、转变观念、大脰探索、努亦创新的原则;正确处理继承与发展关系的原则。通过不懈努力,把这批教材建设成为质量高,迺应性預、面向21世纪的新教材扫信通过这批教材的出版、发行;对推动我国统计教育改革和加快更新、改造我国统计教材体系、教村内容的岁伐将起到积极的促进作用,同时对我国统计教材建设也将起到較好的示范、导向作用。限于水平和经验这批教材的编宇、出版工作还会有缺点和不足处,诚恳欢迎教杖的使用单位、广大教师和同学们提出批评和建议全国統计教材編审委员会999年3月本书是按照全囯统计斆材编审委员会指定的《頃叶斯统计》編与大纲鳊写的,是供全倒商等学校玩计专业大学生知研究生学的教科与。贝叶斯统计在近50年中发展很快,内睿愈来食丰窨。这盟只选用其中最基不鄙分构成本书,相当一学期的肉容,本节力图疴学汀过传统的概率统计(颎率学派)课程的学生展示贝汁斯汽计的基本面貌,也使他们能了解员叶斯统计的基本思想,掌握叶疬统计的基本方法,为在实际中使用和研究贝叶斯统计打下了苠好的基础木书共六章,可分二部分。前三章国绕先验分布介绍贝叶所推断方法。后三章绕损失函数介绍贝叶斯决策方法。阅读这些内容仅需要攪率统计基本知识就部了。本书力剂利生劢衣趣的例于来说明贝"斯统计的基本想想和基本方法,尽量使读老对贝叶药统计产生兴趣,引发读者使用以叶斯方法去认识和解洪实际问题的望。进而云丰瘩和发展队叶蜥统计。假如学生的兴趣被钧出来,愿望被引出来,那么讲授这一门课的目的也基本达到贝叶斯统计是在与经典统计的争论中逐渐发展起来的。争论的闩题有:末知參数是酉可以看作随机变量?事件的慨率是否一定要有频率解释?概率是否可用经验兴确定?在这些河题的争论中贝叶斯学派建立起自已的理论与,在全球传播三有百年史的经與统计对统讦学的发展稗应屎起了巨大佐用,钽时乜暴露了一些问题。在小祥本问研究二、在区估计的解释}、在似然原理釣认识上等问题经典统计也受到只圬斯学派的评,在这出批评中贝叶斯学派也在不断完善叶斯计计决策论斯分析》一书在1980年和1985年熠继二畈问世把贝叶斯统计作了较完塾的叙述。在近20中只吐浙统计在实际中叉获得广泛的应用,I991年和I995年在美国连续岀版了二本《 Case studies in Bayesian Statistics》。使贝叶斯纨十在理论上刘实际上以及它们的结合上都得到了长足的发展。惧怕使用贝叶斯统计思想得到克服。如今贝汁斯统计也定进教室,打破经典统计独占教室的一统天下的局面,这不能不说是贝吽斯统计发展中的一些重要标志。贝叶斯统计已成为统计学中一个不可缺少的部分,相陀之下,贝叶斯统计在我国射应用与发展岢属起步阶長,但我厨有很好的发展叶斯统计的氛围。只要大家努力,如汁斯统计在我国一定能迅速发展,跟上世界主流。本书编写卣始至终得到国冢统计局教育中心的关心和帮助,有他们的督促,本书还会延期出版。上海财经大学张尧庭教授和中国人民大学的吴喜之教授耐心细致地审阅了全书,提出许多贵意见,笔者都认真考虑,并作修改.这使仝书增色不少。另外,何基报、硬娟、孙汊杰等阅读书稿,提出宇贵意见,还帮助打印会书,在此一并表丞感谢由于繃者水平有限,淮确表达只叶斯学派的各种观点并非易辜、错谬之处在所难凭,恳请国内同行和广大读若批评指正茆许松1999年1月30日2第·章先验分布与后验分布种信息总体信息样本信贝叶斯公式信息贝叶斯公式的密度函数形式共细女辱粉分在是三种信息的综合、共轭先验分布、后验分布的计算、共轭先验分布的优缺点四、常用的共轭先验分布超参数及其确定一、利用先验矩、利用完验分位数、利用验矩和先验分位数四、其它方法多参数模型充分统计量习题第二章贝叶斯推断条件方法佔计贝叶斯估计、贝叶斯估计的误差区间估计可信区间最大后验密度可信区间假设检验假设检验、贝叶斯因子三、简单假设对简单假设Q⊙四、复杂假设e对复杂假设回五、简单原假设对复杂的备择假设预测似然原理第三章先验分布的确定主观概率主观概率确定主观概率的方法利用先验信息确定先验分布、直方图法二、选定先验密度函数形式再估计其超参教三、定分度法与变分度法利用边缘分布确定先验密度、边缘分布二、混合分布、先验选择的四、先验选择的矩方法无信息先验分布贝叶斯假设一、位置参数的无信息先验尺度参数的无信息先验信息阵确定无信息先验多层先验多层先验、多层模型习题第四章泆策中的收益、损失与效用决策问趣的三妻素决策问题决策问题的三素决策准贝行动的容许性决策准则先验期望准则先验期望准则、两个性质损失函数从收益到损失、损大凶数损大凶数下的悲观准则四、损失凶数下的先验期望准则常用损失函数效用函数效用和效用函数效用的测定效用尺度四、常见的效用曲线五、用效用函数作决策的例子六、从效用到损失第五章贝叶斯决策贝叶斯决策问题后验风险准则验风殓决策函数后验风险准则常用损失数下的贝叶斯估计方损失函数下的贝叶斯估计二、线性损失函数下的贝叶斯估计限个行动问趣的假设检验抽样信息期望值完全信息期望值抽样信息期望值最佳样本量的确定抽样净益最佳样本量及其上界最佳样本量的求二行动线性决簧问题的正态分布下二行动线性决策问题的先验仄塔分布下二行动线性决策问题的先验、伽冯分布下二行动线性决策问题的先验习题第六章统计决策理论风险函数风险函数决策函数的最优性、统计决策中的点估计问题四、统计决策中的区间估计问题五、统计决策中的假没检验问题容许性、决策函数的容许性最小最大准则、最小最大准则最小最大估计的容许性贝叶斯风险贝叶斯风险贝叶期风险准则与后验风险准则的等价性贝叶期估计的性质俯录常用概率分布表附录标准正态分布函数Φ7表参考文献附录页录第一章先验分布与后验分布(1§1.]二种片息总体信息样本信2)、无验信息……公】.2贝叶斯公式………、贝叶斯公式的密度燃数形式(6)厅验分布是三种倍息的综合(8〕共轭先验分布…………〔13轭先验介布13、后验分布的计算甲血1■■日血血■D■三、共轭先验分布的优缺点、常用的共轲先验分布由■冒血…(19超郄数及其确定……利用光验矩、利用先验分位数三、利用先验矩和先验分位数…………阿、其它方法多参数模型1.6充分统计t……甲看省看甲『看■p甲P看■2031第二章贝叶斯推断2.1条件方法§2.2秸计36贝时斯估计
- 2021-05-07下载
- 积分：1
