卷积神经网络CNN学习笔记 pdf
个人整理的CNN学习笔记，所有素材均来自于互联网。把经典的摘之以作备案，待整理好这份笔记后，发现对CNN也有了深入理解，希望对你也有帮助！LOCALLY CONNECTED NEURAL NETCONVOLUTIONAL NETSTATIONARI? Statisties issimilar at dif ferent locationsLearn multiple filters.Example: 1000x1000 image1M hidden unitsFilter size: 10x10E.g. 1000x1000 image100M parameters100 FiltersFilter size: 10x10u鴻網互聯EEIDEE下面的分析来源于:htp/ log csdn. net/zouxy09/ article/details,/8781543我们知道,隐含层的每一个神经元都连接10x10个图像区域,也就是说每一个神经元存在10x10=100个连接权值参数。那如果我们每个神经元这100个参教是相同的呢?也就是说每个神经元用的是同一个卷积核去卷积图像。这样我们就只有多少个参数??只有100个参数啊!!!亲!不管你隐层的神经元个数有多少,两层间的连接我只有100个参数啊!亲!这就是权值共享啊!亲!这就是卷积神经网络的主打卖点啊!亲!(有点烦了,呵呵)也许你会问,这样做靠谱吗?为什么可行呢?好了,你就会想,这样提取特征也忒不靠谱吧,这样你只提取了一种特征啊?对了,頁聪明,我们需要提取多种特征对不?假如一种滤波器,也就是一种卷积核就是提出图像的一种特征,例如某个方向的边缘。那么我们需要提取不同的特征,怎么办,加多几种滤波器不就行了吗?对∫。所以假设我们加到100种滤波器,每种滤波器的参数不一样,表示它提出输入图像的不同特征,例如不同的边缘。这样每种滤波器去卷积图像就得到对图像的不同特征的放映,我们称之为 Feature Map。所以100种卷积核就有100个 Feature Map。这100个 Feature Map就组成了一层神经元。到这个时候明了了吧。我们这一层有多少个参数了?100种卷积核x每种卷积核共享100个参数=100×100=10K,也就是1万个参数。才1万个参数啊!亲!(又来了,受不了了!)见上图右:不同的颜色表达不同的滤波器嘿哟,遗漏一个问题了。刚才说隐层的参数个数和隐层的神经元个数无关,只和滤波器的大小和滤波器种类的多少有关。那么隐层的神经元个数怎么确定呢?它和原图像,也就是输入的大小(神经元个数)、滤波器的大小和滤波器在图像中的滑动步长都有关!例如,我的图像是1000×1000像素,而滤波器大小是10×10,假设滤波器没有重叠,也就是步长为10,这样隐层的神经元个数就是(1000×1000y(10×10}=100×100个神经元了,假设步长是8,也就是卷积核会重叠两个像素,那么……我就不算了,思想懂了就好。注意了,这只是一种滤波器,也就是一个 Feature Map的神经元个数哦,如果100个 Feature Map就是100倍了。由此可见,图像越大,神经元个数和需要训练的权值参数个数的贫富差距就越大。CONV NETS: EXTENSIONSBypool ing"(e. g. max or average)filterresponses at different locations we gain Over the years. some new medes have proven to be veryrubustness to the exact spatial location effective when plugged inte corv-netsof featuresL2 PoolingU, kEN(x,r)Local Contrast normalizationhN(x y)iN(xvIRenato总之,卷积网络的核心思想是将:局部感受野、权值共享(或者权值复制)以及时间或空间亚采样这三种结构思想结合起来获得了某种程度的位移、尺度、形变不变性。23实例视觉皮层存在两类相关的细胞,S细胞( Simple Cel)和C( Complex Cell)细胞。S细胞在自身的感受野内最大限度地对图像中类似边缘模式的剌激做出响应,而C细胞具有更大的感受野,它可以对图像中产生刺激的模式的空间位置进行精准地定位C是卷积层,S是下采样层。参看这个两个网址,对理解CNN非常有帮助http://www.68idc.cn/help/buildlang/ask/20150705417730.htmlhttp://www.68idc.cn/help/buildlang/ask/20150705419299.html涵pC1s2c384江蘇鴻網互刷三 -TOLERc是卷积层,S是下采样层。输入的一幅图像,在C1层,通过和3个卷积模板做卷积运算,然后加上偏置值,再经过 sigmoid激活函数,得到3幅输出图像,在S2层,对C1层输出的3幅图像做下采样,假设采样因子是2,也就是图中每2*2的 patch中的4个像素进行求和,再加偏置,再通过激活函数,得到3张尺寸减小了的输出图像。同样的,再经过C3S4。将S4的输出拉成一个向量,输入传统的神经网络中,并得到输出24综合实例G1: feature maps8@28X28C3: f. mapInp ut20@10x1032×32S1: f. mapsS4: f. maps@14x1420@5x5C5:120Output: 9ConvolutionsSubsamplingSubsamplingconnectionConvolutions og. Csdn. n Convolutions 688图中的卷积网终Ⅰ作流程如下,输入层由32×32个感知节点组成,接收原始图像。然后,计算流程在卷积和子抽样之间交替进行,如下所述·第一隐藏层进行卷积,它由8个特征映射组成,每个特征映射由28×28个神经元组成,每个神经元指定一个5×5的接受域,这28×28个神经元共享5×5个权值参数,即卷积核第二隐藏层实现子抽样和局部平均,它同样由8个特征映射组成,但其每个特征映射由14×14个神经元组成。每个神经元具有一个2×2的接受域,一个可训练系数,一个可训练偏置和一个 sigmoid激活函数。可训练系数和偏置控制神经元的操作点;第三隐藏层进行第二次卷积,它由20个特征映射组成,每个特征映射由10×10个神经元组成。该隐藏层中的每个神经元可能具有和下一个隐藏层几个特征映射相连的突触连接,它以与第一个卷积层相似的方式操作。第四个隐藏层进行第二次子抽样和局部平均汁算。它由20个特征映射组成,但每个特征映射由5×5个神经元组成,它以与第一次抽样相似的方式操作。●第五个隐藏层实现卷积的最后阶段,它由120个神经元组成,每个神经元指定一个5×5的接受域。最后是个全连接层,得到输出向量。综合起来,如下图山辆入员/閩张38的圈像辆入|种特图到C28×28KD卷,:对应位遇相森再未和⊙如偏置每种图有个偏置a老积层f同治减函数6↑5的卷铝kC6个偏置值b输邶钟培钲图24X0mno:22域的值平均坐smle=2辆入6种征图列12|2k2个55的着核kKk22个偏置值b辆出12钟特钲图8×88×g年怦居D mean pooL斜样9=2s输出口钟特征图4x叶把S园輪出的特征图垣成一年向量入,维,:平4x×12=12F房入节点有2个192资接的神经刚络W1,09W参教W:20×192矩阵爹教bho0x1向量oh辆出节点有个,国为baby的度是o·上图中28如何变成24的?12如何变成8的?详情见这个网址:hto:/ud. stanfordedu/wki/ index. php/ Featureextractionusing convolution这个过程中,有这么几个参数:a.深度 depth:神经元个数,决定输出的dept厚度。同时代表滤波器个数。*b.步长 stride:决定滑动多少步可以到边缘。C.填充值zero- padding:在外围边缘补充若干圈0,方便从初始位置以步长为单位可以刚好滑倒末尾位置,通俗地讲就是为了总长能被步长整除。最左边一列是输入层,第二列是第一个滤波器(W0),第三列是第二个滤波器(W1),第四列是输出层。*该图有两个神经元,即 depth=2,意味着有两个滤波器数据窗口每次移动两个步长取3*3的局部数据,即stde=2。zero-padding=13cNN的激励层与池化层ReLU激励层不要用 sigmoid,因为它容易饱和、造成终止梯度传递,且没有0中心化ReLU的优点是收敛快,求梯度简单。·池化poo层池化,简言之,即取区域平均或最大,如下图所示Single depth slice1124Xmax pool with 2X2 filters5678 and stride 26832234304y参考文献:·htp:/ yann lecun. com/exdb/lenet/index. html( Yann securη实现的CNN演示,以动画的形式演示了位移、加噪、旋转、压缩等识别,最有价值的是把隐层用图像显示出来了,很生动形象)
- 2021-05-07下载
- 积分：1
5G网络技术架构
主要讲述当前网络挑战与发展趋势，以及网络总体设计和5G网络的功能特是哪个，和关键技术 。最后总结和展望未来AT-2◇21MT202056/推进组5G无线技术架构白皮书引言在过去的三十年里,移动通信经历了从语音多址技术之外,大规模天线、超密集组网和全频业务到移动宽带数据业务的飞跃式发展,不仅深谱接入都被认为是5G的关键使能技术。此外,新刻地改变了人们的生活方式,也极大地促进了社型多载波、灵活双工、新型调制编码、终端直通会和经济的飞速发展。移动互联网和物联网作为(2)、全双工(又称同时同频全双工)等也未来移动通信发展的两大上要驱动力,为第五代是潜在的5G无线关键技术。5G系统将会构建在以移动通信(5G)提供了广阔旳应用前景。面向新型多址、大规模天线、超密集组网、全频谱接2020年及未来,数据流量的千倍增长,千亿设备入为核心的技术体系之上,全面满足面向2020年连接和多样化的业务需求都将对5G系统设计提出及未来的5G技术需求。严峻挑战。与4G相比,5G将支持更加多样化的当前,5G愿景与需求已基明确,概念与技场景,融合多种无线接入方式,并充分利用低频术路线逐步清晰,国际标准制定工作即将启动。和髙频等频谱资源。同时,5G还将满足网络灵为此,迫切需要尽快细化5G技术路线,整合各种活部署和高效运营维护的需求,大幅提升频谱效无线关键技术,形成5G无线技术框架并推动达成率、能源效率和成本效率,实现移动通信网络的产业共识,以指导5G国际标准及后续产业发展。可持续发展传统的移动通信升级换代都是以多址接入技术为主线,5G的无线技术创新来源将更加丰富。除了稀疏码分多址(SCMA)、图样分割多址(PDMA)、多用户共享接入(MUSA)等新型AT-292◇MT2020(5G)推进组5G无线技术架构白皮书场景与技术需求与以往移动通信系统相比,5G需要满足更加低功耗大连接场景主要面向环境监测、智多样化的场景和极致的性能挑战。归纳未来移动能农业等以传感和数据采集为目标的应用互联网和物联网主要场景和业务需求特征,可提场景,具有小数据包、低功耗、低成本炼出连续广域覆盖、热点高容量、低时延高可靠海量连接的特点,要求支持百万/平方公里和低功耗大连接四个5G主要技术场景。连接数密度。·连续广域覆盖玚景是移动通信最基本的覆总之,5G的技术挑战主要包括盖方式,在保证用户移动性和业务连续性0.1-1GbDs的用广体验速率,数十Gbps的的前提下,无论在静止还是高速移动,覆峰值速率,数十Tbυs/km的流量密度,1盖中心还是覆盖边缘,用户都能够随时随百万/平方公里的连接数密度,毫秒级的地获100Mbps以上的体验速率。端到端时延,以及百倍以上能效提升和单热点高容量场景:要面向室内外局部热点位比特成本降低。区域,为用户提供极高的数据传输速率,满足网络极高的流量密度需求。要技术挑战包括 1Gbps用户休验速率、数|Gbps峰值速率和数十Tbps/km的流量密度低时延高可靠场景主要面向车联网、工业控制等物联网及垂直行业的特殊应用需求,为用户提供亳秒级的端到端时延和或接近100%的业务可靠性保证。AT-2◇2M-2020(56推进组5G无线技术架构白皮书5G无线技术路线面对5G场景和技术需求,需要选择合适的5G将通过工作在较低频段的新空口来满足无线技术路线,以指导5G标進化及产业发展。大覆盖、高移动性场景下的用户体验和海量设综合考虑需求、技术发展趋势以及网络平滑演备连接。同时,需要利用高频段丰富的频谱资进等因素,5G空口技术路线可由5G新空口(含源,来满足热点区域极高的用户体验速率和系低频空口与高频空口)和4G演进两部分组成。统容量需求。综合考虑国际频谱规划及频段传LTE/LTE一 Advanced技术作为事实上的播特性,5G应当包含工作在6GHz以下频段的统一4G标准,已在全球范围内大规模部署。为低频新空口以及工作在6GHz以上频段的高频了持续提升4G用户体验并支持网络平滑演进新空口。需要对4G技术进一步增强。在保证后向兼容的5G低频新空口将采用全新的空口设计,前提下,4G演进将以LE/LTE- advanced技引入大规模天线、新型多址、新波形等先进技术梹架为基础,在传统移动通信频段引入增强术,攴持更短的帧结构,更精简的信令流程,技术,进一步提升4G系统的速率、容量、连接更灵活的双工方式,有效满足广覆盖、大连接数、时延等空口性能指标,在一定程度上满足及髙速等多数场景下的体验速率、时延、连接5G技术需求。数以及能效等指标要求。在系统设计时应当构受现有4G技术框架的约東,大规模天线建统一的技术方案,通过灵活配置技术模块及超密集组阏等增強技术的潜力难以完仝发挥,参数来淸足不同场景差异化的技术需求。全频谱接入、部分新型多址等先进技术难以在5G高频新空口需要考虑高频信道和射频器现有技术框架下采用,4G演进路线无法满足5G件的影响,并针对波形、调制编码、天线技术极致的性能需求。因此,5G需要突破后向兼容等进行相应的优化。同时,高频频段跨度大的限制,设计全新的空口,充分挖掘各种先进候选频段多,从标准、成本及运维角度考虑,技术的潜力,以全面满足5G性能和效率指标要应当尽可能采用统一的空口技术方案,通过参求,新空口将是5G主要的演进方向,4G演进将数调整来适配不同信道及器件的特性。是有效补充。髙频段覆盖能力弱,难以实现全网覆盖,需要与低频段联合组网。由低频段形成有效的3AT-22MT2020(5G)推进组5G无线技术架构白皮书网络覆盖,对用户进行控制、管理,并保证基本的数据传输能力;高频段作为低频段的有效补充,在信道条件较好情况下,为热点区域用户提供高速数据传输。5G无线技术路线主要场景连续广域覆盖6-100GHZ5G高频新空口冷热点高容量5G低频新空口低时延高可靠
- 2020-12-05下载
- 积分：1
