卷积神经网络CNN学习笔记 pdf
个人整理的CNN学习笔记，所有素材均来自于互联网。把经典的摘之以作备案，待整理好这份笔记后，发现对CNN也有了深入理解，希望对你也有帮助！LOCALLY CONNECTED NEURAL NETCONVOLUTIONAL NETSTATIONARI? Statisties issimilar at dif ferent locationsLearn multiple filters.Example: 1000x1000 image1M hidden unitsFilter size: 10x10E.g. 1000x1000 image100M parameters100 FiltersFilter size: 10x10u鴻網互聯EEIDEE下面的分析来源于:htp/ log csdn. net/zouxy09/ article/details,/8781543我们知道,隐含层的每一个神经元都连接10x10个图像区域,也就是说每一个神经元存在10x10=100个连接权值参数。那如果我们每个神经元这100个参教是相同的呢?也就是说每个神经元用的是同一个卷积核去卷积图像。这样我们就只有多少个参数??只有100个参数啊!!!亲!不管你隐层的神经元个数有多少,两层间的连接我只有100个参数啊!亲!这就是权值共享啊!亲!这就是卷积神经网络的主打卖点啊!亲!(有点烦了,呵呵)也许你会问,这样做靠谱吗?为什么可行呢?好了,你就会想,这样提取特征也忒不靠谱吧,这样你只提取了一种特征啊?对了,頁聪明,我们需要提取多种特征对不?假如一种滤波器,也就是一种卷积核就是提出图像的一种特征,例如某个方向的边缘。那么我们需要提取不同的特征,怎么办,加多几种滤波器不就行了吗?对∫。所以假设我们加到100种滤波器,每种滤波器的参数不一样,表示它提出输入图像的不同特征,例如不同的边缘。这样每种滤波器去卷积图像就得到对图像的不同特征的放映,我们称之为 Feature Map。所以100种卷积核就有100个 Feature Map。这100个 Feature Map就组成了一层神经元。到这个时候明了了吧。我们这一层有多少个参数了?100种卷积核x每种卷积核共享100个参数=100×100=10K,也就是1万个参数。才1万个参数啊!亲!(又来了,受不了了!)见上图右:不同的颜色表达不同的滤波器嘿哟,遗漏一个问题了。刚才说隐层的参数个数和隐层的神经元个数无关,只和滤波器的大小和滤波器种类的多少有关。那么隐层的神经元个数怎么确定呢?它和原图像,也就是输入的大小(神经元个数)、滤波器的大小和滤波器在图像中的滑动步长都有关!例如,我的图像是1000×1000像素,而滤波器大小是10×10,假设滤波器没有重叠,也就是步长为10,这样隐层的神经元个数就是(1000×1000y(10×10}=100×100个神经元了,假设步长是8,也就是卷积核会重叠两个像素,那么……我就不算了,思想懂了就好。注意了,这只是一种滤波器,也就是一个 Feature Map的神经元个数哦,如果100个 Feature Map就是100倍了。由此可见,图像越大,神经元个数和需要训练的权值参数个数的贫富差距就越大。CONV NETS: EXTENSIONSBypool ing"(e. g. max or average)filterresponses at different locations we gain Over the years. some new medes have proven to be veryrubustness to the exact spatial location effective when plugged inte corv-netsof featuresL2 PoolingU, kEN(x,r)Local Contrast normalizationhN(x y)iN(xvIRenato总之,卷积网络的核心思想是将:局部感受野、权值共享(或者权值复制)以及时间或空间亚采样这三种结构思想结合起来获得了某种程度的位移、尺度、形变不变性。23实例视觉皮层存在两类相关的细胞,S细胞( Simple Cel)和C( Complex Cell)细胞。S细胞在自身的感受野内最大限度地对图像中类似边缘模式的剌激做出响应,而C细胞具有更大的感受野,它可以对图像中产生刺激的模式的空间位置进行精准地定位C是卷积层,S是下采样层。参看这个两个网址,对理解CNN非常有帮助http://www.68idc.cn/help/buildlang/ask/20150705417730.htmlhttp://www.68idc.cn/help/buildlang/ask/20150705419299.html涵pC1s2c384江蘇鴻網互刷三 -TOLERc是卷积层,S是下采样层。输入的一幅图像,在C1层,通过和3个卷积模板做卷积运算,然后加上偏置值,再经过 sigmoid激活函数,得到3幅输出图像,在S2层,对C1层输出的3幅图像做下采样,假设采样因子是2,也就是图中每2*2的 patch中的4个像素进行求和,再加偏置,再通过激活函数,得到3张尺寸减小了的输出图像。同样的,再经过C3S4。将S4的输出拉成一个向量,输入传统的神经网络中,并得到输出24综合实例G1: feature maps8@28X28C3: f. mapInp ut20@10x1032×32S1: f. mapsS4: f. maps@14x1420@5x5C5:120Output: 9ConvolutionsSubsamplingSubsamplingconnectionConvolutions og. Csdn. n Convolutions 688图中的卷积网终Ⅰ作流程如下,输入层由32×32个感知节点组成,接收原始图像。然后,计算流程在卷积和子抽样之间交替进行,如下所述·第一隐藏层进行卷积,它由8个特征映射组成,每个特征映射由28×28个神经元组成,每个神经元指定一个5×5的接受域,这28×28个神经元共享5×5个权值参数,即卷积核第二隐藏层实现子抽样和局部平均,它同样由8个特征映射组成,但其每个特征映射由14×14个神经元组成。每个神经元具有一个2×2的接受域,一个可训练系数,一个可训练偏置和一个 sigmoid激活函数。可训练系数和偏置控制神经元的操作点;第三隐藏层进行第二次卷积,它由20个特征映射组成,每个特征映射由10×10个神经元组成。该隐藏层中的每个神经元可能具有和下一个隐藏层几个特征映射相连的突触连接,它以与第一个卷积层相似的方式操作。第四个隐藏层进行第二次子抽样和局部平均汁算。它由20个特征映射组成,但每个特征映射由5×5个神经元组成,它以与第一次抽样相似的方式操作。●第五个隐藏层实现卷积的最后阶段,它由120个神经元组成,每个神经元指定一个5×5的接受域。最后是个全连接层,得到输出向量。综合起来,如下图山辆入员/閩张38的圈像辆入|种特图到C28×28KD卷,:对应位遇相森再未和⊙如偏置每种图有个偏置a老积层f同治减函数6↑5的卷铝kC6个偏置值b输邶钟培钲图24X0mno:22域的值平均坐smle=2辆入6种征图列12|2k2个55的着核kKk22个偏置值b辆出12钟特钲图8×88×g年怦居D mean pooL斜样9=2s输出口钟特征图4x叶把S园輪出的特征图垣成一年向量入,维,:平4x×12=12F房入节点有2个192资接的神经刚络W1,09W参教W:20×192矩阵爹教bho0x1向量oh辆出节点有个,国为baby的度是o·上图中28如何变成24的?12如何变成8的?详情见这个网址:hto:/ud. stanfordedu/wki/ index. php/ Featureextractionusing convolution这个过程中,有这么几个参数:a.深度 depth:神经元个数,决定输出的dept厚度。同时代表滤波器个数。*b.步长 stride:决定滑动多少步可以到边缘。C.填充值zero- padding:在外围边缘补充若干圈0,方便从初始位置以步长为单位可以刚好滑倒末尾位置,通俗地讲就是为了总长能被步长整除。最左边一列是输入层,第二列是第一个滤波器(W0),第三列是第二个滤波器(W1),第四列是输出层。*该图有两个神经元,即 depth=2,意味着有两个滤波器数据窗口每次移动两个步长取3*3的局部数据,即stde=2。zero-padding=13cNN的激励层与池化层ReLU激励层不要用 sigmoid,因为它容易饱和、造成终止梯度传递,且没有0中心化ReLU的优点是收敛快,求梯度简单。·池化poo层池化,简言之,即取区域平均或最大,如下图所示Single depth slice1124Xmax pool with 2X2 filters5678 and stride 26832234304y参考文献:·htp:/ yann lecun. com/exdb/lenet/index. html( Yann securη实现的CNN演示,以动画的形式演示了位移、加噪、旋转、压缩等识别,最有价值的是把隐层用图像显示出来了,很生动形象)
- 2021-05-07下载
- 积分：1
Matlab_Simulink动力学系统建模与仿真
《Matlab/Simulink动力学系统建模与仿真（第2版）》主要介绍了动力学系统中微分方程模型、传递函数模型和状态空间模型等建立的基础理论，并引入了Simulink仿真技术，为解决复杂动力学问题（特别是不易得到解析解的动力学问题）提供了方法。 《Matlab/Simulink动力学系统建模与仿真（第2版）》编排了较多的例题来说明各类动力学模型的仿真模型的建立方法，以及差分模型、相似模型、时域和频域等仿真模型，最后将控制动力学基础知识作为后继研究的扩展内容做了介绍。 《Matlab/Simulink动力学系统建模与仿真（第2版）》是一本多学科内容相交又的教材，同时涉及了力学、电学和动内容简介本书主要介绍了动力学系统中微分方程模型、传递函数模型和状态空间模型等建立的基础理论,并引入了 Simulink仿真技术,为解决复杂动力学问题(特别是不易得到解析解的动力学问题)提供了方法。书中编排了较多的例题来说明各类动力学模型的仿真模型的建立方法,以及差分模型、相似模型、时域和频域等仿真模型,最后将控制动力学基础知识作为后继硏究的扩展内容做了介绍。本书是一本多学科内容相交叉的教材,同时涉及了力学、电学和动力学控制等学科的交叉知识。本书适合具有一定数学和力学基础知识的理工科专业的本科高年级学生使用,可以作为机械工程、土木工程、车辆工程和仪器仪表、印刷机械等本科高年级学生和相关专业的研究生在学习有关动力学系统建模与仿真内容时的参考书,还可供相关工程技术人员参考。图书在版编目(CIP)数据Matlab/ Simulink动力学系统建模与仿真/黎明安,钱利编著.-2版.一北京:国防工业出版社,2015.7ISBN978-7-118-102055L.①M..Ⅱ.①黎.②钱..Ⅲ.①计算机辅助计算—应用—动力系统一系统建模②计算机辅助计算一应用—动力系统一系统仿真Ⅳ.①TP391.75②019中国版本图书馆CP数据核字(2015)第138118号※宫原社出版发行(北京市海淀区紫竹院南路23号邮政编码100048)天利华印刷装订有限公司印刷新华书店经售开本787×10921/16印张19字数456千字2015年7月第2版第1次印刷印数1—3000册定价49.00元(本书如有印装错误,我社负责调换)国防书店:(010)8854077发行邮购:(010)88540776发行传真:(010)88540755发行业务:(010)88540717前言本书是在为“工程力学”本科专业开设的“动态系统建模与计算机仿真”课程基础上多次改编而成的。本书一开始就采用了模型框图,使学生在学习过程中掌握和使用仿真框图的表示方法,为今后建立仿真模型奠定基础。本书结合了 Simulink仿真平台的基础知识,学生可以在各章的例题中学会 Matlab基本的编程能力和 Simulink基本模块的应用;将 Simulink的基础知识分散到各个章节中由浅入深地讲授,使学习者容易接受。本书第1版于2012年出版,此次在第1版的基础上修改了部分错误,个别习题也做了调整,使内容编排更趋于合理。全书分为10章,第1章~第3章介绍了建模与仿真的数学力学基础知识和以框图来表示模型的方法,主要以微分方程模型为主线介绍了简单仿真模型的建立。第4章介绍了系统的传递函数模型以及面对传递函数的仿真模型的建立。第5章介绍了状态空间模型。第6章介绍了基于采样的将连续系统离散化的方法。第7章介绍了机电相似模型。第8章介绍了动力学系统的时域瞬态响应分析方法。第9章介绍了频域分析方法。第10章介绍了控制动力学基础。全书贯穿了 Matlab/ Simulink仿真技术。本书中的仿真例题均在 Matlab(R2007a)下调试通过,希望读者在该版本下建立仿真模型本书由西安理工大学师俊平教授、王忠民教授审阅,两位教授对本书内容的编写提出了宝贵的修改意见,研究生雷霜、崔凯和朱晓雄等对初稿进行了认真的校对,在此表示衷心感谢。西北工业大学支希哲教授、朱西平教授,空军工程大学冯立富教授,陕西理学院张宝中教授,西安科技大学郭志勇教授,西安理工大学徐开亮博士等在编写过程中给予了大力帮助,在此表示深切感谢由于水平有限,本书还有很多需要改进的地方,敬请使用者提出宝贵意见。编著者Ⅲ目录绪论…………………………………………………………………………1第1章系统建模与仿真基础…………1.1系统仿真模型框图表示法·4441.1.1基本仿真元件………1.1.2简单仿真框图结构51.2拉普拉斯变换…1.2.1拉普拉斯变换的定义及其性质1.2.2拉普拉斯逆变换………………………………111.2.3拉普拉斯变换在求解线性常系数微分方程中的应用1.3z变换与Z逆变换…161.3.1Z变换的定义1.3.2Z变换的应用…171.4矩阵的特征值与特征矢量…181.4.1标准特征值问题…191.4.2广义特征值问题1.4.3相似变换及其特性…………………………………………21习题5第2章动力学系统的微分方程模型………………………………………282.1动力学建模基本理论…………………………………………………282.1.1动力学系统基本元件…282.1.2动力学建模基本定理…………………………292.2哈密顿动力学建模体系382.2.1拉格朗日方程2.2.2哈密顿原理2.3一维弹性体的有限元建模………422.3.1梁单元质量矩阵与刚度矩阵…422.3.2总体系统动力学微分方程………………………………442.4一维弹性体系统的假设模态法482.4.1模态函数……………………………………………482.4.2系统的动能和势能…………………492.4.3系统的动力学方程2.5 Simulink高级积分器的仿真模型建立…512.5.1高级积分器端口………522.5.2高级积分器在仿真中的应用…………………………52习题………………………………………………………………………………………54第3章动力学系统响应分析的数值方法……583.1数值积分法和数值微分法…583.1.1数值积分法………………………………………………………………583.1.2数值微分法……593.1.3多自由度振动系统的差商模型…………………………………633.2龙格一库塔法……653.2.1二阶龙格一库塔法………653.2.2四阶龙格一库塔法……………………………………………663.3四阶龙格一库塔法仿真程序设计673.3.1求解一阶微分方程四阶龙格一库塔法程序设计……………………673.3.2求解一阶微分方程组的四阶的龙格一库塔法程序设计693.3.3高阶微分方程的四阶龙格一库塔法程序设计703.4隐式逐步积分法…………………………………………………723.4.1线性加速度法723.4.2威尔逊θ法…3.5微分方程的边值问题的求解…………………763.5.1解线性方程边值问题的差分方法……………………………………763.5.2解线性方程边值问题的打靶法(试射法)…773.5.3关于三对角矩阵的追赶法程序设计……·,,,,,,,,,,,,.,,,,……793.6关于 Simulink环境中的求解器 Solver803.6.1常用求解器…………………………………………803.6.2求解器的选择813.7Malb中符号微积分……………823.7.1符号微分与符号积分……………………………………823.7.2利用符号运算求解微分方程习题……………………………………………………………………884第4章系统传递函数模型84.1传递函数及其特性…4.1.1传递函数定义……………884.1.2传递函数的特性…4.1.3传递函数的图示方法…894.2基本环节的传递函数……………………894.2.1比例环节……………………904.2.2一阶延迟环节4.2.3微分环节914.2.4积分环节…………914.2.5振荡环节………………914.3传递函数的其他形式934.3.1传递函数的零极点形式……………………………………………934.3.2传递函数的留数形式…………………………………………934.3.3传递函数的串联、并联与反馈连接形式944.3.4控制系统的开环传递函数……………………………………974.4多自由度振动系统的传递函数模型……………1014.4.1直接方法,..,.,,...,,,,,,.,·,,,,,,,,,..,·.、,,,,,,,,,,,,··,1014.4.2模态分析法…1035传递函数模型的 Simulink仿真模型建立…………………1054.5.1与传递函数相关的 Matlab运算指令…1054.5.2传递函数模型的 Simulink仿真模型建立…1084.6弹性系统的传递函数仿真模型…1114.6.1弹性系统的传递函数1114.6.2传递函数 Simulink仿真模型………………………………………………112习题113第5章动力学系统状态空间模型1175.1动力学系统的状态空间模型………………1175.1.1状态空间方程的一般形式1175.1.2化高阶微分方程为状态方程——不含输入导数情况……………………1185.1.3线性多自由度振动系统的状态空间模型1215.2微分方程模型与状态空间的关系1235.2.1微分方程模型与状态空间模型特征对的关系……………………1235.2.2系统含有输入导数的状态空间模型1235.3状态空间的相似变换…………………………………………1295.3.1一般情况…1295.3.2特殊情况(可控标准型的情况)…………………1305.4系统的状态空间模型与传递函数模型之间的转换……1315.4.1从状态空间模型转换为传递函数模型……………………1315.4.2模型转换 Matlab函数1325.4.3传递函数模型转换为状态空间模型的直接方法∴……1345.5传递函数模型转换为状态空间模型的串并联法…1355.5.1并联模型法,.,,,,,,,,,,,,,,,1355.5.2串联模型法1385.6状态空间仿真模型建立………………………………………1415.6.1非线性时变系统1415.6.2非线性定常系统……………………………………1425.6.3线性时变系统∴…………1425.6.4线性定常系统……………425.7关于混合系统仿真……………………144习题…∴∴…145第6章连续系统的相似离散法1486.1线性连续系统相似离散法…1486.1.1连续系统状态方程的精确解…486.1.2零阶保持器下状态方程的离散化…1496.1.3一阶保持器下状态方程的离散….,.,,.,,,,.,,,,,·,,,,,,,,,1506.1.4离散系统仿真模块1516.2状态转移矩阵…1526.2.1状态转移矩阵的特性1526.2.2求转移矩阵的几种方法…1536.3离散化系统的传递函数模型…………………1546.3.1零阶保持器的传递函数1546.3.2一阶保持器的传递函数…1546.3.3离散系统的传递函数模型1566.4线性时变系统状态方程的离散化………………………1586.4.1线性时变状态方程的解……………………1586.4.2线性时变系统状态方程离散化…………………1596.4.3近似离散化1596.5离散系统仿真模型建立…………………………1636.5.1有关离散系统 Matlab函数的应用1636.5.2状态方程的离散——基于单位延迟的状态空间仿真模型1666.5.3利用离散传递函数模块的 Simulink仿真模型……∴1686.5.4使用离散状态空间模块 Simulink仿真模型168习题……………………………………………………………………………170第7章机电模拟系统………………………………………1737.1电学基本元件和基本定律1737.1.1电学基本元件……1737.1.2简单电路动态方程1747.1.3电气系统的数学模型建立…………………………………………1747.2无源滤波器……………1787.2.1滤波器基本类型1787.2.2无源RC滤波器……………………………………………………………………………1857.2.3无源RLC滤波器………………………………………………………1867.3机电相似系统1867.3.1力一电压相似……………………………………………………………………187Ⅶ7.3.2力一电流相似…1887.4机电耦合系统的数学建模∴…1897.5运算放大器系统的数学建模∴……………190习题………196第8章系统瞬态响应分析………2008.1典型状态和典型激励的瞬态响应…2008.1.1系统响应种类…2008.1.2常见的几种典型外激励……………2018.2一阶系统的瞬态响应分析·……………………………………………………2028.2.1系统在零输入响应……………………2028.2.2系统零状态响应…………………………………………………2028.2.3标准一阶系统的单位阶跃响应特性……………2048.3二阶系统瞬态响应分析…………………………2068.3.1标准二阶系统的单位脉冲响应………………2068.3.2欠阻尼标准二阶系统的阶跃响应2098.3.3欠阻尼标准二阶系统性能指标…2108.3.4非标准欠阻尼标准二阶系统性能指标…∴…2148.3.5欠阻尼二阶系统的单位斜坡响应………………………………2178.3.6过阻尼二阶系统的单位阶跃响应………………………2188.4 Matlab/ Simulink仿真…………………………………………………………2208.5高阶系统的响应2218.5.1高阶系统的传递函数……………………………………2218.5.2高阶系统的瞬态响应222习题……………………………………………………………………………222第9章动力学系统频域分析方法………………………………………………2269.1概述……………………………………………2269.2频率响应函数…2269.2.1谐和激励下系统的响应函数…………………………………………2269.2.2系统的传递函数与系统的频率响应函数………………………2279.2.3系统频率响应特性曲线(频响曲线)……………………2309.3单位脉冲函数与频率响应函数.·······:··:.·.·········;···;··:.:··2329.3.1单位脉冲响应函数(权函数)…………………2329.3.2单位脉冲函数与频率响应函数…………………………………2339.3.3标准二阶系统的频率响应特性……·.···········2359.4频率响应分析法仿真……23794.1连续系统频率响应特性:,···:,,2379.4.2线性多自由度系统的频域分析2459.4.3快速傅里叶变换与仿真……………………………246Ⅷ9.5频率响应特性在振动系统参数识别中的应用……2489.5.1幅频、相频曲线识别法…………2499.5.2实频、虚频曲线识别法2509.5.3导纳圆的参数识别法…………………252习题………………254第10章动力学系统控制基础…25610.1动力学控制的基本概念…25610.2PID控制系统…………………25710.2.1PID工作简介…25710.2.2PID的数学模型…………25810.2.3PID控制系统的响应分析…25910.3状态反馈控制系统··..···.···:········.···········:······…………27010.4最优控制………………………27410.4.1固定端点的问题最优控制…………………………………27510.4.2始端时刻固定、末值状态自由情况下的最优控制27610.5线性系统的二次型最优设计…………279习题………………………………………………………………………285附录………………………………………………………288附录1 Simulink仿真系统常用模块库288附录2典型函数的拉普拉斯变换和Z变换…………………………………………290附录3 Matlab/ Simulink部分功能设置…………29参考文献…292Ⅸ
- 2020-12-04下载
- 积分：1
