-
粤港澳大湾区行政边界
粤港澳大湾区行政边界含火星坐标系，wgs84坐标系和百度坐标系含香港澳门
- 2020-12-12下载
- 积分：1
-
反向传播算法推导—全连接神经网络
反向传播算法是人工神经网络训练时采用的一种通用方法，在现代深度学习中得到了大 规模的应用。全连接神经网络(多层感知器模型，MLP)，卷积神经网络(CNN)，循环神 经网络(RNN)中都有它的实现版本。算法从多元复合函数求导的链式法则导出，递推的 计算神经网络每一层参数的梯度值。算法名称中的“误差”是指损失函数对神经网络每一层 临时输出值的梯度。反向传播算法从神经网络的输出层开始，利用递推公式根据后一层的误 差计算本层的误差，通过误差计算本层参数的梯度值，然后将差项传播到前一层(w, x,)+b这个神经元接受的输入信号为向量(),向量()为输入向量的组合权重,为徧置项,是标量。神经儿对输入冋量进行加权求和,并加上偏置项最后经过激活函数变换产生输出为表述简洁,我们把公式写成向量和矩阵形式。对每个神经元,它接受的来自前一层神经元的输入为向量,本节点的权重向量为,偏置项为,该神经元的输出值为先计算输入向量与权重向量的内积,加上偏置项,再送入一个函数进行变换,得到输出这个函数称为激活函数,典型的是函数。为什么需要激活函数以及什么样的函数可以充当激活函数,在之前的公众号文章“理解神经网终的激活函数”中已经进行了介绍。神绎网络一般有多个层。第一层为输入层,对应输入向量,神绎元的数量等于特征向量的维数,这个层不对数据进行处理,只是将输入向量送入下一层中进行计算。中间为隐含层,可能有多个。最后是输出层,神经元的数量等于要分类的类别数,输出层的输岀值被用来做分类预测。下面我们来看一个简单神经网络的例了,如下图所示这个网络有层。第一层是输入层,对应的输入向量为,有个神经元,写成分量形式为(),它不对数据做任何处理,直接原样送入下一层。中间层有个神经元,接受的输入数据为向量,输出向量为,写成分量形式为。第三个层为输出层,接受的输入数据为向量,输出向量为,写成分量形式为()。第一层到第层的权重矩阵为(,第二层到第三层的权重矩阵为()。权重矩阵的每一行为一个权重向量,是层所有神经元到本层某一个神经儿的连接权重,这里的上标表小层数如果激活函数选用函数,则第二层神经元的输出值为+(-(+0)+(1+(0)(-(()第三层神经元的输出值为如果把代入上面二式中,可以将输出向量表示成输出向量的函数。通过调整权重矩阵和偏置项可以实现不同的函数映射,因此神经网终就是一个复合函数需要解决的·个核心问题是·旦神经网络的结构(即神经元层数,每层神经元数量)桷定之后,怎样得到权重矩阵和偏置项。这些参数是通过训练得到的,这是本文推导的核心任务个简单的例子首先以前面的层神经网络为例,推导损失函数对神经网络所有参数梯度的计算方法假设训练样本集中有个样本()。其中为输入向量,为标签向量。现在要确定神经网络的映射函数:什么样的函数能很好的解释这批训练栟本?答案是神经网络的预测输出要尽可能的接近样本的标签值,即在训练集上最小化预测误差,如果使用均方误差,则优化的目标为:∑‖()-其中()和都是向量,求和项内部是向量的范数平方,即各个分量的平方和。上面的误差也称为欧氏距离损失函数,除此之外还可以使用其他损失函数,如交叉熵、对比损失等。优化目标函数的自变量是各层的权重矩阵和梯度向量,一般情况下无法保证目标函数是凸函数,因此这不是一个凸优化问题,有陷入局部极小值和鞍点的风险(对于这些概念和问题之前的公众号文章“理解梯度下降法”,“理解凸优化”中己经做了详细介绍)这是神经网络之前一直被诟病的一个问题。可以使用梯度下降法进行求解,使用梯度下降法需要计算出损失函数对所有权重矩阵、偏置向量的梯度值,接下来的关键是这些梯度值的计算。在这里我们先将问题简化,只考虑对单个样本的损失函数()-‖后面如果不加说明,都使用这种单样木的损失函数。如果计算出了对单个样木损失函数的棁度值,对这些梯度值计算均值即可得到整个目标函数的梯度值。和(要被代入到网络的后一层中,是复合函数的内层变量,我们先考虑外层的和。权重矩阵是一个x的矩阵,它的两个行分别为向量(和是个维的列向量,它的两个元素为()和()。网络的输入是向量,第一层映射之后的输出是向量首先计算损失函数对权重矩阵每个元素的偏导数,将欧氏距离损尖函数展开,有((+))(())6(如果,即对权重矩阵第行的元素求导,上式分了中的后半部分对来说是常数。根据链式法则有S()+()O如果,即对矩阵第二行的元素求导,类似的有:可以统一写成可以发现,第一个下标决定了权重矩阵的第行和偏置向量的第个分量,第二个下标决定了向量的第个分量。这可以看成是一个列向量与一个行向量相乘的结果,写成矩阵形式为上式中乘法⊙为向量对应元素相乘,第二个乘法是矩阵乘法。是个维列向量,+也是一个维列向量,两个向量执行⊙运算的结果还是个维列向量。是一个元素的列向量,其转置为维行向量,前面这个:维列向量与的乘积为的矩阵,这正好与矩阵的尺寸相等。在上面的公式中,权重的偏导数在求和项中由部分组成,分别是网络输出值与真实标签值的误差激活区数的导数+(),本层的输入值。神经网络的输出值、激活函数的导数值本层的输入值都可以在正向传播吋得到,因此可以晑效的计算出来。对所有训练样本的偏导数计算均值,可以得到总的偏导数对偏置项的偏导数为:如果上式分子中的后半部分对来说是常数,有:()⊥()如果类似的有这可以统写成:写成矩阵形式为偏置项的导数由两部分组成,分别是神经网络预测值与真实值之间的误差,激活函数的导数值,与权重矩阵的偏导数相比唯一的区别是少了。接下来计算对和的偏导数,由于是复合函数的内层,情况更为复杂。()是个的短阵,它的个行向量为(),(,(,(。偏置项()是维向量,个分量分别是(),(,(),(。首先计算损失函数对的元素的偏导数:而上式分子中的两部分都有,因此都与有关。为了表述简活,我们令:根据链式法则有:其巾((和和都是标量和()是两个()向量的内积,的每一个分量都是()的函数。接下来计算和这里的一是个向量,衣示的每个分量分别对求导。当时有:后面个分量相对于求导变量(都是常数。类似的当时有:()0)(()和时的结果以此类推。综合起来有:同理有:()十如果令合并得到()()[()-)。()。()写成矩阵形式为()最后计算偏置项的偏导数()类似的我们得到:合并后得到()写成矩阵形式为:(0)至此,我得到了这个简单网络对所有参数的偏导数,接下来我们将这种做法推广到更般的情况。从上面的结果可以看岀一个规律,输出层的权重矩阵和偏置向量梯度计算公式中共用了()-)()对」隐含层也有类似的结果完整的算法现在考虑一般的情况。假设有个训练样本(),其中为输入向量,为标签向量。训练的目标是最小化样木标签值与神经网络预测值之闩的误差,如果使用均方误差,则优化的目标为:其中为神经网络所有参数的集合,包括各层的权重和偏置。这个最优化问题是·个不带约束条件的问题,可以用梯度下降法求解。上面的误差函数定义在整个训练样本集上,梯度下降法每一次迭代利用了所有训练样本,称为批量棁度卜降法。如果样木数量很大,每次迭代都用所有样木进计算成木太高。为了解决这个问题,可以采用单样本梯度下降法,我们将上面的损失函数写成对单个样本的损失函数之和:定义对单个样本()的损失函数为)=-()如果采用单个样本进行迭代,梯度下降法第次迭代时参数的更新公式为:nV如果要用所有样本进行迭代,根据单个样本的损失函数梯度计算总损失梯度即可,即所有样本梯度的均值用梯度下降法求解需要初始化优化变量的值。一般初始化为一个随机数,如用正态分布(a)产生这些随机数,其中G是一个很小的正数到日前为止还有一个关键问题没有解决:日标函数是一个多层的复合函数,因为神经网络中每一层都有权重矩阵和偏置向量,且每一层的输出将会作为下一层的输入。因此,直接计算损失函数对所有权重和偏置的梚度很复杂,需要使用复合函数的求导公式进行递推计算几个重要的结论在进行推导之前,我们首先来看下面几种复合函数的求导。又如下线性映射函数:其中是维向量,是×的矩阵,是维向量。问题:假设有函数,如果把看成常数,看成的函数,如何根据函数对的梯度值Ⅴ计算函数对的梯度值Ⅴ?根据链式法则,由于只和有关,和其他的≠无关,因此有:c∑(对于的所有元素有:写成矩阵形式为:问题:如果将看成常数,将看成的函数,如何根据V计算Ⅴ?由于任意的和所有的都有关系,根据链式法则有写成矩阵形式为这是一个对称的结果,在计算函数映射时用矩阵乘以向量得到,在求梯度时用矩阵的转置乘以的梯度得到的梯度。问题:如果有向量到向量的映射:
- 2020-12-09下载
- 积分：1
-
语音信号处理中基频提取算法综述
语音信号处理中基频提取算法综述，论述了各种基频检测的算法，对比分析各方法与思想，不错的总结增刊张杰等:语音信号处理中基频提取算法综述101信号是由频率具有谐波关系的信号组成的,因此有的一个改进是采用多分辩率方法。该方法的思想是:很多尝试利用频域信息提取基频的方法如果一个特定算法在特定分辨率下的准确性是可疑21基于滤波器的算法的,那么采用更高或者更低的分辨率,可以进一步21.1最佳梳状滤波器法判断前面的基频估计是否可信。如果在全部或人部最仹梳状滤波器法閃是具有高鲁棒性但计算代分的分辨率下求得相同的基频,那么该频率值就可价很大的算法。一个梳状滤波器有很多等距离分布以作为最终的基频估计结果。当然,在带来好处的的通带,在最佳梳状滤波器算法中,通带的位置都同时,该方法也会带来计算量上的代价,因为针对是由第一个迸带决定的,即通带的中心频率都是第每个分辨率都需要重新计算频谱,这也是为什么一个通带中心频率的整数倍。输入信号通过多个与多分辨率的傳里叶分析比专门的多分辨率变换(如第一个通带中心频率不同的梳状滤波器。如果输入离散小波变換)要慢的原因信号是由一组频率成谐波关系的信号组成的,那么2.4离散小波变换法滤波器的输出在全部谐波成分都通过滤波器时达到离散小波变换是一个强大的工具,它允许在连最大。但是如果信号只有一个基频成分,该方法就续的尺度上把信号分解为高频成分和低频成分,它会失效,因为会有很多个梳状滤波器能让信号通过。是时间和频率的局部变换,能有效地从信号中提取不过,语音信号的频率具有谐波结构,所以可采用信息。与快速傅里叶变换相比,离散小波变换的主该方法提取基频。要好处在于,在髙频部分它可以取得好的时间分辨2.1.2可调的IR滤波器率,在低频部分可以取得好的频率分辨率。文献四提出了一种基于中心频率可调节的带通3统计的方法IR滤波器提取棊频的方法,随着用户的调节,滤波器的中心频率扫过整个频域。当输入信号的一个强在某种意义上,基频提取的问题可以被看作是的频率成分在通带沱围内时,滤波器会输出最大值,个统计问题。每一个输入帧都被划分给一组类中信号的基频就可以用此时滤波器的中心频率来估的一个,代表信号的基频估计。所以很多研究者计。文献[9提到,对于可调的I滤波器,有经验的直试图将现代的统计方法应用于基频提取问题用户能够识别只有一个谐波结构的信号的输出和包Boris和 Xavier发表了一系列使用最人似然法估含多个基频信号的输出的差异计基频的方法。他们的模型如卜:观察集是语音信2.2倒谱分析法号分帧后做短时傅里叶变换的结果,每一个观察都倒谱分析是谱分析的一种方法,翰出是傅里叶被看作是基频激励产生的信号与其他剩余信息(包变换的幅度谱取对数后做傅里叶逆变换的结果。该括非谐波部分和噪声)两部分的混合。该模型是由方法所依据的理论是,一个具有基频的信号的傅立般的语音信号产生的模型的简单化得到的,假没叶变换的幅度谱有一些等距离分布的峰值,代表信个语音包括在基频及其整数倍点的值处较大的谐波号中的谐波结构,当对幅度谱取对数之后,这些峰成分,以及在非谐波处和噪声处的很小的值。对于值被削弱到一个可用的范围。幅度谱取对数后得到一组候选的基频值,该方法计算每一个观察可能是的结果是在频域的一个周期信号,而这个频域信号由某一个基频产生的概率,并将概率最大的基频值的周期(是频率值)可以认为就是原始信号的基频,所作为最终的估计值。所以候选的基频值的选择是很以对这个信号做傅里叶逆变换就可以在原始信号的重要的,因为从理论上讲,观察可能对应着任意的基音周期处得到一个峰值基频值。另妒,如果对信号的傅里叶变换的嘔度谱取对数后的结果直接进行分析,而不是雨接着做傅里叶4算法的改进逆变换,就是谐波成分谱的方法。进一步,如果在前面提到的每种算法都有自己的改进方法,下求频域的变换时不使用傅里叶变换,而使用能使频面介绍两种对以上大部分算法均适用的改进方法。谱更加精细的Chip变换,就是基」Chi变换的提取41人的听觉模型基频的方法,该方法具有高分辨率和高鲁棒性。由于基频提取本身就是听觉感知问题,所以所23多分辨率的方法有的算法都可通过加入人耳的听觉模型提扃性能对于任何基于傅里叶分析的频域方法都可以做人耳的听觉模型将人的听觉系统对声音信号的处理102电子科技大学学报第39卷分为分析、传递和还原3个阶段。分析阶段主要考虑5经典的基频检测方法耳蜗的分频效应,耳蜗的外端对高频敏感,内端对低频敏感,可以用一组中心频率不同的带通滤波器自从有了语音信号分析饼究这门学科以来,基来模拟。传递阶段声波振动沿基膜传播,并在听觉频的检测一直是一个重点研究的课题。经典的基频神经纤维内产生电流,最终传入听觉中枢。还原阶检测方法可以大致分为3类,如表1所示段听觉系统提取语音中诸如音质、音调、时域和位表1经典的基音检测方法以及特点置等信息。分类基因检测方法特点在声学中,声强是指单位时间内通过垂直」声由多种简单的波形峂值泼传播方向的单位面积的声波能量,用表示。当声并行处理法检沏器提取基音周期波的频率在20~20000Hz(可闻频率)之间,而声强波形根据各种理沦探作,从波形中去行计法数据减少法达到一定的强度(听阈),就能被人耳感知。前人大量掉修正基音以外的数的实验测试结果表明,人耳对不同频率的声波感受讨零率法利用波形的讨零率,差眼于重复图形到相同响度时的声强是不同的。人耳对两端频段的利用语音波形的自相关函数提取自相关法声波反应较为迟钝,而对中间频段的声波反应相对基音,采用中心削波平坦欠理频谱,及其改进较为敏感采用峰值削波可以简化运算对于任意的频域方法,简单的改进是用Q值恒语音波形降低采样率斤,进行IPC分析相关定的谱变换方法代替傅里叶变换。恒的变换方法SIFT法用逆滤波器平坦处理频谱,通过预测误差处埋法计算代价更人,但更接近于人的听觉感知系统。的自相关函数恢复时间精度在决定是否使用人的听觉模型吋必须考虑两个采用平均幅度差函数(AMDF检测周期AMDF法性,也可以根据残差信号的因素:(1)基频提取的用途。如果应用的目的很简单,AMDF法行提取要求也不是太高,那么人的听觉感知因素也许不是倒谱法根据对数功率谱的傅立叶反变换很必要。(2)计算的复杂度。使用人的听觉感知模型分离频谱包络和微细结构会使计算复杂度大大增加,如果原来算法的复杂度变换法在频谱上求出基频高次谐波成分的直方已经很大,再加入人的听觉感知模型可能会使算法循环直方图法图,根据高次谐波的公约数决定某音的复杂度过高4.2基频的跟踪(1)波形估计法。直接由语音波形估计、分析波另一种对基频提取的改进是基频跟踪。前面提形上的周期峰值到的基频提取都是在个单独的时间窗内进行的。(2)相关处珄法。时域中周期信号最明显的特征人的听觉系统是能够眼踪输入信号的基频的。一个是波形的类似性,因而可以道过比较原始信号和它只包含有限个基音周期的时间窗内的基频是很难提位移后的信号之间的相似性确定基音周期。该类方取的。但是,如果输入是连续的语音信号,相当于法抗波形的相位失真能力强,且馍件处理结构简单。很多时间窗个接个输入,基频的提取反而变得3)变换法。将语音信号变換至频域或倒谱域估很容易。研究发现,语音信号的基频具有连续性,计基音周期即前后两帧的基频是连续的,不出现跳变。一帧内6总结的基频提取常见的问题是得到的佔计值是正确值的本文列出了若干基频提取的主要方法,对它们整数倍或者整数倍分之一。针对该问题,利用语音分别进行了简单的介绍,并讨论了对算法的改进。信号基频的连续性,可对基频提取算法做一个简单需要注意的是,所介绍的方法都是针对一个语音信的改进:在计算某一恢的基频时对于它前血一帧的号而言的,对于混合的语音信号的基频提取,如果基频附近的值给予更大的可能性,即一唢语音信号可以先将混合的语音信号分离丌,那么基频提取就中基频的值不可能出现崁变的情况。这就是简单的会变待很简单。同样地,在一些基于时频分析的语基频跟踪思想,并且不会在计算上增加任何复杂度。音分离算法中,如果知道了各个语音的基频,那么另外一种比较复杂的基频跟踪方法是使用隐马语吝分离也就变得很容易解决了。尔科大模型。(下转第126页)126电子科技大学学报第39卷L9 GONG L, NEEDIIAM R, YAIIALOM R Reasoning about1990 IEEE Symposium on Research in Security and privacybelief in cryptographic protocols C]/Proceedings of the Los Alamitos, CA: IEEE Computer Society Press, 1990编辑税红(上接第102页)参考文献[5 BENJAMiN K. Spectral analysis and discrimination by[ DELLER了R, PROAKIS了 G HANSEN J H Lzero-crossings[C]Proceedings of the Institute of ElectricalDiscrete-time processing of speech signals [M]. New York:and Electronics Engineers. S 1.: [ s.n. 1986: 1477-1493[6] CURTIS R. The computer music tutorial]. CambridgeMaxell McMillan. 1993MIT Press. 1996[2 FORT A, ISMAELLI A, MANFREDI C, et al. Parametric[7] DE CHEVEIGNE A, YIN H K. A fundamental frequencyd non-parametric estimation ofapplication to infant cry[]. Med Eng Phys, 1996, 18(8estimator for speech and music[J]. Journal of the AcousticalSociety of America, 2002,11(4):1917-1930[3] PARSONS T. Voice and speech processing[M]. New York[8 EARGLE J M. Music, sound and technology M. TorontoHill,1986.Van Nostrand reinhold. 19954 RABINERR L, SCIIAFERR W. Digital processing ofspeech signals. Englewood Cliffs M]. New Jersey: Prentice编辑税红Hll,1978
- 2020-12-05下载
- 积分：1
-
matlab计算峰值旁瓣比和积分旁瓣比
评估指标为点目标距离向和方位向峰值坐标、峰值旁瓣比、一维积分旁瓣比、二维积分旁瓣比、剖面图
- 2020-12-12下载
- 积分：1
-
分簇协议用MATLAB实现
打包的文件包括了很多种LEACH协议在MATLAB下的实现。其中leach6.m在leach.m加了画图功能。
- 2020-12-11下载
- 积分：1
-
QC-LDPC码的校验矩阵构造
关于qc-ldpc码的校验矩阵的构造，有详细的解释，简单易懂。关于qc-ldpc码的校验矩阵的构造，有详细的解释，简单易懂。关于qc-ldpc码的校验矩阵的构造，有详细的解释，简单易懂。关于qc-ldpc码的校验矩阵的构造，有详细的解释，简单易懂。
- 2021-05-06下载
- 积分：1
-
c语言实现pl0编译器的扩充
c语言实现pl0编译器的扩充：if 条件 then 语句 else 语句for 变量=初始值 to 终止值 begin 语句 enddowhile 语句 until 条件
- 2020-11-29下载
- 积分：1
-
基于FPGA的等精度数字频率计
基于FPGA的等精度数字频率计，含代码的完整设计
- 2020-12-11下载
- 积分：1
-
stm32,13年电赛旋转倒立摆
本程序绝对好使，本人已经做出实物，能够控制到很好的效果，实现多种模式的倒立，欢迎下载
- 2020-12-11下载
- 积分：1
-
KCF,ECO_HC.DSST等十种算法在OTB100的TRE,SRE矩阵结果
资源包含KCF,DSST,ECOHC,SAMF,Staple,LMCF,LCT,SRDCF,SRDCFdecon,BACF十个目标跟踪算法在OTB100的TRE,SRE矩阵结果， 其中包括了OTB50和OTB2013。可以节省很多跑代码的时间。
- 2020-06-21下载
- 积分：1
|
联系客服（QQ：3324461878）
