反向传播算法推导—全连接神经网络
反向传播算法是人工神经网络训练时采用的一种通用方法，在现代深度学习中得到了大 规模的应用。全连接神经网络(多层感知器模型，MLP)，卷积神经网络(CNN)，循环神 经网络(RNN)中都有它的实现版本。算法从多元复合函数求导的链式法则导出，递推的 计算神经网络每一层参数的梯度值。算法名称中的“误差”是指损失函数对神经网络每一层 临时输出值的梯度。反向传播算法从神经网络的输出层开始，利用递推公式根据后一层的误 差计算本层的误差，通过误差计算本层参数的梯度值，然后将差项传播到前一层(w, x,)+b这个神经元接受的输入信号为向量(),向量()为输入向量的组合权重,为徧置项,是标量。神经儿对输入冋量进行加权求和,并加上偏置项最后经过激活函数变换产生输出为表述简洁,我们把公式写成向量和矩阵形式。对每个神经元,它接受的来自前一层神经元的输入为向量,本节点的权重向量为,偏置项为,该神经元的输出值为先计算输入向量与权重向量的内积,加上偏置项,再送入一个函数进行变换,得到输出这个函数称为激活函数,典型的是函数。为什么需要激活函数以及什么样的函数可以充当激活函数,在之前的公众号文章“理解神经网终的激活函数”中已经进行了介绍。神绎网络一般有多个层。第一层为输入层,对应输入向量,神绎元的数量等于特征向量的维数,这个层不对数据进行处理,只是将输入向量送入下一层中进行计算。中间为隐含层,可能有多个。最后是输出层,神经元的数量等于要分类的类别数,输出层的输岀值被用来做分类预测。下面我们来看一个简单神经网络的例了,如下图所示这个网络有层。第一层是输入层,对应的输入向量为,有个神经元,写成分量形式为(),它不对数据做任何处理,直接原样送入下一层。中间层有个神经元,接受的输入数据为向量,输出向量为,写成分量形式为。第三个层为输出层,接受的输入数据为向量,输出向量为,写成分量形式为()。第一层到第层的权重矩阵为(,第二层到第三层的权重矩阵为()。权重矩阵的每一行为一个权重向量,是层所有神经元到本层某一个神经儿的连接权重,这里的上标表小层数如果激活函数选用函数,则第二层神经元的输出值为+(-(+0)+(1+(0)(-(()第三层神经元的输出值为如果把代入上面二式中,可以将输出向量表示成输出向量的函数。通过调整权重矩阵和偏置项可以实现不同的函数映射,因此神经网终就是一个复合函数需要解决的·个核心问题是·旦神经网络的结构(即神经元层数,每层神经元数量)桷定之后,怎样得到权重矩阵和偏置项。这些参数是通过训练得到的,这是本文推导的核心任务个简单的例子首先以前面的层神经网络为例,推导损失函数对神经网络所有参数梯度的计算方法假设训练样本集中有个样本()。其中为输入向量,为标签向量。现在要确定神经网络的映射函数:什么样的函数能很好的解释这批训练栟本?答案是神经网络的预测输出要尽可能的接近样本的标签值,即在训练集上最小化预测误差,如果使用均方误差,则优化的目标为:∑‖()-其中()和都是向量,求和项内部是向量的范数平方,即各个分量的平方和。上面的误差也称为欧氏距离损失函数,除此之外还可以使用其他损失函数,如交叉熵、对比损失等。优化目标函数的自变量是各层的权重矩阵和梯度向量,一般情况下无法保证目标函数是凸函数,因此这不是一个凸优化问题,有陷入局部极小值和鞍点的风险(对于这些概念和问题之前的公众号文章“理解梯度下降法”,“理解凸优化”中己经做了详细介绍)这是神经网络之前一直被诟病的一个问题。可以使用梯度下降法进行求解,使用梯度下降法需要计算出损失函数对所有权重矩阵、偏置向量的梯度值,接下来的关键是这些梯度值的计算。在这里我们先将问题简化,只考虑对单个样本的损失函数()-‖后面如果不加说明,都使用这种单样木的损失函数。如果计算出了对单个样木损失函数的棁度值,对这些梯度值计算均值即可得到整个目标函数的梯度值。和(要被代入到网络的后一层中,是复合函数的内层变量,我们先考虑外层的和。权重矩阵是一个x的矩阵,它的两个行分别为向量(和是个维的列向量,它的两个元素为()和()。网络的输入是向量,第一层映射之后的输出是向量首先计算损失函数对权重矩阵每个元素的偏导数,将欧氏距离损尖函数展开,有((+))(())6(如果,即对权重矩阵第行的元素求导,上式分了中的后半部分对来说是常数。根据链式法则有S()+()O如果,即对矩阵第二行的元素求导,类似的有:可以统一写成可以发现,第一个下标决定了权重矩阵的第行和偏置向量的第个分量,第二个下标决定了向量的第个分量。这可以看成是一个列向量与一个行向量相乘的结果,写成矩阵形式为上式中乘法⊙为向量对应元素相乘,第二个乘法是矩阵乘法。是个维列向量,+也是一个维列向量,两个向量执行⊙运算的结果还是个维列向量。是一个元素的列向量,其转置为维行向量,前面这个:维列向量与的乘积为的矩阵,这正好与矩阵的尺寸相等。在上面的公式中,权重的偏导数在求和项中由部分组成,分别是网络输出值与真实标签值的误差激活区数的导数+(),本层的输入值。神经网络的输出值、激活函数的导数值本层的输入值都可以在正向传播吋得到,因此可以晑效的计算出来。对所有训练样本的偏导数计算均值,可以得到总的偏导数对偏置项的偏导数为:如果上式分子中的后半部分对来说是常数,有:()⊥()如果类似的有这可以统写成:写成矩阵形式为偏置项的导数由两部分组成,分别是神经网络预测值与真实值之间的误差,激活函数的导数值,与权重矩阵的偏导数相比唯一的区别是少了。接下来计算对和的偏导数,由于是复合函数的内层,情况更为复杂。()是个的短阵,它的个行向量为(),(,(,(。偏置项()是维向量,个分量分别是(),(,(),(。首先计算损失函数对的元素的偏导数:而上式分子中的两部分都有,因此都与有关。为了表述简活,我们令:根据链式法则有:其巾((和和都是标量和()是两个()向量的内积,的每一个分量都是()的函数。接下来计算和这里的一是个向量,衣示的每个分量分别对求导。当时有:后面个分量相对于求导变量(都是常数。类似的当时有:()0)(()和时的结果以此类推。综合起来有:同理有:()十如果令合并得到()()[()-)。()。()写成矩阵形式为()最后计算偏置项的偏导数()类似的我们得到:合并后得到()写成矩阵形式为:(0)至此,我得到了这个简单网络对所有参数的偏导数,接下来我们将这种做法推广到更般的情况。从上面的结果可以看岀一个规律,输出层的权重矩阵和偏置向量梯度计算公式中共用了()-)()对」隐含层也有类似的结果完整的算法现在考虑一般的情况。假设有个训练样本(),其中为输入向量,为标签向量。训练的目标是最小化样木标签值与神经网络预测值之闩的误差,如果使用均方误差,则优化的目标为:其中为神经网络所有参数的集合,包括各层的权重和偏置。这个最优化问题是·个不带约束条件的问题,可以用梯度下降法求解。上面的误差函数定义在整个训练样本集上,梯度下降法每一次迭代利用了所有训练样本,称为批量棁度卜降法。如果样木数量很大,每次迭代都用所有样木进计算成木太高。为了解决这个问题,可以采用单样本梯度下降法,我们将上面的损失函数写成对单个样本的损失函数之和:定义对单个样本()的损失函数为)=-()如果采用单个样本进行迭代,梯度下降法第次迭代时参数的更新公式为:nV如果要用所有样本进行迭代,根据单个样本的损失函数梯度计算总损失梯度即可,即所有样本梯度的均值用梯度下降法求解需要初始化优化变量的值。一般初始化为一个随机数,如用正态分布(a)产生这些随机数,其中G是一个很小的正数到日前为止还有一个关键问题没有解决:日标函数是一个多层的复合函数,因为神经网络中每一层都有权重矩阵和偏置向量,且每一层的输出将会作为下一层的输入。因此,直接计算损失函数对所有权重和偏置的梚度很复杂,需要使用复合函数的求导公式进行递推计算几个重要的结论在进行推导之前,我们首先来看下面几种复合函数的求导。又如下线性映射函数:其中是维向量,是×的矩阵,是维向量。问题:假设有函数,如果把看成常数,看成的函数,如何根据函数对的梯度值Ⅴ计算函数对的梯度值Ⅴ?根据链式法则,由于只和有关,和其他的≠无关,因此有:c∑(对于的所有元素有:写成矩阵形式为:问题:如果将看成常数,将看成的函数,如何根据V计算Ⅴ?由于任意的和所有的都有关系,根据链式法则有写成矩阵形式为这是一个对称的结果,在计算函数映射时用矩阵乘以向量得到,在求梯度时用矩阵的转置乘以的梯度得到的梯度。问题:如果有向量到向量的映射:
- 2020-12-09下载
- 积分：1
8个数据库设计典型实例
人事管理系统 工资管理系统 考勤管理系统 员工培训管理系统 仓库管理系统内部行文管理 销售管理系统 酒店管理系统由于数据库设计的重要性,人们提出了许多数据库结构设计的技术。但这些设计方法和设计者的工作经验有很大的关系。因此要从根本上解决所有数据库结构设计的问题,就需要多实践,在实饯中积累经验和教训,最终成为数据库结构设计的专家、数据库需求分析数据库结构设计的第个阶段,也是非常重要的个阶段是数据库需求分析。在这个阶段主要是收集基本数据以及数据处理的流稈,为以后进一步设计打下基础。需求分析主要解决两个问题:内容要求。调査应用系统用户所需要操作的数据,决定在数据库中存储什么数据。●●处理要求。调査应用系统用户要求对数据进行什么样的处理,理淸数据库中各种数据之间的关系。解决这两个问题的时候,程序编制人员需要冋应用系统用户详细调査,保证信息收集的完整性。否则有可能后面所有的工作都白费。在数据库需求分析后,应该得到一个数据字典文档,包括3方面内容●数据项。包括名称、含义、类型、取值范围、长度以及和其他数据项之间的逻辑关系数据结构。若十个数据项的有意义的集合,包括名称、含义以及组成数据结构的数据项●●数据沇。指薮据中数据的处理过程,包括输入、处理和输岀这个数据字典在程序的开发过程中会不断发生变化。对于一个大型的软件开发过程,般都需要一份详尽的数据字典针对本实例,通过对企业员工管理内容和过程分析,设计的数据项和数据结构如下●员工基本情况。包括的数据项有员工号、员工姓名、性别、所在部门、身份证号、生日、籍贯、国籍、民族、婚姻状況、健康状况、政治面貌、参加时间血型、参加工作时间、员工状态、状态时间、家庭住址、联系电话等工婚姻状况。包括的数据项有员工号、爱人姓名、爱人出生年月、结婚时间、爱人工作单位、爱人攻治面貌、爱人上作职务等员工学历信息。包括的数据项有员工号、学历、专业、毕业时间、毕业学校学校类型、外语1、外语1等级、外语2、外语2等级等。企业工作岗位信息。包括的数据库项有工作岗位代号、工作岗位名称、工作岗位杈力范围等。●企业部门信息。包括的数据项有部门代号、部门名称、部门经理、部门副经理等有了上面的数据结构和数据项基础,我们就能进行下面的数据库设计了。二、数据库概念结构设计这一设计阶段是在需求分析的基础上,设计出能够满足用户需求的各种实体,以及它们之间的关系,为后面的逻辑结构设计打下基础。这个阶段不用考虑所采用的数据库管系统、操作系统类型、机器类型等问题。这阶段可用的工具很多。用的最多的是ER图( Entity-Relation,实体-关系图),另外还有许多计算机辅助工具( Computer Aided Software Engineering,CASL)可以榘助进行设计本书的实例都是采用ER图的方法来进行数据库概念结构设计,在本书的第一个例子中先对ER图的方法进行简单介绍。E-R图是描述数据实体及其关系的一种直观的描述工具。这种图中有:实体。用方框表示,方框内为实体的名称。实体的各种属性。用椭圆表示,椭圆内为属性名称。使用线段将其和相应的实体连接起来。实体之间的联系。用菱形表示,菱形内为联系的名称。实体和实休之间的联系较多,比较常见的联系有1:1、1n和m:n这3种。●1:1。对于实体A构成的集合中每个实体,在实体集合B中至多只有一个实体与之相对应,反之亦然,称实体集合A和实体集合B之间是1:1的关系。1:n。对于实体A构成的集合中每个实体,在实体集合B中有n(n>0)个实体与之相对应,且对于实体集合B中的每个实体,在A中最多只有一个实体与之相对应,称实体集合A和实体集合B之间是1:n关系。m:n。对于实体A构成的集合中的每个实体,在实体集合B中有n(n>0)个实体与之相对应且对于实体集合B中的每个实体,在A中有m个实体与之相对应,称实体集合A和实体集合B之间是mn关系图2为员工实体E-R图。员工员工基本信息员工学历信息员工婚姻状况图2员工实体ER图图3为部门实体E-R实例工资管理系统工资管既是企业劳动人事管理的重要方面,同吋也是企业财务管理的重要方面,因为它是和人、资都相关的方面。工资管理需要和员工人事管理连接,同时连按工时考勤和医疗保险等等,来生成企业每个职工的基本工资、津贴、医疗保险、保险费、实际发放工资等工资管珥是一项琐碎、复杂而又十分细致的工作,一般不允许发生差错。手工进行工资发放工作,需要反复地进行抄写、计算,不仪花费财务人员大量的吋间,而且往往由于抄写不慎,出现张冠李戴,或者由于计算机的疏忽,岀现工资发放错误的现象。同时工资的发放具有较强的时间限制,必须严格按照单位规定的时间完成计算和发放工作。正是工资管理的这种重复性、规律性、时冋性,使得工資管计算札化成为可能。计算杋进行工资发放工作,不仅能够保证工资核算正确无误、快速输出,而∏还可以利用工资数据厍对有关工资的各种信息进行统计,服务于财务部门其他方面的核算和财务处理。不同的企业有着不同的人事制度、财务制度,也就决定了不同的企业具有不同的工资制度。本例按照一般企业都采用的工资计算公式,即根据员工的职务工种来确定基本工资,根据岀工情况来扣除缺勤镄,根据加班情况发放沣贴,根据医疔倸险费用给予报销费用,同时扣除社公保险费来生成一个员工的当月工资。第一节第一节系统设计系统目标设计系统开发的总体任务是实现企业员工工资管理的系统化、规范化和自动化。能够和人事管理系统、考勤管理系统相结合,真正实现企业髙效、科学、现代化的员工管理。二、开发设计思想尽量采用公司现有软硬件环境,及先进的管理系统开发方案,从而达到充分利用公司现有资源,提高系统开发水平和应用效果的目的。系统应符合公司工资管理的规定,满足公司工资管理工作需要,并达到操作过程中的直观、方便、实用、安全等要求。系统采用C/S体系结构, Client(客户端)负责提供表达逻辑、显示用户界面信息、访问数据库服务器; Server(服务器端)则用于提供数据服务。·系统采用模块化程序设计方法,既便于系统功能的各种组合和修改,又便于未参开发的技术维护补充、维护。系统应具备数据库维护功能,及时根据用户需求进行数据的添加、删除、修改、备份等操作。三、系统功能分析工资管理涉及企业箮理的多个方面,如员工职务工种变化、员工考劐情况、员工加班情况、员工医疗保险等等。根据这些信息,在每个月的某个固定时间,生成企业全体员工的月工资。对于月工资,能够实现按照员工、部门、月、年进行统计分析,产生相应报表。工资管理的特点是所关联的方面比较多,信息处理量比较大。因此对于本系统的设计,需要采取了下面的些原则在公司范围内统一各种原始单据的格式,统一联日和报表的格式。删除不必要的管理余,实现管理规范化、科学化程序代码标准化,软件统一化,确保软件的可维护性和实用性能够连接各个关联的数据库,获取数据库中的信息。保证各个数据库表格相关的项目之间具有相同的属性。在上面设计原则的基础上,完成系统功能分析。本例中的工资管理系统需要完成功能主要有:员工每个工种基本工资的设定。加班津贴的管理。根据加班的时间和类型给予不同的加班津贴根据月工资生成公式,按照员工的考勤情况和工作表现,生成员工月工资。员⊥年终奖金的生成企业工资报表的生成。支持各种不同形式的报表,如单个员工工资报表生成部门员工工资报表生成、按照月份统计工资报表等。工资管系统的使用帮助。四、系统功能模块设计在系统功能分析的基础上,考虑 Power Builder程序编制的特点,得到如图1所示的系统功能模块图。工资管理系统系统模块工资生成模块津贴管理模块医疗保险模块报表生成模块帮助模块图1系统功能模块图五、工资管理系统和企业中其它系统的关系工资管理系统是全企业信息管理系统的一个有机组成部分。它与企业中其他系统之间的关系如图2所示。⊥资生成⊥资生成财条管工资管理升迁离职考勤情况财务管理考勤管理人事管理图2和企业中其他系统之间的关系第二节数据库设计数据库需求分析在仔细调査企业工资管理过程的基础上,得到系统所要处理数据的流程如图3所小。年奖计算企业年度效益年终奖佥公式设定员工考勤加班津贴工资计算公式设定月工资生医疗保险基本工资图2和企业中其他系统之间的关系针对本实例,通过对企业工资管理的内容和数据流程分析,设计的数据项和数据结构如下●·员工考勤统计信息。包括的数据项有缺勤时间、缺勤天数、缺勤类别等。这些信息可从考勤管理系统的数据库中统计获取。员工工种等级信息。包括的数据项有工种等级、工种基本工资等员工津贴信息、。,包括的数据项有加班时问、加班类别、加班大数等。员工医疗保险信息。包括的数据项有医疗保险时间、医疗费用保险、社会保险费用等。员工基本信息。包括的数据项有员工号、员工姓名、员工工种、员工所属部门等。员工月工资信息、。包括的数据项有生成工资的时间、基木工资、缺勤扣除、加班费用、医疗保险费、月应发工资等员工年终奖金信息。包括的数据项有年份、员工的年终奖金数额等有了上面的数据结构、数据项和数据流程,就能进行下面的数据库设计了。二、数据库概念结构设计本实例根据上面的改计规划岀的实体有:考勤信息实体、津贴信息实体、医疗休险信息实体、员工基本信息实体、月工资实体和年终奖金实体。各个实体的FR图以及实体和实体之间的关系E-R图描述如下。图4为员工基本信息实体ER图。实例考勤管理系统考勤管理既是企业劳动认识管理的重要方面,同时也是企业财务管理的重要方面,因为它是和人、事都相关的方面。考勤管理系统需要和员工人事管理连接,同时需要连接工资管理系统等等,用语完成员工的升迁、工资、津贴、医疗保险、保险费、实际发放工资等第一节系统设计系统目标设计系统丌发的总体任务是实现企业员⊥考勤管理的系统化、规范化、和自动化能够和人事管理系统、工资管理系统相结合,真正实现仝业髙效、科学、现代化的员工管理二、开发实际思想尽量采用公司现冇软硬件环境,及先进的管理系统开发方案,从而达到充分利用公司现有资源,提高系统廾发水平和应用效果的目的●员工考劐管珅系统能够和考動杋相连接,从而完成自动、高效、科学的考勤信息输入●系统采用模块化程序设计方法,既便与系统功能的各种组合和修该,又便于未参与开发的技术维护人员补充、维护●系统应具备数据库维护功能,即使根据用户需求进行数据的添加、删除、修改、被分等操作。系统功能分析考勤管理涉及企业人事管理的多个方面,如员⊥职务升迁、⊥资发放、兴金发放、员⊥医疗保险发放等等。本利自重的考勤管理系统需要完成功能主要有以下几点。●●员工考勤信息处理。该莫完成员工考勤情况的输入、修改等操作。如果企业內有考勤机,可以将它的输岀处理后,形成考勤管理系统考勤模块的输入。企业缺勤类刑的设定。企业考勤统计。该模块可对某个员工进行考勤情况的统计,生成统计报表四、系统功能模块设计在系统功能分析的基础上,考虑 PowerBuilder程序编制的特点,得到如图1所小的系统功能模块图。考勤管理系统考缺报系勤表图1系统功能模块如图五、考勤管理系统和企业中其他系统的关系考勤管理袭击仝全业信息管珄系统的一个有机组成部分。他与企业中替他系统之问的关系如图2所示。工资管理L考勤情况考勤管理人事管理考勤情况图2和企业中其他系统之间的关系第二节数据库设计数据库需求分析在仔细调査企业考勤管理过程的基础上,得到系统所要处理数据的流程如图3所示。人员考勤企业手工输入考勤信息其他考勤机输入信息统计信息数据库报表管理数据维护生成系统图数据流程图针对本实例,通过对企业考勤管理的内容和数据流程分析,设计的数据项和数据结构如员工考勤信息。包括的数据项有员工号、缺勤时间、缺勤天数、缺勤类别等缺勤类别信息。包括的数据项有缺勤类别、名称、描述等。员工基本信息。包括的数据项有员工号、员工姓名、员工工种、员工所属部门等有了上面的数据结构、数据项和数据流程,就能进行下面的数据库设计数据概念结构设计木实例根据上面的设计规划出的实体有:考勤信息实体、员工基木信息实体、缺勤类型实体。各个实体的ER图以及实体和实体之间的关系ER图描述如下图4为员工基本信息实体ER图。员工基本信息员工号姓名员工部员工职务图4员工基本信息实体ER图图5为考勤信息实体E-R图考勤信息员工号姓名缺勤天数缺勤类别时间、原因图5考勤信息实体F-R图图6为缺勤类型实体F-R图缺勤类型类别名称描述图6缺勤类别实体ER图实体和实体之间的关系ER图如图7所小。员工具有1考勤信息属于1:缺勤类型图7实体之间关系ER图数据库逻缉结构设计在上面的实体以及实体之间关系的基础上,形成数据库中的表格以及各个表格之间的关系考勤管理体统数据库中各个表格的设计结果如下面的几个表格所小。没高歌表小在数据库中的一个表。表1为考勤管理表kp表考勤管理表格列名数据类型可否为空Emp-noVARCHAR2(6NOTN ULL员工号(主键—一)qq-dateVARCHAR2(6)NOTNUL L时间(主键二)qq-daynumberNUMBERQ, 1)NULL缺勤天数qq-IlbVARCIIAR2(3)NULL缺勤类别
- 2021-05-06下载
- 积分：1
