基于实例和特征的迁移学习算法研究_戴文渊
基于实例和特征的迁移学习算法研究上海交通大学学位论文原创性声明本人郑重声明:所呈交的学位论文,是本人在导师的指导下,独立进行研究工作所取得的成果。除文中已经注明引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名:日期:200年,月6日上海交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定同意学校保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文保密□,在年解密后适用本授权书。本学位论文属于不保密囝。(请在以上方框内打“√”)学位论文作者签名:指导教师签名:1日期:209年,月日日期,亻年,月,b日上海交通大学学位论文答辨决议书姓名戴文渊学号1060394所在学科计算机应用技术指导教师俞勇答辩2009年1月答辩地点逸夫科技楼311日期16日论文题目基于实例和特征的迁移学习算法研究投票表决结果:555(同意票数/实到委员数应到委员数)答辫结论:回通过口未通过评语和决议:戴文谢的论女对基家例和将而习年译入的研鉴该课题旨右桌砖传纹戒器动限劫布衣器导成眼刺张采明意和有吃作包提了-种基于泉例汪移羽法给生了aAB算回提3-种基特公汪移3方,3因片和受本键技术取場3很山敌果,流文点明方法新颖,结沉正别,反强着己孔家地推第术基础理和相关的去步知议,具级的去从季科研午W彩机答排刷凶滴蕤,回间趣正确浴拜委员会讨(孔记名拨票奉决),-敌其通过硕士怪沉辩被子召丽士209年1月16日职务姓名职称单位签名主席黄林鹏教授上海交通大学答委员辩翁惠玉副教授上海交通大学委委员薛贵荣副教授上海交通大学员会委员张冬茉副教授上海交通大学成员委员俞勇教授上海交通大学签|天姿号委员秘书韩定助理研究员上海交通大学中文摘要基于实例和特征的迁移学习算法研究摘要传统的机器学习假设训练数据与测试数据服从相同的数据分布。然而,在许多情况下,这种同分布假设并不满足。不满足同分布假设的情况往往发生在训练数捃过期,而标注新数据非常昂贵。于是,我们有有了大量的在不同分布下的过期训练数据。完全丢弃这些数据将会是非常浪费的。在这种情况下,迁移学习就变得非常重要了,因为迁移学习可以从现有的数据中迁移知识,用米帮助将米的学习迁移学习( Transfer Learning)的目标是将从个环境中学到的知识用来帮助新环境中的学习仼务。因此,迁移学习不会像传统忛器学习那样作同分布假设。在本文中,我们将会比较全面的回顾迁移学习的整个领域,并且介绍我们在迁移学习领域的近期研究成果。我们的工作可以分为两部分;基于实例的迁移学习和基于特征的迁移学习。我们将会展示出,基于实例的迁移学习有更强的知识迁移能力,而基于特征的迁移学习具有更广泛的知识迁移能力。这两种方法各有千秋。我们介绍了两种迁移学习方法,分别基于 boosting技术和特征翻译。这两种算法分别对应基于实例的迁移学习和基于特征的迁移学习。我们通过非常全面的实验来证明我们的方法在迁移学习时候能够很大幅度提高很多现有的学习算法,无论是近迁移还是远迁移关键词:迁移学习、实例、特征英文摘要Instance-based and Feature-based Transfer LearningABSTRACTTraditional machine learning techniques make a basic assumption that the training andtest data should be under the same distributions. However, in many cases, this identicaldistribution assumption docs not hold. The violation of thc assumption might happen whenthe training data are out of date, but new data are expensive to label. This leaves plenty oflabeled examples that are under a similar but different distribution which is a waste throwaway entirely. In this situation, transfer learning becomes important to take the role of leveraging these existing data knowledgeTransfer learning aims at using learned knowledge from one context to benefit fur-ther learning tasks in other contexts. Thus, transfer learning does not make the identical-distribution assumption as tractional machine learning algorithms. In this thesis, we broadreview the whole field of transfer learning and then introduce our recent work on transferlearning accordingly. Our work can be divided into two parts: instance-based transfer learning, and feature-based transfer learning. We will show that instance-based transfer learninghas better strength in knowledge transferring, while feature-based transfer learning is withmore gerWe present two transfer learning algorithms based on boosting technique and featuretranslation respectively. These two algorithms corresponds to instance-based and featurebased transfer learning. Our extensive experiments show that our algorithms can greatlyimprove several state-of-the-art algorithms in the situation of transfer learning, includingnear transfer and far transferKEY WORDS: Transfer Learning, Instance, Feature目录目录摘要ABSTRACT(英文摘要)第一章绪论第二章迁移学习领域的研究现状2.1多任务学习.22跨领域学习23不同数据分布下的学习24其他迁移学习问题25迁移学习的应用4555678第三章基于实例的迁移学习算法研究3.1基于 Boosting的迁移学习算法3.1.1基本思想.3.1.2问题定义103.1.3 TrAdaboost算法描述..123.2 TrAdaboost算法的理论分析.14321基本符号143.2.2辅助训练数据上的错误率...:.···153.2.3源训练数据上的错误率,,203.3实验分析:··..··:·.:·.:···:·:·:·:······:213.3.1数据描述..22332实验结果23第四章基于特征的迁移学习算法研究254.1基于特征翻译的迁移学习算法4.1.1翻译学习框架274.1.1.1问题定义····‘·274.1.1.2风险最小化框架.41.1.3模型估计.··2941.14翻译器o304,2实验分析324.2.1实验数据酯鲁鲁D着着·,,·,,音唐鲁帝着争324.2.2比较方法324.2.3实验结果··········:····:..:.::.:::33第五章总结与展望35参考文献致谢4·,个人简历、在学期间的研究成果及发表的论文春,音42插图插图1-1日常生活中的迁移学习例子3-1关于 TrAdaboost算法基木思想的一个直观的示例。3-2 TrAdaboost算法的机制123-3一个关于数据生成的示例223-4三种算法在 people vs places数据集上的效果243-5 TrAdaBoost算法在 people vs places数据集上的达代曲线244-1一个直观的例子,用来说明六中学习策略的异同264-2共同出现数据的例子:Flickr(http://www.flickrcom/)74-3在12个数据集上的平均错误率3444对于不同的入, TLRLSK在12个数据集上的平均错误率34表格表格3.120 Newsgroups数据分布的描述2232SRAA数据分布的描述2333当只有1%的源数据是训练数据时的分类错误率4.1文本辅助图像分类的数据描述3
- 2021-05-06下载
- 积分：1
过程控制锅炉汽包水位模糊PID控制的LabVIEW仿真
锅炉汽包水位模糊PID控制的LabVIEW仿真ScientificResearchSystem Simulation Technology Application (Volume 13)Table 1. Rule list of fuzzy control of Kp据、结果显示。当运行程序时,只有前面板出现在计表1.K模糊控制规则表算机的屏幕上,作为虚拟仪器和用户的接口。与其他E仿真语言相比,除了能在 Labview软件中方便地使ECNB NM NS ZO PS PM PB用PID工具包进行模糊PID控制器设计外,在仿真过NB PBPB PMPM PS Z0 ZO程中还能实现对仿真参数的动态修改,只要按照要求NMPB PM PSPS ZO NS在前面板上写入相应的控制参数,便可以进行参数动Ns PPs ZO态修改,相应的更新结果可由前面板以多种方式显小ZO PM PM PS ZO NS NM N出来并可以数据文件形式保存。使仿真过程变得更加PSPSPS ZO NSNS NMNM灵活、便捷。本文所用的前面板如图4所示。PM PS ZO NS NM NⅥNMNBPB ZO ZO NMNM NM NBNB4基于LabⅤIEW的模糊PID控制系统设计美国NI( National Instruments)公司的LabⅤILW口回6,A·逦是基于数据流的图形化编程语言G的开发环境,是仪器控制与数据采集的编程平台,能快速构建实现交互控制系统的图形用户界面,并且它与测量、自动化硬 Figure3. Flow chart of drum water level control system件紧密的结合,具冇完善的数据采集、信号分析和信图3.汽包水位控制系统仿真流程图息显示的解决方案。 LabVIEW中的PD工具包(PIDToolkit提供∫一个完整的模糊控制设计系统,包括:汽包水裨制实验·模糊逻辑控制器设计子程序( Fuzzy Logic Con-roller Design):提供一个友好的图形用户界面(GUI),可以直观地设计和修改模糊控制器的水过低圣汽流量Fe的艰属函数、规则库、推理规则和去模糊方法等等。●」售定设计的结果保存在一个以结尾的文件中,应用冷水入口当诞0程序就谴用此文件。主PTD模糊控制器子程序( Fuzzy Controller.ⅵ):作为程在■a2序的个功能模块(函数),用于在应用程序中实现模糊控制算法。调入控制器子程序( Load Fuzzy Controller.ⅵ)E四常数56将fs文件调入应用稈序功能模块,将指定文件的Figure 4.The front panel of drum level control systemPID参数加载到应用程序的模糊控制器中。图4.汽包水位控制系统前面板框图软件设计由两部分组成,即前面板和流程图。在前面板,用输入控件( Contro)来实现参数的输入,参为了说明该控制策略相对其他控制方法的优越数的显示和程序运行的结果由输出控件( ndicator来性生,同时作了锅炉汽包水位系统常规串级PD控制的完成。流程图是完成程序功能的图形化源代码,通过仿真研究,其外回路和内国路均采用PD控制器,其对控件设置合适的参数和连线建立控制系统。采用模PID控制器的算法为糊PID控制的带前馈的串级三冲量控制系统的流程图u(t)=k,,(e+T Gedt+ la dr)如图3所示。式中:ε为设定值与探制过程返回量之间的偏差,基于 LabView开发的程序面板具有良好的人机K为比例增益,T为积分时间常数,Ta为微分时间常互动的风格,使用简单。前面板提供了丰富的图形控数,u(为控制器输出量。根据图3,设置PID控制器件,可以模拟传统仪器工作方式,在前面板上放置所的参数为K=3、T=150以及a4。两种控制方式的控需要的控件和指示器,实现仪器控制以及较直观的数制效果如图5所示。978-1-935068-81-5c2011 SirEs40o1994-2012cHinaAcademicJournalElectronicpUblishingHouse.Allrightsreservedhttp://www.cnki.netScientifieSystem Simulation Technology Application( Volume 13)° Researcl从图5(a)可以看出,在无扰动情况下,采用普通差,而普通PID则在扰动过大的时候则无法做到这PID进行控制超调量约有30%,而采用模糊PID控制点。在汽包水位的控制过程中,通过在不同时刻施加则将超调量控制在10%以内,并且模糊PD控制更能不同扰动,其阶跃响应图显示岀模糊PD控制都要优有效地减少上升时间与调节时间;在初始状态有扰动于普通的PID控制,对锅炉汽包所存在的“虚假水位的情况下如图5(b)和5(c),模糊PID均比普通PID控控制得更好,达到更令人满意的效果。因此,采用模制具有更小的超调量及更短的调节时间;在第一次稳糊Pυ控制策略比常规P控制策略具有较好的调节定后施加两种扰动时如图5(d所示,模糊PID相比普品质以及较强的鲁棒性和抗干扰能力,而且能在对象通PID不仅响应快,超调小,更有效地消除了稳态误模型失配的情况下表现出较强的适应能力。设定值直世D(a)无扰动(b)加入10%蒸汽扰动(c)加入20给水扰动(d第一次稳定后施加两种扰动Figure 5. Curve: Unit step response of different disturbance图5.不同扰动下的单位阶跃响应曲线5结束语Steam Generator[],Journal of System Simulation, 2004, 16(10)P450-453.提出了使用 Labview构建模糊控制器进行锅炉刘红军,韩璞,工东风,锅炉汽包水位系统 DMC-PID串级控制仿真研究[,系统仿真学报,204,16(10),P450-453汽包八位控制的仿真研究,通过比较两种控制方式,[41 XU Chun-mci, ZHANG Haol, YANG Ping, Nonlincar pid-Pcascade control for boiler drum level [J]. East China Electric可以看出对于锅炉汽包水位,采用模糊PID控制在上Power:2009,37(5),P838~84升时间、超调量、调节时间等控制性能都要优于普通凃春梅,张浩,杨平汽包水位串级二冲量非线性PID控制系统[,华东电力,2009,37(5):838~84PⅠD控制。基于 LabVIew语言采用流程图形式开发的51Chul-lIwan Jung, et al. A real-time self-tuning fuzzy controller应用程序,具有良好的人机交互界面,形象直观的控through scaling factor adjustment for the steam generator of NPl574:53-60制界面,更强的数据处理功能及简便实用的参数显示(6] SONG Zhi-gang; YU Qi-xiang; WANG Yi-ming;ctl, Devclop功能。比使用其他仿真语言(如Maab/ Simulink工具ment of fuzzy controller for parameters adaptation of PID con-troller based on L abvIEW[1, Machinery Design manufacture箱)更容易实现各个模块之间传递数据,仿真过程还2003(4):P11~12.能动态修改仿真参数并实时更新,可以更好地配置控宋智罡,郁其祥,王益明等,基于 LabVIew的PID参数自适应模糊控制器设计山J,机械设计与制造,2003(4:11~12制器参数以达到最优,大大缩短没计周期,提高开发[7] Jin Yihui, Process Control [m, Beijing: TSinghua universily效率,具有较大的工程实用价值。press. 1988金以慧,过程控制[M,北京:清华大学出版社,1998[8 ZHAO Baochun, LUO Zon-gan, LIu Xianghua, Design andReferences(参考文献simulation of fuzzy logic controller based on LabVIEW], Control Engineering of China, 2006, 13(S1 ): 49-52[1] CHEN Hong-wei, XU Zhen-yu, YANG Bo, et al, Analysis of the赵宝纯,骆宗安,刘相华,基于LabⅤIEW的模糊控’器设计Influential Factors to Boiler Drum Level [], Power System En与仿真[,控制工程,2006,13:4952neering,2007,23(02):32-33[9] JiN Zhiqiang, Biao Qiliang, A method of design of PID controller陈鸿伟,许振宇,杨博,等锅炉汽包水位影响因素分析[电based on I abvIEW[], Control Automation, 2005, 21(6): 1-2站系统工程,2007,23(02):32-33金志强,包启亮,一种基于LabⅤIEW的PID控制器设计的[2 ZHOU Jia, CAO Xiao-ling, LIU Yong-wen, Controlling Strategy方法[,微计算机信息,2005,21(6):1-2Analysis of Drum Level in Boiler [J]. Boiler Technology, 2005, [10] National Instrument, Lab VIEW simulation moduler user manual36(03):5~10.IM, Austin: National Instruments, 2004周佳,曹小玲,刘永文,锅炉汽包水位控制策略的现状分炘[11 LI Guo-yng, A New Fu∠ y PID Controller[ J Journal of Sys-「J,锅炒技术,2005,36(03),P5-10tem simulation,2003,15(10):1492-1496[3 IIU Hongjun, HAN Pul, WANG Dongfeng, Simulation Research李国勇,一和新型的模糊PID控制器[J,系统仿頁学报,of DMC-PID Cascade for Water Level System of a Drum boile2003,15(10),P1492-1496978-1-935068-81-502011 Scares.o1994-2012ChinaAcademicJournalelEctronicPublishingHouse.Allrightsreservedhttp://www.cnki.ner
- 2020-12-10下载
- 积分：1
