基于实例和特征的迁移学习算法研究_戴文渊
基于实例和特征的迁移学习算法研究上海交通大学学位论文原创性声明本人郑重声明:所呈交的学位论文,是本人在导师的指导下,独立进行研究工作所取得的成果。除文中已经注明引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名:日期:200年,月6日上海交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定同意学校保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文保密□,在年解密后适用本授权书。本学位论文属于不保密囝。(请在以上方框内打“√”)学位论文作者签名:指导教师签名:1日期:209年,月日日期,亻年,月,b日上海交通大学学位论文答辨决议书姓名戴文渊学号1060394所在学科计算机应用技术指导教师俞勇答辩2009年1月答辩地点逸夫科技楼311日期16日论文题目基于实例和特征的迁移学习算法研究投票表决结果:555(同意票数/实到委员数应到委员数)答辫结论:回通过口未通过评语和决议:戴文谢的论女对基家例和将而习年译入的研鉴该课题旨右桌砖传纹戒器动限劫布衣器导成眼刺张采明意和有吃作包提了-种基于泉例汪移羽法给生了aAB算回提3-种基特公汪移3方,3因片和受本键技术取場3很山敌果,流文点明方法新颖,结沉正别,反强着己孔家地推第术基础理和相关的去步知议,具级的去从季科研午W彩机答排刷凶滴蕤,回间趣正确浴拜委员会讨(孔记名拨票奉决),-敌其通过硕士怪沉辩被子召丽士209年1月16日职务姓名职称单位签名主席黄林鹏教授上海交通大学答委员辩翁惠玉副教授上海交通大学委委员薛贵荣副教授上海交通大学员会委员张冬茉副教授上海交通大学成员委员俞勇教授上海交通大学签|天姿号委员秘书韩定助理研究员上海交通大学中文摘要基于实例和特征的迁移学习算法研究摘要传统的机器学习假设训练数据与测试数据服从相同的数据分布。然而,在许多情况下,这种同分布假设并不满足。不满足同分布假设的情况往往发生在训练数捃过期,而标注新数据非常昂贵。于是,我们有有了大量的在不同分布下的过期训练数据。完全丢弃这些数据将会是非常浪费的。在这种情况下,迁移学习就变得非常重要了,因为迁移学习可以从现有的数据中迁移知识,用米帮助将米的学习迁移学习( Transfer Learning)的目标是将从个环境中学到的知识用来帮助新环境中的学习仼务。因此,迁移学习不会像传统忛器学习那样作同分布假设。在本文中,我们将会比较全面的回顾迁移学习的整个领域,并且介绍我们在迁移学习领域的近期研究成果。我们的工作可以分为两部分;基于实例的迁移学习和基于特征的迁移学习。我们将会展示出,基于实例的迁移学习有更强的知识迁移能力,而基于特征的迁移学习具有更广泛的知识迁移能力。这两种方法各有千秋。我们介绍了两种迁移学习方法,分别基于 boosting技术和特征翻译。这两种算法分别对应基于实例的迁移学习和基于特征的迁移学习。我们通过非常全面的实验来证明我们的方法在迁移学习时候能够很大幅度提高很多现有的学习算法,无论是近迁移还是远迁移关键词:迁移学习、实例、特征英文摘要Instance-based and Feature-based Transfer LearningABSTRACTTraditional machine learning techniques make a basic assumption that the training andtest data should be under the same distributions. However, in many cases, this identicaldistribution assumption docs not hold. The violation of thc assumption might happen whenthe training data are out of date, but new data are expensive to label. This leaves plenty oflabeled examples that are under a similar but different distribution which is a waste throwaway entirely. In this situation, transfer learning becomes important to take the role of leveraging these existing data knowledgeTransfer learning aims at using learned knowledge from one context to benefit fur-ther learning tasks in other contexts. Thus, transfer learning does not make the identical-distribution assumption as tractional machine learning algorithms. In this thesis, we broadreview the whole field of transfer learning and then introduce our recent work on transferlearning accordingly. Our work can be divided into two parts: instance-based transfer learning, and feature-based transfer learning. We will show that instance-based transfer learninghas better strength in knowledge transferring, while feature-based transfer learning is withmore gerWe present two transfer learning algorithms based on boosting technique and featuretranslation respectively. These two algorithms corresponds to instance-based and featurebased transfer learning. Our extensive experiments show that our algorithms can greatlyimprove several state-of-the-art algorithms in the situation of transfer learning, includingnear transfer and far transferKEY WORDS: Transfer Learning, Instance, Feature目录目录摘要ABSTRACT(英文摘要)第一章绪论第二章迁移学习领域的研究现状2.1多任务学习.22跨领域学习23不同数据分布下的学习24其他迁移学习问题25迁移学习的应用4555678第三章基于实例的迁移学习算法研究3.1基于 Boosting的迁移学习算法3.1.1基本思想.3.1.2问题定义103.1.3 TrAdaboost算法描述..123.2 TrAdaboost算法的理论分析.14321基本符号143.2.2辅助训练数据上的错误率...:.···153.2.3源训练数据上的错误率,,203.3实验分析:··..··:·.:·.:···:·:·:·:······:213.3.1数据描述..22332实验结果23第四章基于特征的迁移学习算法研究254.1基于特征翻译的迁移学习算法4.1.1翻译学习框架274.1.1.1问题定义····‘·274.1.1.2风险最小化框架.41.1.3模型估计.··2941.14翻译器o304,2实验分析324.2.1实验数据酯鲁鲁D着着·,,·,,音唐鲁帝着争324.2.2比较方法324.2.3实验结果··········:····:..:.::.:::33第五章总结与展望35参考文献致谢4·,个人简历、在学期间的研究成果及发表的论文春,音42插图插图1-1日常生活中的迁移学习例子3-1关于 TrAdaboost算法基木思想的一个直观的示例。3-2 TrAdaboost算法的机制123-3一个关于数据生成的示例223-4三种算法在 people vs places数据集上的效果243-5 TrAdaBoost算法在 people vs places数据集上的达代曲线244-1一个直观的例子,用来说明六中学习策略的异同264-2共同出现数据的例子:Flickr(http://www.flickrcom/)74-3在12个数据集上的平均错误率3444对于不同的入, TLRLSK在12个数据集上的平均错误率34表格表格3.120 Newsgroups数据分布的描述2232SRAA数据分布的描述2333当只有1%的源数据是训练数据时的分类错误率4.1文本辅助图像分类的数据描述3
- 2021-05-06下载
- 积分：1
mqtt物联网数据传输协议
引用github的资源https://mcxiaoke.gitbooks.io/mqtt-cn/Introduction3.2 CONNACK一确认连接请求o3.3 PUBLISH-发布消息o34 PUBACK一发布确认o35 PUBREC-发布收到(QoS2,第一步)°36 PUBREL-发布释放(QoS2,第二步)°3.7P∪ BCOME一发布完成(QoS2,第三步)o3.8 SUBSCR|BE-订阅主题o39S∪BACK-订闶确认o3.10 UNSUBSCR|BE-取消订阅3.11 UNSUBACK-取消订阔确认3.12P| NGREG一心跳请求3.13 PINGRESE一心跳响应o3.14D| SCONNECT一断开连接第四章一操作行为第五章一安全第六章一使用 Websocket第七章一一致性目标附录B-强制性规范声明旧版文档已过期,建议使用 GifTbook版本最新版本:V1.0.12015.10.22文档连接中文版HTMLMQTT3.1.1中文版中文版PDFMQTT3.1.1中文版英文版HTMLMQTT Version 3.1.1英文版PDFMQTT∨ ersion3.1.1许可协议署名-非商业性位用-相同方式共享4.0国际联系方式IntroductionBloghttp://blog.mcxiaoke.comGithub:https://github.com/mcxiaoke.Email:github@mcxiaoke.com开源项目·Rx文档中文翻译:htts:/! github. com/mcxiaoke/ RXDOCS·MQTT协议中文版:htps:/ github. com/ mcxiaoke/mgttAwesome-kotlin:httpsgithub.com/mcxiaokelawesome-kotlin.Kotlin-koi:https:/github.com/mcxiaoke/kotlin-koiNeXt公共组件库:htps!/github.com/xiaoke/Android-Next· PackerNg极速打包:htts;/ github. com/mcxiaoke/ packer- ng-pluginGradle渠道打包https://github.com/mcxiaoke/gradle-packer-plugin·VentuS实现xBus:htps;/github.com/miaoke/BuS磨菇饭App:htps:! github. com/mcxiaoke/minicat·饭否客户端:https:/github.com/mcxiaoke/anfouapp-opensourceVolleyt:https://github.com/mcxiaoke/android-volley第一章-MQTT介绍第一章概逃 Introduction1.1MQTT协议的组织结构 Organization of MQTT本规范分为七个章节:第一章一介绍第二章一MQTT控制报文格式第三章一MQTT控制报文·第四章一操作行为第五章一安全第六章一使用 Websocket第七章一一致性日标附录B一强制性规范声明12术语 Terminology本规范中用到的夭键字必须MUST,不能 MUST NOT,要求 REQUIRED,将会 SHALL,不会 SHALL NOT,应该 SHOULD,不应该 SHOULD NOT,推荐 RECOMMENDED,可以MAY,可选 OPTIONAL都是按照 TE RFC2119[RFC2119]中的描迹解释。网络连接 Network ConnectionMQTT使用的底层传输协议基础设施。客户端使用它连接服务端。它提供有序的丶可靠的丶双向字节流传输。例子见42节应用消息App| ication Message MQT协议通过网络传输应用数据。应用消息通过MQT传输时’它们有关联的服务质量(QoS)和主题( Topic)客户粥C|ient使用MQπT的程序或设备。客户端总是通过网络连接到服务端。它可以发布应用消息给其它相关的客户端。●订阅以请求接受相关的应用消息。·取消订阅以移除接受应用消息的请求从服务端断开连接第一章-MQTT介绍服务端 Server个程序或设备,作为发送消息的客户端和请求订阅的客户端之间的中介σ服务端接受来自客户端的网络连接。接受客户端发布的应用消息。·处理客户端的订阅和取消订阅请求。转发应用消息给符合条件的已订阅客户端订 Subscription订阔包含一个主题过滤器( Topic Filter)和一个最大的服务质量(QoS)等级。订阅与单个会话( Session)关联。会话可以包含多于一个的订阅。会话的每个订阅都有一个不同的主题过主题名 Topic Name附加在应用消息上的一个标签’服务端巳知且与订阔匹配。服务端发送应用消息的一个副本给每一个匹配的容户端订阅。主题过滤器 Topic Filter订阅中包含的一个表达式,用于表示相关的一个或多个主题。主题过滤器可以使用通配符。会话 Session客户端和服务端之间的状态交互。一些会话持续时长与网络连接一样·另一些可以在客户端和服务端的多个连续网络连接间扩展。控制报文 MQTT Contro| Packet通过网络连接发送的信息数据包。MQTT规范定义了十四种不同类型的控制报文,其中一个( PUBLISH报文)用于传输应用消息。1.5数据表示 Data representations1.51二进制位Bits字节中的位从0到7。第7位是最高有效位’第0位是最低有效位。1.52整数数值 Integer data values整数数值是16位’使用大湍序( big-endian,高位字节在低位字节前面)。这意味着一个16位的字在网络上表示为最高有效字节(MSB),后面跟着最低有效字节(LSB)1.53UTF8编码字符串UTF8 encoded strings后面会描逑的控制报文中的文本字段编码为UTF8格式的字符串。UTF8[RFC3629]是一个高效的υ ncode字符编码格式’为了攴持基于文本的通信’它对ASC∏字符的编码做了优化第一章-MQTT介绍每一个字符串都有一个两字节的长度字段作为前缀,它给出这个字符串UTF8编码的字节数,它门在图例1.1UTF8编码字符串的结构中描述。因此可以传送的UTF-8编码的字符串大小有个限制,不能超过65535字节除非另有说明’所有的UTF-8编码字符串的长度都必须在0到65535字节这个范围内。图例1.1UTF8编码字符串的结构 Structure of ute8 encoded strings进制位7-0yte字符串长度的最高有效字节(MsB)byte 2字符串长度的最低有效字节(LSB)byte 3如果长度大于0,这里是UTF-8编码的字符数据。UTF-8编码字符串中的字符数据必须是按照 Unicode规范[ Unicode]定义的和在RFC3629[RFC3629]中重申的有效的UTF8格式。特別需要指出的是,这些数据不能包含字符码在U+D800和U+DFFF之间的数据。如果服务端或客户端收到了一个包含无效UTF-8字符的控制报文”它必须关闭网络连接[MQTT1.53-]。UTF-8编码的字符串不能包含空字符U+0000如果客户端或服务端收到了一个包含U+0000的控制报文’它必须关闭网络连接MQTT-1.53-2]数据中不应该包含下面这些 Unicode代码点的编码。如果一个接收者(服务端或客户端)收到了包含下列任意字符的控制报文,它可以关闭网络连接U+0001和U+00F之间的控制字符∪+007F和∪+009F之问的控制字符Unicode规范定义的非宇符代码点(例如U+ OFFFF)Unicode规范定义的保留字符(例如U+ OFFFF)UTF-8编码序列0XEF0xBB0XBF总是被解释为U+FEFF(零宽度非换行空白字符)’无论它出现在字符串的什么位置’报文接收者都不能跳过或者剥离它[MQTT-153-3]。非规范示例 Non normative example例如,字符串A是一个拉丁字母A后面跟着一个代码点U+2A6D4(它表示一个中日韩统表意文字扩展B中的字符)这个字符串编码如下图例12UTF8编码字符串非规范示例UTF-8 encoded string non normative example第一章-MQTT介绍Bit54byte 1字符串长度MSB(0x0O)00byte 2字符串长度LSB(0×05)byte 3A(0×41)00000bye4(0×F0)000byte 5(OXAA)00byte 6(0×9B)0byte 7(0×94)0001.6编辑约定 Editing conventions本规范用黃色高亮的文本标识一致性声明·毎个一致性声明都分配了一个这种袼式的引用:[MQTT××x-y]项目主页MQTT协议中文版第二章一MQTT控制报文格式第二章MQTT控制报文格式 MQTT ControPacket format目录第一章-个绍第二章一MQTT控制报文格式第三章一MQTT控制报文·第四章一操作行为第五章一安全第六章一使用 Websocket第七章一一致性目标附录B-强制性规范声明2.1MQTT控制报文的结构 Structure of an MQTTControl packetMQπT协议通过交換预定义的MQTT控制报文来通信。这一节描逃这些报文的格式。MQTT控制报文由三部分组成’按照图例2.1-MQ∏控制报文的结构描逃的顺序图例21-MQTT控制报文的结构Fixed header固定报头’所有控制报文都包含Variable header可变报头·部分控制报文包含Payload有效载荷·部分控制报文包含22固定报头 Fixed header每个MQTT控制报文都包含一个固定报头。图例2.2-因定报头的格式描逑了因定报头的格式图例22-固定报头的格式第二章一MQTT控制报文格式Bit65432byte 1MQTT控制报文的类型用于指定控制报文类型的标志位byte 2剩余长度221MQTT控制报文的类型 MQTT Control Packet type位置:第1个字节,二进制位7-4表示为4位无符号值,这些值的定义见表格2.1-控制报文的类型表格2.1-控制报文的类型名字值报文流动方向描述Reserved禁止保留CONNECT客户端到服务端客户端请求连接服务端CONNACK2服务端到客户端连接报文确认PUBLISH两个方向都允许发布消息PUBACK丙个方向都允许QoS1消息发布收到确认PUBREC5两个方向都允许发布收到(保证交付第一步)PUBREL两个方向都允许发布释放(保证交付第二步PUBCOMP7两个方向都允许QoS2消息发布完成(保证交互第三步)SUBSCRIBE8客户端到服务端客户端订阅请求SUBACK9服务端到户风请求摄文确认UNSUBSCRIBE10客户端到服务端客户端取消订阋请求UNSUBACK服务端到客戶端取消订阔报文确认PINGREQ12客户端到服务端跳请求PINGRESP13服务端到客户端心跳响应DISCON№ECT14客户端到服务端客户端断开连接Reserved15禁止保留222标志Fags固定报头第1个字节的剩余的4位[30]包含每个MQTT控制报文类型特定的标志,见表格22-标志位。表格2.2中任何标记为“保留”的标志位·都是保留给以后使用的·必须设置为表柊中出的值[MQT「-22.2-1。如果收到非法的标志’接收者必须关闭网络连接。有美错误处理的详细信息见4.8节MQTT2222]
- 2021-05-06下载
- 积分：1
