数据共享交换平台产品白皮书
数据共享交换平台产品白皮书,实现核心业务应用之间的数据集成管理，设计数据平台系统的应用架构视图，加强数据服务及安全管理意识，通过标准、规范的技术路线对外提供统一接口服务。Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书目录服务安全支认证(信息资源目录管理、儿数据管掉服务网关理,导航服务)CaGR户数据交换平台 CenDXS数将式转确业务流程管理BPM管理控制流程定制、规则引擎)数据转换Message broker管理运行安全接口WebServices状态流程计企业服务总线ESB题数/分析路由服务 Routing services转换服务安全服务日志管理基内的点对点Plsb协议转换格式转换OMLFileauston)运行管理解密」[。地程后动/停止适配器服务消息通讯服务数据各份恢复同步/异步通信存储转发可靠传输逻地址与网络地址转换组件/厘务/系统多应次编码/解码加密解密调用身份验证签名断点续传分块传输序列化/反序列化负载均衡管理Qeue队列配置管理控制台配置维护发送接收传输服务适配器配置维护(可视化配置向导HTtP/ITpsiToP pMi File FtP Socket Wtonglink Web ServiceaL配置文件)节点适配器软件分发更码的女燃部的x油)节点适配器远程安装Cer?P DrCenDXs数据交换平台技术架构图CendXs数据共享交换平台的主要功能包括(一)目录服务数捱共享交换平台的共享资源目录服务系统包含目录服务和目录资源两部分内容1)日录服务提供日录、元数据注册、发布、审核、修改、维护以及编目服务等相关内容;2)目录资源通过将现有各类资源(元数据)的合理分类,重组资源,并通过 XML Tree以资溟导航树的方式完成资源目录服务系统的开发建设工作。(二)交换服务数捱交换服务是数据共享交换平台的核心,数据交换服务包括六部分:路由服务、转换服务、安全服务、消息通讯服务、发送接收服务、接入服务1、路由服务路由服务可使用像业务名称这样的地址,在服务之问路由消息,控制消息的Censoft美村料技数件中关数据共享父换平台( CenDXS)严品口皮书存储和分发,并对每个消息启动正确的处理流程;实现欻据交换路由解析功能,可实现数据的多步多级传输。1)路由可以是显式的:使用输入数据提供的帚式地址或昳像中的显式地址2)路由服务也可以是基内容的:分析输入数据或输出数据的内容以确定需要在哪里对输出进行路由;3)基于主题的消息路由,支持发布订阅机制:主题是消息月的地的字符串描述,基于消息主题实现消息的路由,可有效地实现消息的发布和订阅,实现数据抽取、转换、加载与应用之间的松散耦合,使得数据交换平台具有良好的可扩展性。2、转换服务转换服务包括协议转换、格式转换、数据转换,通过转换解决交换节点间协议差别、异构、数据项差异等问题。1)协议转换在请求方和服务方之间进行协议转换,解决异构系统之间由于通讯协议不同而不能联互通的问题2)格式转换在请求方和服务方之间进行消息格式转换,解决异构系统之间由于数据描述方式不同而不能互联互通的问题,解决不同企业应用程序的本体和浯义的异类问题支持各种主流关系型数据库之间的数据交换,如 Oracle、 SQL ServerDB2、 Sybase、 Access、 MYSQL等。支持数据表名称和字段名称转换,可以实现不同表名、字段名的数据表之间的数据交换3)数据转换指邐过数据项定乂功能,实现选择源数据表的仝部数据接入或先择源薮据表的部分字段接入;筛选数据记录或定义接入条件,实现以有符合条件的数据记录才被接入数据交换平台。数据表转换的实际内容是数据记录的拆分、组合,数据交换平台通过主健定义,多转换关系表定乂等环节,实现各种记录处理。Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书表对·表交换数据交换平台可以实现基本的一个数据表到一个数据表的交换,并且在一对交换中支持一个源数据表的一个记录的不同字段在目标表中生成两条或多条记录表对多表交换数据交换平台可以支持“一对多”交换。实现一个源数据表中的一条记录的不同字段组合交换为多个目标表中的记录。■多表对一表交换数据交换平台可以支持“多对一”交换。实现多个源数据表中的数据记录组合转换为一个目标表中的一条记录。3、安全服务能够基于产品自带的安全服务功能,对敏感信息交换进行MD5、DES、SSL加密,根据数据加密应用途径进行交换信息内窄的加密(可逆或不可逆),保障数据交换传输过稈中的安全。同时还将具有数据合法性验证功能,能够对交换平台与应用系统之间以及交换系统之间的两类合法性验证,确保数据可信交换。4、消息通讯服务MQ消息通讯服务为数据共享交换平台提供强健的消息中间件基础平台,它的主要功能如下1)支持同步或异步通信同步处理是指每一步骤必须等待下一步骤完成后才能继续进行;异步处理建立在系统间异步、基于消息的交互上,基于“存储转发”或消息队列服务,采用“松散耦合”的方式连接,这使得分布式系统具有更髙的可用性和可伸缩性即时传输毕丁事件驱动,由系统运行时动态产生和控制的会话方式。对丁没有网终占用时段限制或要求实时传输数据的交换可以定义为即时传输模式,即时传输模式可以将接入数据即时发送到接收节点。定时传输山系统定时器根据预设的定时策略产生和控制的会话方式。对于有网终占用时段限制或不要求实时传输数据的交换可以定义为定时传输模式,定时传输模式Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书可以在指定吋间将接入数据发送到接收节点。即时传输模式支持定点传输和指定间隔时间轮询启动传输■手工启动传输糸统运行时由用户手工产生和控制的会话方式。2)支持多种传输模式数据交换平台支持多种方式的数据分发,即可实现基于交换服务器的一对一的队列传输和一对多的发布订阅传输,也支持两个适配器的直接消息传输■订阅平台基于主题的消息路由,支持发布订阋机制:主题是消息目的地的字符串揹述,基于消息主题实现消息的路由,可有效地实现消息的发布和订阅,实现数据抽取、转换、加载与应用之间的松散耦合,使得数据交换平台具有良好的可扩展性队列平台支持队列方式,方便实现一点对一点的数据传输3)支持多通讯模式支持数据的发布/订阅、请求/应答通信模式;发布/订阅通信模式完全是一种“推”(Push)的技术;而请求/应答通信模式是对传统 Client/Server通信模式的支持,即支持“拉”(Pu〕技术。用户可以根据具体应用的信息处理流蓕来选择合适的信模式。推:点到点或点到多点的主动信息推送方式拉:点到点或点到多点的破动信息获取方式组播:在一个域或群组范围内的多点群发方式4)可靠传输支持断点续传、分块传输;保证消息传输一次且仅需传输一次,确保数据可靠传送。当以主题发布消息时,保证每个订阅者都可以接受到消息,而且每个订阅者只能接受一次。另外,由于发布老产生的消息是按时间顺序放在相当士队列的消息队列表中,可以保证按消息产生的时间序列依次发送,司样,也按时间序列接受和处理消息,所以,整个架构不仅可保证消息传递的可靠性而且可保证消思处理的时序性Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书5)事务支持发送方只有成功地发送消息时,才删除消息队列中的消息,否则回滚事务;只有在受到接收方确认消息( Point/ Point时)或所有订阅者确认消总( Publish/ Subscriber时)之后,才删除持久性存储的消息:接攻适酤器只有成功地将消息映像到目标数据库后,才给消息通讯服务器发送确认消息。6)解码/编码将数据转换到与数据交换平台相同的代码页,编码服务则可将输出数据的字符集编码为系统的代码页。7)数据压缩/加密解密攴持数据传输过程中的数据压缩伽加密处理,保证数据传输安全8)序列化/反序列化序列化服务获取输出数据结构并将其序列化到可通过网络传输的纯文本文件中,反序列化服务执行相反的操作。9)地址转换在分配给集成服务目的地的逻辑业务地址与网终协议所需要的网终坦址间转换。5、发送接收传输服务执行数据的传输或接收,提供JMS、 Webservices、FTP、 Http/httPs、IOP、RMI、rile、 Socket等多种方式数据传输。6、接入服务数捱共亨交换平台的接入包括采集接入(相关单位到中心基础数据库)和共亨接入(中心基础数据库到相关咩位),数据接入功能提供可视化配置与管理,支持多种接入方式和接入模式,支持基丁元数据的可视化数据接入1)接入方式数摭共享交换平台支持多种接入方式,接入方式包括中闫薮据表接入、原始系统表接入、文件目录树接入、 Web services接入、文解析接入、数搪表单接入等。可根据不同需要配置各种接入方式。中间数据表接入对于可以推送交换数据的节点,可采用肀间表接入方式接入,这种方式最简Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书单,接凵界面清晰,利于排查问题,并且可以保证原始系统不受交换平台的影响,保证原始系统数据的安仝。中旧薮据表接入方式即根据实际业务需要,定义所需交换数据的表结构,建立接口数据表,原始应用系统负责向接口表肀传送需要的数据,交换丬台负责将接口表中的数据交换到目标节点中叵数据表接入方式要求原始应用系统提供数据推送服务,每个接入节点的实施将有一定的工作量。■原始系统表接入对于不可以推送交换数据并对数据共享交换平台信仁的节点,可采用原始系统表接入方式接入,这种方式比较复杂,接口界面不清昕,不利于排查问题,并且涉及到原始系统数据库会受交换平台一定影响,要靠严格的授权机制来保证原始系统数据的安全原始系统表接入方式即根据实际业务需要,在原始应用系统数据表中沅择需要的数据项,自接交换到目标节点原妒系统表接入方式不要求原始应用系统提供数据推送服务,每个接入节点的实施工作量很小,可以方便的增加、减少数据表和数据项,但是需提供完整的原始系统表结构说明。文件目录树接入平台提供文件目录接入功能,可实现各节点间指定目录节点中文件的传输和同步,这种方式可简单的实现两台服务器间目录文件的同步。■ Web service接入平台提供 Web services接入接口,原始系统可通过调用 Web services接口将数据推送到交换平台,同时,交换平台也提供 Web services调用功能,通过调用原始系统的 Web services服务获得数据■文件解析接入平台提供文件解析接入功能,将系统或者其它方式生成的 Excel TXT、PDFDOC等各类格式的数据文件解析入库,再以数据库的方式交换。■数据表单接入为用户提供数据表单,用户直接在表单上输入数据,提交后系统直接入库并Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书传输。■GIS数据接入平台支持GIS数据的交换,GIS数据库中将存在Tab空间图像数据,平台将库中图像数据定义为标准的二走制数据文件(以 Blob Clob等模式通过底层二进制完成存储转发),借助JMS消息完成数据的交换服务■适配器模板服务接口数捱共亨交换平台能在以上各类通用接口的基础上,提供数据交换服务适配器模板,用户可根据模板形成特殊数据交换服务适配器组件的开发和使用2)接入适配器系统通过丰富约内置适配器和组件攴持上述的多种接入方式,各种适配器和组件的功能如适配器服务组件适配器/服务组件描述名称可监听多个文件月录;文件发送日志记录、查询;文件发文件发送适配器送回执的记录、查询;根据监听目录的不同,发送到不同的主题或队列上可同时监听不同的主题或队列;向发送方发送回执;文件文件接收适配器接收日志记录、查询。Excl文件解析适自动完成 Excel文件的解析和入库处理配器PDF文件解析适配自动完成PDF文件的解析和入库处理器TEXT文件解析适自动完成TEXT文件的解析和入库处理配器支持 Oracle、DB2、 MS SQL Server、 Sybase、 MySQL等多种主流数据库类型;自动生成和创建数据库接凵表、主键、数据库发送适配器索引;批处理(次可传送多条数据库纪录)的支持;支持非结构亿数据和大字段数据的处理8Censofit中美村斜技数件中关数据共亨父换平台( CenDXS)产品口皮书支持 Oracle、DB2、 MS SQL SErver、 Sybase、 MySQL等多种主流数据厍类型;自动生成和创建数据库接口表、主键据库接收适配器索引;批处理(一次可传送多条数据库纪录)的支持;支持非结构亿数据和大字段数据的处理专门为 CengrP门户CMS内容管理系统设计的适配器,可实坳不同蚱点、不同栏目之间的数捃传输、射、转换和CMS内容管理适同步功能。传输的模型可以是一个上级节点以主题的方式配器发布传输的栏日,多个下级节点以订阅的方式接受;也可以是不同节点(无论上级节点还是下级节点)之间的CMS数据的互相传接。专门为 CengrP门设计的适配器,通过 Portlet可调用门户适配组件CeIdXs数据交换服务。目录服务适配组件提供通过目录服务系统调用数据交换服务的接口适配组件Webservices服务提供数据交换Web服务接口、文件交换web服务接口等适配组件Web services服外适配组件JMS消息系统适配连接JMS消息系统组件提供 Http/httPs、FTP、 TCP Sockets、SOAP、RMI、SMS工具组件等多种协议接口工具组件,向应用系统发送请求或接收响3)触发模式数捱共亨交换平台对各种接入数据的传送触发提供三种模式:数据库触发器触发模式、数据库轮询触发模式、目录监听触发模式。数据库触发器对于支持触发器的数据厍,可以米用触发器触发模式,原始数据的任何变化都可以触发接入动作,实现即时的数据接入。■数据库轮询对于不支持触发器、数据采集时间受限制(如:白天的上下午不能影响业务
- 2020-11-02下载
- 积分：1
遗传算法和遗传规划
关于遗传算法的详尽介绍，对于遗传算法中各个模块的参数进行解析，窥视遗传算法的核心部分，对于遗传算法模式定理的深入解析，及由模式定理产生的启迪思想，能够让你更好的理解遗传算法！遗传算法和遗传规划种搜索寻优技术云庆夏黄光球王战权编著冶金工业出版社1597内容筒介遗传算法和遗传规划是一种新兴的搜索优技术。它们仿效生物的进化与遗传,根据“优胜劣汰”原则,使所要解决的问题从初始解一步步地近最优解。本书全面介绍了传算法和遗传规划的基本知识、基本理论和基本技术。全书共分五章,即绪论,遗传算法、遗传规划、遗传算法的应用、邀传就划的应用。本书的特点是深入浅出,可适应不同层欢读者的受求符别适合于工程技术人员、科研人员阅读,也可作为大专院校的教材或参考书图书在版编目(CIP)数据遗传算法和遗传规划/云庆夏等编著.北京:冶金工业出版社,1997,4ISBN7-5024-1983-7I.遗…I.最优搜索Ⅳ.0229中国版本图书馆CP数据核字(97)第07684号日版人卿启云(北京沙摊黄祝院北巷39号,邮编L0009资任编辑田锋赍任校对杨力北京昌平长城印刷「印刷;冶金工业出版社发行;各地新华书经销1997年4月第1版,1997年4月第1收印刷850mm×1168mm1/32;5.25印张;139千字;160页;1-1250册5元前遗传算法( Genetic Algorithm)和遗传规划( Genetic Prograrmming)是一种新兴的搜索寻优技术。它们仿效生物的进化与遗传,根据“生存竞争”和“忧胜劣汰”的原则,借助复制、交换、突变等操作,使所要解决的问题从初始解一步步地逼近最优解。因此,这两种方法又被称为进化计算遗传算法是以单一字符串的形式描述所研究的问题,遗传规划则是用计算机程序的层次格式反映题。前者简单易行,后者适用于各种复杂的间题。遗传规划常常被译作“遗传程序设计它很容易被误解为关于遗传算法的计算机编程技术,因此本书称之为遗传规划无论是遗传算法或遗传规划,在国外已得到广泛应用,它们特别适合解决其它科学技术无法解决或难以解决的复杂间题,如结构优化、非线性优化、机器学习等,是继专家系统、人工神经网络之后又一受人青睐的新学科。我国在这方面的研究和应用方兴未艾,由于缺乏有关这一学科的普及读物,严重影响它们在我国的推和发展。为此,作者根据自己近年来的研究及国内外有关论著编写本书,其目的在于向各专业本科生、研究生及广大工程技术人员全面介绍遗传算法和遗传规划的基本知识、基本理论和基本技术,使这一学科在我国得到莲勃的发展书共分5章:第1章是全书的概述。本章通过两个示例揭示遗传算法和遗传规划的特征。第2章全面介绍遗传算法的基本原理。它包括方法步骤、计算机理及各种算子,其中模式理论是遗传算法的理论基础第3章全面介绍遗传规划的基本原理及各种算子,其中有些法可推广用于遗传算法中。第4章是关于遗传算法的应用情况,限于篇幅这里只介绍四个方面的应用。第5章通过四个领域中的应用,介绍遗传规划的应用情况。本书由西安建筑科技大学云庆夏、黄光球、王战权编著,毋建宏参加本书的校对工作。限于作者水平,书中缺点和错误在所难免,恳请读者批评指作者996.10目录绪论會■早■司鲁郾■曾鲁■血會白■■■申■■■白·會中■會自『會自申■■早中“■鲁曾會『■會罩1■■血『■■■■口1.1生物的进化与遗传曾曾忄·■中中中■1q自『鲁·曾『曾中■中早看产q會會■卓會2遗传算法示例1.3遗传算法秆遗传规划的特征山·■山4哂自西101.4历史回顏与展望…162遗传算法………2.1遗传算法的实施■昏■鲁■212.2模式理论………………,…………322.3遗传算法的算子503遗传规划P山口血詈■■q血■■"口■画甲■■■t■■由口b■晋■口■■白d督甘晋鲁血甲583.1概述如卓●刂昏卓昌甲甲卓●口●昏甲即4甲罍歌●ψ··ψ斷●■■司P●■歌白■島看583.2遗传规划基本原理舂ψ·咖■●自●↓··●■■■仙●■■晕司■·■讠;●■卧看■683.3辅助算子……………………………………………803,4控制参数……853.5模式理论…864遗传算法的应用■894.1概述………………894.2遗传算法在结构优化中应用……se3遗传算法在非线性优化中的应用9644遗传算法在输电系统规划中的应用………………101基于漶传算法的机器学习系统■■口■中白■■■ψ··卩自■195传规划的应用4●■■中自■●中■鲁晋■甲卓晋●画昏斷卩■■顰斷『甚日■口斷1231遗传规划在符号回归中的应用5.2最优控制……………………………………13853人工蚂蚁问题……14754布尔复合算子………………………………………153参文献■司■■司■■■■●『■·冒………4160I1绪论11生物的进化与传遗传算法和遗传规划是受生物进化学说和遗传学说的启发而发展起来的。因此,有必要首先简单回顾生物学的有关内容,以便深入了解遗传算法和遗传规划的本来面貌。不过,读者也可以跳过本节直接阅读下一节1】.1生物的进化地球上的生物,都是经过长期进化而形成的。解释生物进化的学说,主要是达尔文的自然选择学说。该学说的主要内容为:(1)不断繁殖。地球上的生物具有很强的繁殖能力,能产生许多后代。(2)生存竞争。生物的不断繁殖使后代的数目大量增加,而在自然界中生物赖以生存的资源是有限的。因此,为了生存,生物就需要竞争3)适者生存。生物在生存竞争中,根据对环境的适应能力,适者生存,不适者消亡,这是自然选择的结果。4〉遗传和变异。生暂在繁殖过程中,通过遗传,使物种保持相似。与此同时,由于变异,物种会产生差剜,甚至形成新物遗传算法和遗传规划,就是借用生物进化的规律,通过繁殖、遗传、变异、竞争,实现优胜劣汰,一步一步地逼近问题的最优解。因此,它们又被称为进化计算( Evolutionary Computation)。1.z细胞、染色体与DNA1.i.2.1细胞细胞是生物结构和功能的基本单位。细胞通常由细胞膜、细胞质与细胞核三部分组成。细胞膜是细胞最外面的一层薄膜,它把细胞内的物质与外界分隔,起到保护细胞的作用。细胞质是介于细胞膜和细胞核之间的原生质,是透明的胶状物。细胞核是细跑的最内层,是遗传物质贮存和复制的场所。细胞核由核膜、染色质、核液组成11.2.2染色体细胞核中的染色质是一些容易被碱性染料染成深色的物质。逍常,染色质为细长的丝,交织成网状。在细胞分裂期,细胞核内长丝状的染色质高度螺旋化,缩短变粗,形成光学显微镋可以看见的染色体。因此,染色体是染色质在细胞分裂时的一种待殊表现。1.1.2.3DNA染色体主要由蛋白质和DNA组成。DNA又称脱氧核糖核酸,是灬种高分子化合物。组成它的基本单位是脱氧核苷酸,后者又由磷酸、脱氧核糖和含氮碱基三者组成。DNA含四种含氮碱基,即:腺嘌呤(A)、鸟嘌呤〔G)、胞嘧啶(C〉和胸腺嘧啶T)。DNA的结构是有规则的双螺旋结构,由两条平行的脱氧核苷酸长链盘旋而成,两条链上的碱基通过氢链连结起来,形成碱基对。碱基对只有两种配对方式:A与T配对,C与G配对1.13生物的遗传与变异1.1.3.1传物质生物上下代之间传递遗传信息的物质,称作遗传物质。绝大多数生物的遗传物质是1NA。由于细胞里的DNA大部分在染色体上,因此,遗传物质的主要载体是染色体。生物所以具有遗传现象,是与遗传物质DNA分子的复制有关系的,DNA分子的复制过程始图1-1所示。首先,DNA的两股双螺旋链分离开。然后,以解开的毎股链(母链)为模板,按照碱基互补配对原则,合成出与母链互补的子链。新生成的子链不浙延伸,与相应的母链互相盘绕组成螺旋结构,形成一个新的DNA分子。这样,一个DNA分子就形成两个DNA分子,每条链的碱基序列都和祖体相同,使亲代的遗传信息传递给子代0[j[G】R◇c3OK CH干篮链图1-1DNA分子复制l一解旋:2—碱基配对;3—形成新DNA分子◇一脱氬核糖;一磷酸11.3.2基因基因是控制生物遗传的物质单元,它是有遗传效应的DNA片段。每个基因含有成百上干个脱氧核苷酸。它们在染色体上呈线性排列,这种排列顺序就代表遗传信息
- 2020-12-09下载
- 积分：1
|
联系客服（QQ：3324461878）
