-
modbus tcp/rtu 基于C#的源码实现(老外的源码)
ModBus-Modbus是由Modicon(现为施耐德电气公司的一个品牌)在1979年发明的,是全球第一个真正用于工业现场的总线协议。ModBus网络是一个工业通信系统,由带智能终端的可...
- 2020-12-07下载
- 积分：1
-
最小均方误差均衡器的Matlab仿真设计
最小均方误差均衡器的Matlab仿真设计，系统介绍如何进行最小均方差的理论介绍
- 2020-11-06下载
- 积分：1
-
遗传算法和贪婪算法结合解决背包问题，matlab程序
本算法用遗传算法和贪婪算法解决了背包问题，产生解得方法用贪婪算法，然后引入了一个错解的修复算法，搜索的时候用遗传算法。保证了快速收敛和解的完备性。包含源程序，算法介绍以及一份详细的报告，希望对读者有很大的帮助
- 2020-07-01下载
- 积分：1
-
小型网络游戏实例（vc++）——网络五子棋
小型网络游戏实例（vc++）——网络五子棋
- 2020-12-10下载
- 积分：1
-
压缩感知OMP算法代码
压缩感知OMP算法代码压缩感知OMP算法代码压缩感知OMP算法代码
- 2020-12-01下载
- 积分：1
-
数据共享交换平台产品白皮书
数据共享交换平台产品白皮书,实现核心业务应用之间的数据集成管理，设计数据平台系统的应用架构视图，加强数据服务及安全管理意识，通过标准、规范的技术路线对外提供统一接口服务。Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书目录服务安全支认证(信息资源目录管理、儿数据管掉服务网关理,导航服务)CaGR户数据交换平台 CenDXS数将式转确业务流程管理BPM管理控制流程定制、规则引擎)数据转换Message broker管理运行安全接口WebServices状态流程计企业服务总线ESB题数/分析路由服务 Routing services转换服务安全服务日志管理基内的点对点Plsb协议转换格式转换OMLFileauston)运行管理解密」[。地程后动/停止适配器服务消息通讯服务数据各份恢复同步/异步通信存储转发可靠传输逻地址与网络地址转换组件/厘务/系统多应次编码/解码加密解密调用身份验证签名断点续传分块传输序列化/反序列化负载均衡管理Qeue队列配置管理控制台配置维护发送接收传输服务适配器配置维护(可视化配置向导HTtP/ITpsiToP pMi File FtP Socket Wtonglink Web ServiceaL配置文件)节点适配器软件分发更码的女燃部的x油)节点适配器远程安装Cer?P DrCenDXs数据交换平台技术架构图CendXs数据共享交换平台的主要功能包括(一)目录服务数捱共享交换平台的共享资源目录服务系统包含目录服务和目录资源两部分内容1)日录服务提供日录、元数据注册、发布、审核、修改、维护以及编目服务等相关内容;2)目录资源通过将现有各类资源(元数据)的合理分类,重组资源,并通过 XML Tree以资溟导航树的方式完成资源目录服务系统的开发建设工作。(二)交换服务数捱交换服务是数据共享交换平台的核心,数据交换服务包括六部分:路由服务、转换服务、安全服务、消息通讯服务、发送接收服务、接入服务1、路由服务路由服务可使用像业务名称这样的地址,在服务之问路由消息,控制消息的Censoft美村料技数件中关数据共享父换平台( CenDXS)严品口皮书存储和分发,并对每个消息启动正确的处理流程;实现欻据交换路由解析功能,可实现数据的多步多级传输。1)路由可以是显式的:使用输入数据提供的帚式地址或昳像中的显式地址2)路由服务也可以是基内容的:分析输入数据或输出数据的内容以确定需要在哪里对输出进行路由;3)基于主题的消息路由,支持发布订阅机制:主题是消息月的地的字符串描述,基于消息主题实现消息的路由,可有效地实现消息的发布和订阅,实现数据抽取、转换、加载与应用之间的松散耦合,使得数据交换平台具有良好的可扩展性。2、转换服务转换服务包括协议转换、格式转换、数据转换,通过转换解决交换节点间协议差别、异构、数据项差异等问题。1)协议转换在请求方和服务方之间进行协议转换,解决异构系统之间由于通讯协议不同而不能联互通的问题2)格式转换在请求方和服务方之间进行消息格式转换,解决异构系统之间由于数据描述方式不同而不能互联互通的问题,解决不同企业应用程序的本体和浯义的异类问题支持各种主流关系型数据库之间的数据交换,如 Oracle、 SQL ServerDB2、 Sybase、 Access、 MYSQL等。支持数据表名称和字段名称转换,可以实现不同表名、字段名的数据表之间的数据交换3)数据转换指邐过数据项定乂功能,实现选择源数据表的仝部数据接入或先择源薮据表的部分字段接入;筛选数据记录或定义接入条件,实现以有符合条件的数据记录才被接入数据交换平台。数据表转换的实际内容是数据记录的拆分、组合,数据交换平台通过主健定义,多转换关系表定乂等环节,实现各种记录处理。Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书表对·表交换数据交换平台可以实现基本的一个数据表到一个数据表的交换,并且在一对交换中支持一个源数据表的一个记录的不同字段在目标表中生成两条或多条记录表对多表交换数据交换平台可以支持“一对多”交换。实现一个源数据表中的一条记录的不同字段组合交换为多个目标表中的记录。■多表对一表交换数据交换平台可以支持“多对一”交换。实现多个源数据表中的数据记录组合转换为一个目标表中的一条记录。3、安全服务能够基于产品自带的安全服务功能,对敏感信息交换进行MD5、DES、SSL加密,根据数据加密应用途径进行交换信息内窄的加密(可逆或不可逆),保障数据交换传输过稈中的安全。同时还将具有数据合法性验证功能,能够对交换平台与应用系统之间以及交换系统之间的两类合法性验证,确保数据可信交换。4、消息通讯服务MQ消息通讯服务为数据共享交换平台提供强健的消息中间件基础平台,它的主要功能如下1)支持同步或异步通信同步处理是指每一步骤必须等待下一步骤完成后才能继续进行;异步处理建立在系统间异步、基于消息的交互上,基于“存储转发”或消息队列服务,采用“松散耦合”的方式连接,这使得分布式系统具有更髙的可用性和可伸缩性即时传输毕丁事件驱动,由系统运行时动态产生和控制的会话方式。对丁没有网终占用时段限制或要求实时传输数据的交换可以定义为即时传输模式,即时传输模式可以将接入数据即时发送到接收节点。定时传输山系统定时器根据预设的定时策略产生和控制的会话方式。对于有网终占用时段限制或不要求实时传输数据的交换可以定义为定时传输模式,定时传输模式Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书可以在指定吋间将接入数据发送到接收节点。即时传输模式支持定点传输和指定间隔时间轮询启动传输■手工启动传输糸统运行时由用户手工产生和控制的会话方式。2)支持多种传输模式数据交换平台支持多种方式的数据分发,即可实现基于交换服务器的一对一的队列传输和一对多的发布订阅传输,也支持两个适配器的直接消息传输■订阅平台基于主题的消息路由,支持发布订阋机制:主题是消息目的地的字符串揹述,基于消息主题实现消息的路由,可有效地实现消息的发布和订阅,实现数据抽取、转换、加载与应用之间的松散耦合,使得数据交换平台具有良好的可扩展性队列平台支持队列方式,方便实现一点对一点的数据传输3)支持多通讯模式支持数据的发布/订阅、请求/应答通信模式;发布/订阅通信模式完全是一种“推”(Push)的技术;而请求/应答通信模式是对传统 Client/Server通信模式的支持,即支持“拉”(Pu〕技术。用户可以根据具体应用的信息处理流蓕来选择合适的信模式。推:点到点或点到多点的主动信息推送方式拉:点到点或点到多点的破动信息获取方式组播:在一个域或群组范围内的多点群发方式4)可靠传输支持断点续传、分块传输;保证消息传输一次且仅需传输一次,确保数据可靠传送。当以主题发布消息时,保证每个订阅者都可以接受到消息,而且每个订阅者只能接受一次。另外,由于发布老产生的消息是按时间顺序放在相当士队列的消息队列表中,可以保证按消息产生的时间序列依次发送,司样,也按时间序列接受和处理消息,所以,整个架构不仅可保证消息传递的可靠性而且可保证消思处理的时序性Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书5)事务支持发送方只有成功地发送消息时,才删除消息队列中的消息,否则回滚事务;只有在受到接收方确认消息( Point/ Point时)或所有订阅者确认消总( Publish/ Subscriber时)之后,才删除持久性存储的消息:接攻适酤器只有成功地将消息映像到目标数据库后,才给消息通讯服务器发送确认消息。6)解码/编码将数据转换到与数据交换平台相同的代码页,编码服务则可将输出数据的字符集编码为系统的代码页。7)数据压缩/加密解密攴持数据传输过程中的数据压缩伽加密处理,保证数据传输安全8)序列化/反序列化序列化服务获取输出数据结构并将其序列化到可通过网络传输的纯文本文件中,反序列化服务执行相反的操作。9)地址转换在分配给集成服务目的地的逻辑业务地址与网终协议所需要的网终坦址间转换。5、发送接收传输服务执行数据的传输或接收,提供JMS、 Webservices、FTP、 Http/httPs、IOP、RMI、rile、 Socket等多种方式数据传输。6、接入服务数捱共亨交换平台的接入包括采集接入(相关单位到中心基础数据库)和共亨接入(中心基础数据库到相关咩位),数据接入功能提供可视化配置与管理,支持多种接入方式和接入模式,支持基丁元数据的可视化数据接入1)接入方式数摭共享交换平台支持多种接入方式,接入方式包括中闫薮据表接入、原始系统表接入、文件目录树接入、 Web services接入、文解析接入、数搪表单接入等。可根据不同需要配置各种接入方式。中间数据表接入对于可以推送交换数据的节点,可采用肀间表接入方式接入,这种方式最简Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书单,接凵界面清晰,利于排查问题,并且可以保证原始系统不受交换平台的影响,保证原始系统数据的安仝。中旧薮据表接入方式即根据实际业务需要,定义所需交换数据的表结构,建立接口数据表,原始应用系统负责向接口表肀传送需要的数据,交换丬台负责将接口表中的数据交换到目标节点中叵数据表接入方式要求原始应用系统提供数据推送服务,每个接入节点的实施将有一定的工作量。■原始系统表接入对于不可以推送交换数据并对数据共享交换平台信仁的节点,可采用原始系统表接入方式接入,这种方式比较复杂,接口界面不清昕,不利于排查问题,并且涉及到原始系统数据库会受交换平台一定影响,要靠严格的授权机制来保证原始系统数据的安全原始系统表接入方式即根据实际业务需要,在原始应用系统数据表中沅择需要的数据项,自接交换到目标节点原妒系统表接入方式不要求原始应用系统提供数据推送服务,每个接入节点的实施工作量很小,可以方便的增加、减少数据表和数据项,但是需提供完整的原始系统表结构说明。文件目录树接入平台提供文件目录接入功能,可实现各节点间指定目录节点中文件的传输和同步,这种方式可简单的实现两台服务器间目录文件的同步。■ Web service接入平台提供 Web services接入接口,原始系统可通过调用 Web services接口将数据推送到交换平台,同时,交换平台也提供 Web services调用功能,通过调用原始系统的 Web services服务获得数据■文件解析接入平台提供文件解析接入功能,将系统或者其它方式生成的 Excel TXT、PDFDOC等各类格式的数据文件解析入库,再以数据库的方式交换。■数据表单接入为用户提供数据表单,用户直接在表单上输入数据,提交后系统直接入库并Censoft美村料技数件中关数据共享全换平台( CenDXS)产品口皮书传输。■GIS数据接入平台支持GIS数据的交换,GIS数据库中将存在Tab空间图像数据,平台将库中图像数据定义为标准的二走制数据文件(以 Blob Clob等模式通过底层二进制完成存储转发),借助JMS消息完成数据的交换服务■适配器模板服务接口数捱共亨交换平台能在以上各类通用接口的基础上,提供数据交换服务适配器模板,用户可根据模板形成特殊数据交换服务适配器组件的开发和使用2)接入适配器系统通过丰富约内置适配器和组件攴持上述的多种接入方式,各种适配器和组件的功能如适配器服务组件适配器/服务组件描述名称可监听多个文件月录;文件发送日志记录、查询;文件发文件发送适配器送回执的记录、查询;根据监听目录的不同,发送到不同的主题或队列上可同时监听不同的主题或队列;向发送方发送回执;文件文件接收适配器接收日志记录、查询。Excl文件解析适自动完成 Excel文件的解析和入库处理配器PDF文件解析适配自动完成PDF文件的解析和入库处理器TEXT文件解析适自动完成TEXT文件的解析和入库处理配器支持 Oracle、DB2、 MS SQL Server、 Sybase、 MySQL等多种主流数据库类型;自动生成和创建数据库接凵表、主键、数据库发送适配器索引;批处理(次可传送多条数据库纪录)的支持;支持非结构亿数据和大字段数据的处理8Censofit中美村斜技数件中关数据共亨父换平台( CenDXS)产品口皮书支持 Oracle、DB2、 MS SQL SErver、 Sybase、 MySQL等多种主流数据厍类型;自动生成和创建数据库接口表、主键据库接收适配器索引;批处理(一次可传送多条数据库纪录)的支持;支持非结构亿数据和大字段数据的处理专门为 CengrP门户CMS内容管理系统设计的适配器,可实坳不同蚱点、不同栏目之间的数捃传输、射、转换和CMS内容管理适同步功能。传输的模型可以是一个上级节点以主题的方式配器发布传输的栏日,多个下级节点以订阅的方式接受;也可以是不同节点(无论上级节点还是下级节点)之间的CMS数据的互相传接。专门为 CengrP门设计的适配器,通过 Portlet可调用门户适配组件CeIdXs数据交换服务。目录服务适配组件提供通过目录服务系统调用数据交换服务的接口适配组件Webservices服务提供数据交换Web服务接口、文件交换web服务接口等适配组件Web services服外适配组件JMS消息系统适配连接JMS消息系统组件提供 Http/httPs、FTP、 TCP Sockets、SOAP、RMI、SMS工具组件等多种协议接口工具组件,向应用系统发送请求或接收响3)触发模式数捱共亨交换平台对各种接入数据的传送触发提供三种模式:数据库触发器触发模式、数据库轮询触发模式、目录监听触发模式。数据库触发器对于支持触发器的数据厍,可以米用触发器触发模式,原始数据的任何变化都可以触发接入动作,实现即时的数据接入。■数据库轮询对于不支持触发器、数据采集时间受限制(如:白天的上下午不能影响业务
- 2020-11-02下载
- 积分：1
-
Observers in Control Systems
详细介绍了状态观测器及其在控制系统中的应用。Observers inControl SystemsA Practical guideGeorge ellisDanaher corporation4ACADEMIC PRESSAn imprint of elsevier ScienceAmsterdam Boston London New York Oxford ParisSan Diego San Francisco Singapore Sydney TokyoThis book is printed on acid-free paper ooCopyright 2002, Elsevier Science (USA)All rightsNo part of this publication may be reproduced or transmitted in any form or by anymeans, electronic or mechanical, including photocopy, recording, or any informationstorage and retrieval system, without permission in writing from the publisher. Requestsfor permission to make copies of any part of the work should be mailed to thefollowing address: Permissions Department, Harcourt, Inc, 6277 Sea Harbor DriveOrlando. Florida. 32887-6777.ACADEMIC PRESSAn imprint of Elsevier Science525 B Street, Suite 1900, San Diego, CA 92101-4495, USAhttp://www.academicpress.comAcademic pr84 Theobalds Road. London WCIX 8RR. UKhttp://www.academicpress.comLibrary of congress control Number: 2002104256International Standard book Number: 0-12-237472-XPrinted in the United States of america020304050607MB987654321TO Lee Ann, my loving wife, and our daughter Gretchen, who makes us both proud.Observers in Control Systems■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■Acknowledgments■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■Safety■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■1 Control Systems and the role of observers■■■■■■■■■■■■■■■■1.1 Overviewaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa1.2 Preview of observers21.3 Summary of the book2 Control-System Background52.1 Control-System Structures52.2 Goals of control systems132.3 Visual Model Simulation Environment2. 4 Software Experiments: Introduction to Visual ModelQ182.5 Exercises393 Review of the Frequency Domain.■■■■■■■■■■■■■■■■■■■■■■■■■■■■■3. 1 Overview of the s-domain413.2 Overview of the z-Domain543.3 The Open-Loop Method593.4 A Zone-Based Tuning Procedure623.5 Exercises664 The Luenberger observer: Correcting SensorProblems674. 1 What Is a luenberger observer?674.2 Experiments 4A-4C: Enhancing Stability with an Observer724.3 Predictor-Corrector Form of the Luenberger Observer774. 4 Filter Form of the luenberger observer. ..................................784.5 Designing a Luenberger observer824.6 Introduction to Tuning an observer compensator9047 Exercises955 The Luenberger Observer and Model Inaccuracy... 975.1 Model Inaccuracy.........….……,975.2 Effects of Model Inaccuracy .............................................1005.3 Experimental Evaluation1025.4 Exercises1146 The Luenberger observer and disturbances1156.1 Disturbances1156.2 Disturbance Response1236.3 Disturbance DecouplingIB..-.81296.4 Exercises1387 Noise in the Luenberger Observer…,,,…,,…,…,1417.1 Noise in Control Systems1417.2 Sensor noise and the luenberger observer1457.3 Noise Sensitivity when Using Disturbance Decoupling1567. 4 Reducing Noise Susceptibility in Observer-Based Systems1617.5 Exercises1708 Using the Luenberger Observer in Motion Control1738.1 The Luenberger observers in motion Systems1738.2 Observing Velocity to Reduce Phase Lag1858.3 Using observers to Improve Disturbance Response..... 2028.4 Exercises212Referencesn213A Observer-Based resolver conversion in industrialServo Systems1■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■217B Cures for mechanical resonance in IndustrialServo Systems227Introductionaaa日aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa日aaaaa.aaaaaaaaaaaaaaa日aa227TWo-Part Transfer function228LOW-Frequency Resonance229Velocity Control Law…...8....230Methods of Correction Applied to Low-Frequency Resonance231Conc| usion.…235Acknowledgments235References235C European Symbols for Block Diagrams237Part Linear functions237Part l: nonlinear functions238D Development of the bilinear transformation241Bilinear Transformation241Prewarning242Factoring polynomials243Phase Advancing………………………,243Solutions toChapter 2245Chapter 3245Chapter 4246Chapter 5重口m口m246Chapter 6247Chapter7.….B..8..8..8...248Chapter 8249Index251AcknowledgmentsWriting a book is a large task and requires support from numerous people, and thosepeople deserve thanks. First, I thank LeeAnn, my devoted wife of more than 20 yearsShe has been an unflagging fan, a counselor, and a demanding editor. She taught memuch of what I have managed to learn about how to express a thought in ink. Thanksto my mother who was sure I would grow into someone in whom she would be proudwhen facts should have dissuaded her Thanks also to my father for his insistence thatI obtain a college education; that privilege was denied to him, an intelligent man borninto a family of modest meansI am grateful for the education provided by Virginia Tech Go Hokies. The basicsof electrical engineering imparted to me over my years at school allowed me to graspthe concepts I apply regularly today. I am grateful to Mr. Emory Pace, a toughprofessor who led me through numerous calculus courses and, in doing so, gaveme the confidence on which I would rely throughout my college career and beyondI am especially grateful to Dr Charles Nunnally; having arrived at university froma successful career in industry, he provided my earliest exposure to the practicalapplication of the material I strove to learn. I also thank Dr robert lorenz of theUniversity of Wisconsin at Madison, who introduced me to observers some years agoHis instruction has been enlightening and practical. Several of his university coursesare available in video format and are recommended for those who would like toextend their knowledge of controls. In particular, readers should consider ME 746which presents observers and numerous other subjectsI thank those who reviewed the manuscript for this book. Special thanks goes toDan Carlson for his contributions to almost every chapter contained herein Thanksalso to Eric Berg for his numerous insights. Thanks to the people of KollmorgenCorporation(now, Danaher Corporation), my long-time employer, for their continuing support in writing this book. Finally, thanks to Academic Press, especially to JoelClaypool, my editor, for the opportunity to write this edition and for editing, printing, distributing, and performing the myriad other tasks required to publish a bookX1
- 2020-12-11下载
- 积分：1
-
Spark开发指南
Spark开发指南.pdf本书参考Spark官方文档和源码，通过本书你将精通Spark的安装、配置、开发、监控和调优。Apache SparkSpark是伯克利 APMLab实验室精心打造的,力图在算法( Algorithms)、机器( Machines)、人( People)之间通过大规模集成,来展现大数据应用旳一个平台,其核心引擎就是 Spark,其计算基础是弹性分布式数据集,也就是RDD。通过Spark, MPLab运用大数据、云计算、通信等各种源,以及各种灵活的技术方案,对海量不透明的数据进行甄別并转化为有用的信息,以供人们更好的理解世界。 Spark已经涉及到机器学习、数据挖掘、数据库、信息检索、自然语言处理和语音识别等多个领域。Sparp ecological environment陡着 spark的日趋完善, Spark以其优异的性能正逐渐成为下一个业界和学术界的开源大数据处理平台。随着 Spark1.1.0的发布和 Spark生态圈的不断扩大,可以预见在今后的一段吋间内, Spark将越来越火热。spak生态圈以Spa为核心引擎,以HDFS、S3、 Tachyon为持久层读写原生数据,以 Mesos、YARN和自身携带的Standalone作为资源管理器调度job,来完成spak应用程序的计算;而这些spak应用程序可以来源于不同的组件,如 Spark的批处理应用、 Spark Streaming的实时处理应用、 Spark sρL的即席查询、 BlinkDB的权衝查询、MLib或 MLbase的机器学习、 GraphX的图处理等等。更多的新信息请参看伯克利 APMLab实验室的项目进展htps:/ mplab. cS. berkeley. edu/projects或者 Spark峰会信息htp:/ spark-summit org。Spark Spark MLlib GraphXSQL Streaming(machine(graph)learningApache SparkSparkSpark是一个快速的通用大规模数据丛理系统,和 Hadoop MapReduce相比更好的容锆性和内存计算高速,在内存中运算100倍速度于 MapReduce易用,相同的应用程序代码量要比 MapReduce少25倍提供了丰富的AP支持互动和迭代程序Spark大数据平台之所以能日渐红火,得益于 Spark内核架构的优秀·提供了支持DAG图的分布式并行计算框架,减少多次计算之间中间结果O开销·提供 Cache机制来支持多次迭代计算或者数据共享,减少开销*·RDD之间维护了血统关系,一旦 RDD fail掉了,能通过父RDD自动重建,保证了容错性·, RDD Partition可以就近读取分布式文件系统中的数据块到各个节点内存中进行计算使用多线程池模型来减少task启动开稍shuffle过程中避免不必要的sor操作采用容错的、高可伸缩性的aka作为通讯框架SparkStreamingSparkstreaming是一个对实时数据流进行高通量、容锴处理的流式处理系统,可以对多种数据源(如Kdka、Fume、Twitter、zero和TCP套接字)进行类似map、 reduce、join、 window等复杂操作,并捋结果保存到外部文件系统、数据库或应用到实时仪表盘Sparkstreaming流式必理系统特点有捋流式计算分解成一系列短小的批处理作业将失败或者执行校慢的任务在其它节点上并行执行较强的容错能力(基于RDD继承关系 Lineage)使用和RDD一样的语义Spark SQLSpark SQL是一个即席查询系统,可以通过SQL表达式、 HiveQL或者 Scala dsl在 Spark上执行查询。Spark SQL的特点·引人了新的RDD类型 SchemaRDD,可以象传统数据库定义表一样来定义 SchemaRDD, SchemaRDD由定义了列数据类型的行对象构成。· SchemaRDD可以从RDD转换过来,也可以从 Parquet文件读入,也可以使用 Hive QL从Hve中获取·在应用程序中可以混合使用不同来源的数据,如可以将来自 HiveQL的数据和来自sQL的数据进行jn操作。·内嵌 catalys优化器对用户查询语句进行自动优化MLlibMLib是Spak实现一些常见的机器学习算法和实用程序,包括分类,回归,聚类,协同过滤,降维,以及底层GraphXGraphX是基于 Spark的图处理和图并行计算AP。 GraphX定义了一个新的概念:弹性分布式属性图,一个每个顶点和边都带有属性的定向多重图;并引人了三种核心RDD: Vertices、 Edges、 Triplets;还开放了一组基本操作(如 subgraph,joinvertices, and mapReduce Triplets),并且在不断的扩展图形算法和图形构建工具来筒化图分析工作生态圈的应用Spark生态圈以 Spark为核心、以RDD为基础,打造了一个基于内存DAG计算的大数据平台,为人们提供了一栈式的数据处理方奚。人们可以根据不同的汤景使月主要应用场景用户曲像的建立用户异常行为的发现社交网络关系洞察用户定向商品、活动推荐spak运维相关安装配置、监控等,请求参考《 Spark运维实战》graphiteum install -y bitmap bitmap-fonts-compat Django django-tagging fontconfig cairo python-devel python-memcachedpython-twisted pycairo mod python python-Idap python-simplejson memcached python-zope-interface mod wsgipython-sqlite2Spark BaseSpark开发环境Spark本身是由 scala语言开发的,提供了三种语雷接口: Scala、Java、 Python。根据自己的喜好可以使用相应语言的开发工具。本书使用 scala语言做为开发Spak应用的语,采用 Eclipse为主要的开发工具主要介绍了两个流行的开发工貝: Eclipse、 Intell IDEA。JDK安装配置下载官方网址:htp/www.oracle.com/technetwork/javaljavase/downloads/jdk7-downloads-1880260hml选择好操作系统版本,32位操作采统选择带j586的安装文件;64位操作系统选择菅×64的安装文件。Linux操作系统推荐下载 tar. gz格式的安装文件, Window当然也只有exe格式的文件。Linux下安装解压tar -zxvf jdk-7ug-linux-1586. tar. gz-C/opt/In-/opt/jdk170_09 /opt/jdk设置环境变量用ⅵ编辑配置文件:/etc/ profileexport JAVA HOME=/ pt/jdkexport CLASSPATH=$JAVA HOME/lib/dt jar: SJAVA HOME/lib/tools. jarexport PATH= $JAVA HOME/bin: s PATH保存退出按Esc然后输入Wq使配置生效source /etc/profileWindows下安装选择好操作系统版本是32还是64,解压双击进行安装一路下一步,便可安装成功。设置环境变量测试是否成功命合行输人Java -versIon如果出现下面提示说明成功
- 2020-12-01下载
- 积分：1
-
基于LABVIEW的TCP/IP网络通信程序
基于LABVIEW的TCP/IP网络通信程序，包括简单的点对点通信，交互式通信，和点对多通信实例
- 2020-12-06下载
- 积分：1
-
git工具git工具
git工具git工具git工具git工具git工具git工具git工具git工具git工具git工具
- 2020-12-02下载
- 积分：1
