华为FusionInsight HD 2.7 技术白皮书.pdf
华为FusionInsight HD 2.7 技术白皮书，详细介绍了华为版Hadoop的各个组件功能。华为FusionInsight是华为企业级大数据存储、查询、分析的统一平台。华为 Fusionlnsight hd27技术白皮书日录目录1简介…1.1 Fusionlnsight hD概述1.2 FusionInsight HD组件介绍.2重点组件介绍52.集群管理 Manager622分布式文件系统HDFS23统一资源管理和调度框架YARN24分布式批处理引擎 Mapreduce.25分布式数据库 HBase2.6数据仓库组件Hive27分布式内存计算引擎 Spark28全文检索组件Solr.29批量数据集成 Loader( Scoop)….122.10实时数据采集 Flume142.11流式事件处理( Storn)…2.11.1 Storm2.11.2 StreamCQL…2.11.3 Flink2.12分布式高速缓存 Redis2.|3分布式消息队列 Kafka2.14作业编排与调度 Oozie...........212.15数据继承入凵Hue文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书1简介简介1.1 FusionInsight HD概述1.2 FusionInsight hD组件介绍文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介11 FusionInsight hD概述FusionInsight是华为仝业级大数据存储、查询、分析的统一平台,能够帮助全业快速构建海量数据信息处理系统,通过对巨量信恳数据实吋与非实时的分析挖掘,发现全新价值点和企业商机应用层REST API数据服务明细影像推荐/伪控关系轨迹Data世像ServiceREST API/SQL/SDKloaderMe知认FormerManager数据分析Data Farm数据集成信数据挖识、服务框智慧配置管理性能管理告警管理数据处理发全管理DataoS hadoop Spark2 STORM(Flink LibrA租户管理灾备管理FusionInsigh解决方案由5个子产品 FusionInsight hD、 Fusioninsight libra、FusionInsight miner、 FusionInsight Farmer和1个操作运维系统 FusionInsight manager构成FusionInsight HD:企业级的大数据处理环境,是一个分布式数据处理系统,对外提供大容量的数据存储、分析查询和实时流式数据处理分析能力。usionInsight HD包括 Zookeeper、 Hadoop、 HBase、 Loader、 HBase、Hive、Hue、 Oozie、 Phoenix、Solr、 Redis、 Spark、 Streaming、 Kafka、E、 Flink等组件。FusionInsight miner:个业级的数据分析平台,基于华为 FusionInsight hd的分布式存储和并行计算技术,提供从海量数据中挖掘出价值信息的平台。FusionInsight Farmer:企业级的大数据应用容器,为企业业务提供统一开发、运行和管埋的平台。Fusionlnsight Manager:企业级大数据的操作运维提供,提供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检査、问题定位、升级和补丁等功能FusionInsight librA:企业级的MPP关系型数据库,基于列存储和MPP架构,是为面向结构化数据分析而设计开发的,能够有效处理PB级别的数据量。 FusionInsightLibrA在核心技术上跟传统数据库有巨大差别,可以解决很多行业用户的数据处理性能问题,可以为超大规模数据管理提供高性价比的通用计算平台,并可用于支撑各类数据仓库系统、BⅠ( Business intelligence)系统和决策支持系统,统一为上层应用的决策分析等提供服务。文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介12 FusionInsight hD组件介绍数招外析数据集成菜群理款据挖握数据挖掘处理Mahout(on MRMI I ib(on Spark)ahx款什理作业调应DSL领域描述语U。2e枇处互询KV面流式杏诈HiveparksQLRedisStreamcQL批量分市式计算引Loade故障管卫七处理流处理附件处理MapReduceFlinkstorm实时采性能管理分布式资源管Y消思队列安仝售翅Kalka分布式存储雪NOSQL数招库按素引≤QL行惴格式租户管理上传下载FtnonHDFSOROPalyueLCai bun De莫分布式文件系统备份曾理HDFSFusionInsight hd需要对廾源组件进行封裝和增强,对外提供稳定的大容量的数据存储、查询和分析能力。各自组件提供功能如下Manager:作为运维系统,为 I FusionInsight hD提供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装/级/补丁、配置管理、监控管理、告警管理、用户管理、租户管理等。HDFS: Hadoop分布式文件系统( Hadoop Distributed File System),提供高吞吐量的数据访问,适合大规模数据集方面的应用。HBase:提供海量数据存储功能,是一种构建在HDFS之上的分布式、面向列的存储系统。Oozie:提供了对开源 Hadoop组件的任务编排、执行的功能。以 Java Web应用程序的形式运行在 Java servlet容器(如: Tomcat)中,并使用数据库来存储工作流定义、当前运行的工作流实例(含实例的状态和变量)。Zookeeper:提供分布式、高可用性的协调服务能力。帮助系统遷免单点故障,从而建立可靠的应用程序Redis:提供基于内存的高性能分布式KV缓存系统。Yarn: Hadoop2.0中的資源管理系统,它是一个通用的资源模块,可以为各类应用程序进行资源管理和调度。Mapreduce:提供快速并行处理大量数据的能力,是一种分布式数据处理模式和执行环境。Spark:基于内存进行计算的分布式计算架Hive:建立在 Hadoop基础上的井源的数据仓库,提供类似SQL的HⅤeQL语言操作结构化数据存储服务和基本的数据分析服务。Loader:基 J Apache Scoop实巩 FusionInsight hD与关系型数据库、p/sp文件服务器之间数据批量导入导出工具:同时提供 Java api/ shell!务调度接口,供第三方调度平台调用。●Hue:提供了开源 Hadoop绀件的 WebUI,可以通过浏览器操作HDFS的目录和文件,调用 Oozie米创建、监控和编排工作流,可操作 Loader组件,査看Zo< eeper集群情况。文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介Flume:一个分布式、可靠和高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Fume提供对数据进行简单处理,并写入各种数据接受方(可定制)的能力。●Solr:一个髙性能,基于 Lucene的全文检索服务器。Solr对 Lucene进行了扩展,提供比 Lucene更为肀富的查询语言,同时实现」可配置、可扩展,并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文检索引擎Kafka:一个分布式的、分区的、多副本的实时消息发布-订阅系统。提供可护展、扃吞吐、低延迟、高可靠的消息分发服务Storm:一个分布式、可靠、容错的实时流式数据处理的系统,并提供类SQLtreaInCQL)的查询语言Fink:分布式的、高可用的、能保证 Exactly Once语义的针对流数据和批数据的处理引擎SparkSQL:基于 Spark引擎的高性能SQL引擎,可与Hive实现元数据共享。Mahaut:提供基于 Mapreduce的数据挖掘算法库MLLib:提供基于 Spark的数据挖掘算法库phx:提供基于 Spark的图处理算法库文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍2重点组件介绍21集群管理 Manager22分布式文件系统HDFS2.3统一资源管理和调度框架YARN24分布式批处理引擎 MapReduce2.5分布式数据库 HBase2.6数据仓库组件Hive27分布式内存计算引擎 Spark28全文检索组件Solr2.9批量数据集成 Loader( Scoop)210实时数据采集 Flume2.ll流式事件处理( Storm)212分布式高速缓存 Redis213分布式消息队列 Kafka2.14作业编排与调度 Oozie2.15数据继承入口Hue文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍21集群管理 ManagerManager是 FusionInsight H的运维管理系统,为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的安裝部署、性能监控、告警、用户管理、权限管理、审计、服务管理、健康检査、日志采集、升级和补丁等功能图2-1 Manager逻辑架构w已妇UP SereIAMCEPPMS匚就动aLdapOM M AgentNode AgentNTP ClerDHTLFusionInsight ManagerFusionInsight Manager由OMS和 NodeAgent组成:●OMS:操作维护系统的管理节点,OMS·般有两个,互为主备。NodeAgen:操作维护系统中的所有被管理节点,每个节点上一个。表2-1业务模块说明模块名称描述Web Service是一个部署在 Tomcat下的web服务,提供 Manager的htts:接口,用于通过浏览器访问 Manager。同时还提供基于 Syslog和SNMP协议的北向接入能力ControllerManager的控制中心,负责汇聚来自集群中所有节点的信息,统一问管理员展示,以及负责接收来自管理员的操作指令,并且依据操作指令所影响的范围,向集群的所有相关节点同步信息nodeAgent存在于每一个集群节点,是 Controller对部署在该节点上组件做切操作的代理。代表本节点上部署的所有组件与 Controller交互,实现整个集群多点到单点的汇聚IAM负责记录审计日志。在 Manager的U上每一个非查询类操作,都有对应的审计日志文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍模块名称描述PMS性能监控模块,搜集每一个OMA上的性能监控数据并提供査询CEP汇聚功能模块。比如将所有OMA上的磁盘已用空间汇总成一个性能指标FMS告警模块,搜集每一个OMA上的告警并提供查询OMMAgent各节点上面性能监控和告警的Agen,负责收集该 Agent Node上的性能监控数据和告警数据CAS统一认证中心,登录 Web service时需要在CAS进行脊录认证,浏览器通过URL自动跳转访问CASAOS权限管理模块,管理用户和用户组的权限OMS Kerberos提供单点登录及 Controller与 Nodc agent间认证的功能OMS Ldap在集群安装前为用广认证提供数据仔储,在集群安装后作为集群中Ldap的备份DatabaseManager的数据库,负责存储配置、监控、告警等信息NTP负责集群内部各节点与OMS节点之向的时钟同步和OMS节点与外部时钟源之间的时钟同步。22分布式文件系统HDFSHDFS是 Hadoop的分布式文件系统,实现大规模数据叮靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在现有文件之后的添加操作。HDHS保证一个文件在个时刻只被一个调用者执行写操作,而可以被多个调用者执行读操作。图2-2分布式文件系统HDFSHDFS ArchitectureMetadata(Name, re)Metadata. opsNamenode/home/foo/data. 3Black opsRead DatanodesDatanodesReplicationBlocksRack 1WriteRack 2文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司
- 2020-12-07下载
- 积分：1
(光芒104)铁路电力远动设备及系统传输规约_20110727
与铁总运[2015]88号中国铁路总公司关于印发《铁路供电远动系统（SCADA）主站暂行技术条件》的通知.pdf一致成都交大光芒实业有限公司目录目求前范围市市·············,····,·······中·············,,··2规范性引用文件…….83帧格式应用规约数据单元信息定义交长定长应用规约控制信息的定义应用服务数据单元()的结构类型标识可变结构限定词传送原因应用服务数据单元公共地止信息对象地址信息元素错误!未定义书签。4互操作性一选择的参数22系统定义网络配置物理层链路层应用层位用数据的传输模式传送原因数据长度的选集类型标识形作输原因分配4.6基本应用功能5对象定义35在监视方向上的过程信息在控制方向上的过程信息在监视方向上的系统命令在控制方向上的系统命令在控制方向上的参数命令文件传输6特定应用数据单元(ASDU的定义和表示39在监视方向上的应用服务数据单元(过程信息不带时标的单点信息不带时标的双点信息不带时标的步位置信息测量值规一化值测量值标度化值测量值短浮点数计量带时标的单点信息带时标的双点信息情时标的步位置信息测量值带时标的规一化值测量值带时标的标度化值客运专线综合系统远动设备及系统传输规约详细描述本文件版权归成都交大光芑实业有限公司所有。未经授权,请勿复制或传播。成都交大光芒实业有限公司测量值带时标的短浮点数带相对时标的故障报告带相对时标的事件报告系统命令初始化结束在控制方向上的应用服务数据单元()过程信息带时标的双命令带时标的步调节命令系统命召唤命令计数量召唤命令时钟同步命令文作传输文件准备就绪节准备就绪召唤日录选择文件召唤文件召唤节最后的节最后的段认可文件认可节传送段传送目录参数命令继保装置整定值命令多点参数设定命令多点参数设定命令多点参数设定命令7基本应用功能05站初始化过程应用层报文站总召唤过程应用层报文累计量传输过程应用层报文时钟同步过程应用层报文突发传送更新测量值过程应用层报文史新开关量过程应用层报文故停报片过程应用层报文寡件报告过程应用层报文命令传输以双命令方式发送遥控选择执行命令过程应用层报文以双命令方式发送递控执行命令过程客运专线综合系统远动设备及系统传输规约详细描述本文件版权归成都交大光芑实业有限公司所有。未经授权,请勿复制或传播。成都交大光芒实业有限公司应用层报文以积命令方式发送递控进择撤销阶令过程应用层报文以双命令方式发送福控微销命令销误!未定义书签过程错误!未定义书签应用层报文错误!未定义书签。发送步位凋艿命令过程应用层报文列放障报告过程应用层报文召扰动数据过程应用层报文参数装载继保护装置定值过程应用层报文参教设定过程应用层报文文件传输过程应用层报文8ASDU优先级定义1669多控制站的链路冗余………………,………,16710信息对象地址及组号分配········.······::::····················::·······.·············::····:·.···········168信息对象地址组号分配客运专线综合系统远动设备及系统传输规约详细描述本文件版权归成都交大光芑实业有限公司所有。未经授权,请勿复制或传播。成都交大光芒实业有限公司前言国际电工委员会年出版系列标准以来,得到了广泛应用,为适应网终传输,年出版了。为了规范上述标准在国内的应用,全国电力系统控制及其通信标准化技术委员会指定并颁布了相应的电力行业标准。近年米,上述标准在铁路牵引供电远动系统电力配电远动系统得到了广泛应用,但鉴于上述标准在自定义数据传输上仅定义了指导原则,在铁路电丿远动系统中仍然存在自定义数据传输不规范的问题,因此针对铁路电力远动系统的应用业务,特制定此规范标准客运专线综合系统远动设备及系统传输规约详细描述本文件版权归成都交大光芑实业有限公司所有。未经授权,请勿复制或传播。成都交大光芒实业有限公司范围本标准适用亍具冇网络接凵传输的远动设备和系统,用以对地理广`域过程的监视和控制。制定本远动配套标准的日的是使兼容的铁路牵引供电和电力配电远动设备之间达到互操作木配套标准利用了国际标准的系列文件,木标准规定了的应用层与提供的传输功能的结合。在框架内,可以运用不同的网络类型,包括帧中继异步传输模式、(同步数字体系)和综合服务数据网络。根据相同的定义,不同的包括全部配套标准例如所定义的可以与相结合本标准规定了铁路牵引供电和电力配电远动设备屮主站和子站远动终端之间以平衡方式进行数据传输的规约结构、帧格式、选取、互操作性定义、对象定义、应用功能、链路冗氽、多控制站冗余切机制。客运专线综合系统远动设备及系统传输规约详细描述本文件版权归成都交大光芑实业有限公司所有。未经授权,请勿复制或传播。成都交大光芒实业有限公司规范性引用文件下列标准所包含的条文,通过在本标准中引用而构成本标准的条文。本标准出版吋,所示版本均为有效。所有标准都会被修订,使用本标准的各方应探讨使用下列标准最新版本的可能性远动设备与系统—第部分传输规约一第篇:应用数据的一般结构远动设备与系统—第部分传输规约一第篇:应用信息元素的定义和编码远动设备与系统—第部分传输规约一第篇:基本应用功能远动设备与系统一第部分传输规约一第篇:基本远动任务的配套标准远动设备与系统一第部分传输规约一第篇:电力系统电能累计量传输规约的配套标准建议,数据终端设备与数据通信设备的接口,用于工作在包模式下,以及通过专用电路与共用数据网相连接的终端信息技术电讯与系统间信息交换局域网与城域网特殊要求第部分载波侦听与冲突检测访问方法与物理层规范互联网协议,评判请求,传输控制协议,评判请求,以太网上的互联网协议,点对点协议帧上的,赋值,评判请求,互联网正式协议标准集,评判请求客运专线综合系统远动设备及系统传输规约详细描述本文件版权归成都交大光芑实业有限公司所有。未经授权,请勿复制或传播。成都交大光芒实业有限公司帧格式应用规约数据单元信息定义以下使用的缩略语在和中有详细描述::应用规约控制信息:应用服务数据单元:应用规约数据单元变长帧起动字符长度最大,控制域八位位组控制域八位位组控制域八位位组长度控制域八位位组和定义的图应用梯约数据单元格式定长帧起动字符长度控制域八位位组控制域八位位组长度控制域八位位组控制域八位位组图应用规约控制信息格式客运专线综合系统远动设备及系统传输规约详细描述本文件版权归成都交大光芑实业有限公司所有。未经授权,请勿复制或传播。成都交大光芒实业有限公司启动字符定义了数据流中的起点。的长度域定义了体的长度,它包括的四个控制域八位位组和个被计数的八位位组是控制域的第一个八位位组,最后一个被计数的八位位组是个八位位组。的最人长度限制在以内,因为域的最人长度是(第后最的最大值减去启动和长度八位位组),控制域的长度是个八位位组。控制域定义了保护报文不至丟失和重复传送的控制信息,报文传输启动停止,以及传输连接的监视等。控制域的计数器机制是根据标准屮推荐的至来定义的。应用规约控制信息的定义三科类型的控制域格式用于编号的信息传输格式,编号的监视功能格式和未编号的控制功能格式。编号的信息传输格式类犁格式变长帧控制域第一个八位位组的第一位比特定义了格式,格式的常常包含一个。格式的控制信息如图所示比特发送序列号八位位组发送序列号八位位组接收序列号八位位组接收序列号八位位组图编导的信息传物格式类型(格式)的控制城编号的监视功能类型格式定长唢控制域第一个八位位组的第一位比特并且第二位比特定义了格式格式的只包括格式的控制信息如图所示比特八位位组八位位组接收序列号八位位组接收序列号八位位组图编号的监视功胎类型(格式)的控制城未编号的控制功能类型格式定长帧控制域第一个八位位组的第一位比特并且第二位比特定义了格式。格式的只包括格式的控制信息如图所示。在同吋刻,或中只有一个功能可以被激活客运专线综合系统远动设备及系统传输规约详细描述本文件版权归成都交大光芑实业有限公司所有。未经授权,请勿复制或传播。
- 2020-12-10下载
- 积分：1
