登录
首页 » Others » STM32F103RCT6资料

STM32F103RCT6资料

于 2020-12-05 发布
0 217
下载积分: 1 下载次数: 2

代码说明:

包括STM32最小系统板封装库,STM32F103RCT6最小系统板原理图,STM32F103RCT6中文数据手册

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论


0 个回复

  • ATP-EMTP资料汇总(模型23个,手册及文献4个)
    个人在学习ATP-EMTP软件时总结收集的模型及资料汇总,希望能对初学者有所帮助
    2020-12-04下载
    积分:1
  • 基于STM32的GPS定位接收显示
    基于STM32的GPS信号接收处理,代码实现接收数据串口打印显示,或者通过液晶显示屏显示
    2020-11-04下载
    积分:1
  • 数字水印 经典代码
    数字水印的各种经典代码,有DCT、DWT、LSB、CDMA等算法。而且里面已经包含了素材,可以直接运行。
    2020-11-28下载
    积分:1
  • VS2010之MFC入门到精通教.pdf
    【实例简介】VS2010之MFC入门到精通教程的pdf 文档,一共305页数第一部分: VS2010/MFC 开发环境 VS2010/MFC 编程入门之前言 VS2010/MFC 编程入门之一( VS2010 与 MSDN 安装过程图解)
    2021-12-05 00:35:39下载
    积分:1
  • SpringBoot整合Mybatis(实例)
    SpringBoot整合Mybatis,可直接运行实例,并附有整合说明文档
    2020-12-07下载
    积分:1
  • pcie中文详解
    超级详细的pcie中文文档
    2020-11-03下载
    积分:1
  • 随机森林工具包RF_MexStandalone-v0.02-precompiled
    随机森林工具包RF_MexStandalone-v0.02-precompiled,已经通过编译,放置到matlab工具箱路径toolbox,设置路径到path调用函数即可实现随机森林回归和分类
    2020-12-08下载
    积分:1
  • 基于MATLAB的指纹识别系统设计
    基于MATLAB的指纹识别系统设计论文,具有一定参考价值,对毕业设计有用。基于 MATLAB的指纹识别系统设计AbstractBiometric technology has become one of the developing technologies for identityrecognition and network security. And fingerprint identification technology is now recognizedas one of the most safe. accurate and convenient authentication technologies and it is a focusfor researchersThis paper designs a matlab-based fingerprint recognition system. The first introducesthe fingerprint recognition technology research background, significance, and the status quoSecondly, to achieve fingerprint identification system, describes the basic structure of thefingerprint identification system, and the fingerprint image preprocessing, feature extractionfeature matching these three essential aspects of the algorithm is studied in detail in thefingerprint image pre-processing stage this article uses an algorithm based on gray imagesegmentation carried out at the same time, for the image after binarization noise still existsbut also for the corresponding trimming process, as much as possible for the future lay thefoundation for fingerprint feature extraction and thus successfully achieved fingerprint digitalimage processing, Teature extraction, slorage and matching functions. Finally, Che fingerprintidentification system for simulation, simulation results show that the system can identify abetter accuracy rate reached 95.1%Key Words: Fingerprint Recognition; Processing; Binarization; Feature Extraction;Feature Matching基于 MATLAB的指纹识别系统设计目录摘要······*······················-·······“······“···+····“····“““··“···············*·····““·········Abstract1绪论1.1本课题背景和意义1.2指纹识别技术研究现状1.3本文的章节安排中中中·中中和中。中申中申中中中非和申中日…22指纹识系统设计42.1指纹识别系统设计基本结构.42.2指纹图像分割…2.2.1指纹图像分割介绍2.2.2均值方差法2.3指纹图像的细化…2.3.1指纹图像细化的预处理2.3.2指纹图像细化方法计算72.4指纹图像的特征提取…2.4.1指纹特征提取概述着非非非道非非非非自非非非非日非着非非非非非非2.4.2指纹特征提取和去伪特征2.5指纹图像匹配方法……102.5.1指纹图像匹配介绍…26本章小结3仿真结果及其分析3.1仿真结果及分析…123.2本章小结…,14结论参考文献.17附录 MATLAB程序m重自18致谢“···*:····35IlI基于 MATLAB的指纹识别系统设计1绪论1.1本课题背景和意义指纹识別技术的应用十分广泛,指纹因具有终生不变性及稳定性,而且不同人指纹相同的概率儿乎为零,因此指纹自动识别系统被广泛应用于案例分析、商业活动中的身份鉴别等领域.目前有很多的生物测定技术可用于身份认证,包括虹膜识别技术、视网膜识别技术、面部识別、签名识别、声音识别技术、指纹识別等,具有安全、可靠的特点,其中自动指纹识别系统是目前研究最多、最有应用前景的生物识别系统。指纹识别技术的发展得益于现代电子集成制造技术的进步和快速可靠的算法的研究。指纹门禁系统通过将用户的指纹特征与指纹特征数据库屮的数据进行对比实现用户身份的鉴别,并不直接保存和使用用户的指纹图像信息,不会侵犯到用户的隐私信息,是当前技术最先进、应用最广泛的门禁系统。对生物识别(指纹识别)技术来说,被广泛应用意味着它能在影响亿万人的日常生活的各个地方使用。通过取代个人识别码和口令,生物识别(指纹识别)技术可以阻止非授权的“访问”;可以防止盗用ATM、蜂窝电话、智能卡、桌面PC、工作站及其计算机网终;在通过电话、网络进行的金融交易时进行身份认证;在建筑物或工作场所生物识别技术(指纹识别)可以取代钥匙、证件、图章等。生物识别(指纹识别)技术的飞速发展及其广泛应用将开创个人身份鉴别的新时代。指纹所具有的唯一性、不变性、及易于获取、分类存储有规律等特性使其成为生物鉴定学中最为成熟的方式。1.2指纹识别技术研究现状指纹识别技术从早期的人工比对到现在采用计算机技术实现自动指纹识别,指纹对比更加准确,识别效率得到极大提高。自动指纹识别过稈通常由指纹图像滤波增强、二值化、细化、征提取以及指纹匹配等几个环节构成。指纹图像滤波增强的目的是将有噪声干扰的指纹图像变得更加清晰,使得指纹图像的脊线更黑,谷线更白,当前在实际指纹图像増强算法的应用中一般是几种滤波增强方式结合起来使用,主要的方案是基于傅里叶变换结合滤波和指纹图像点方向场的下上下滤波器;指纹图像二值化,是将指纹图像变成灰度值只有0和255两种颜色的图像,当前,在自动指纹识别中棠用的是根据指纹图像的点方向场在指纹纹线方向和指纹纹线垂直方向上对指纹图像进行一值化处理;指纹图傻细化是指删除指纹纹线的边缘像素,使之只有一个像素宽度,目前在自动指纹识别技术中常用的是OPIA算法的改进的图像模板细化算法;指纹特征提取,是将细化后使用计算教字图像处理技术采集指纹图像中奇异点、端点、叉点等指纹特征基于 MATLAB的指纹识别系统设计数据,目前常用的特征提取算法是先对细化后的指纹图像进行初步去噪,然后提取特征点,再根据阈偵去除伪特征点:指纹匹配,是指纹预留模板图像与输入样板图像中的所有特征点的匹配,目前在自动指纹识别系统中常采用可变大小的界限盒的指纹特征匹配算法。目前指纹识别技术还有诸多困难,例当三维的指纹被指纹录入设备扫描成二维的数字图像时,就会丢失一部分信息,手指划破、割伤、弄脏、不同干湿程度以及不同的按压方式,还会导致指纹图像的变化,这就给可靠的特征提取带来了困难;例如传统的基于细节点的识别方法,是依靠提取指纹脊线上的细节点,然后对其位置和类型进行匹配,来识别指纹的,而噪声会影响特征提取准确度,增加错误的特征点或丢失真正的特征点。当噪声很大时,就要增加图像增强算法来改善图像的质量,但很难找到一种增强算法能够适应所用的噪声,多种増强算法又会人嗝増加算法运行时间,不好的増强算法又会增加人为特征。当喉声增大时,提取了许多虚假细节点,还有可能丢失细节点,这就是传统的基于细节点识别算法的不足之处之一,因为它只利用了指纹图像中的一小部分信息(细节点位置和方向)作为特征进行匹配,丢失了蕴涵在图像中的其他丰富的结构信息。不难想象,基于这种方法的识别算法,很难个面适应指纹的变化。人的指纹含有天然的密码信息,它们具有几点重要特特点①广泛性,指每一个正常的人都有指纹。②唯一性,指每一个人的指纹都不同。指纹的纽节由细微纹点和纹线的起点、终点、分叉等组成。止是这些无穷无尽的细节特征组合构成了指纹的唯一性,事实上,甚至包括双胞胎,世界上两个指纹相同的概率小于1/109,几乎为零,这就构成了指纹的第大特点。③终生不变性,指纹终身不变即指纹的图案永远不会改变,从人的出现到死后的分解为止(除非指纹受到伤害)。④指纹与主体的不可分离性:即指纹不存在丢失、遗忘、被窃取的可能。指纹的使用比起其它证卡来说更快捷、安全、准确、无干扰,可实现快速登录注册,系统兼容性好,也就是说可以独立或者通讨联网构成系统并H很容易并入各类证卡和定义识别系统中。因此,指纹识别技术的应用范围极广。1.3本文的章节安排本文以研究指纹识别中指纹图像分割、细化、特征提取、匹配等若十问题为研究主体,针对指纹识别技术中分割、细化和匹配进行了仿真和修正。其中分割部分采用了方基于 MATLAB的指纹识别系统设计差均值的方法,细化选取了一种伪特征较少的模板,匹配时以分叉点和端点信息进行匹配。具体的章节和各章的内容安排如下:第一章:在介绍本论文的研究背景及意义,在指纹识别技术的现状和特点的基础上,确定了本文所做的主要工作。第二章:本章主要介绍了指纹识别系统设计原理,为后续的研究工作奠定基础,介绍了均值方差的基础知识和基本理论以及仿真中具体的分割运用算法;指纹图像细化的方法;指纹图像细化后的特征提取,需要哪些特征,去除哪些伪特征,以方便和正确地进行匹配工作:指纹图像配的概念、匹配问题的困难所在和常用方法。第三章:指纹识别系统的仿真结果及分析。结论:总结本文所取得的一些研究成果,并对课题发展进行了展望。基于 MATLAB的指纹识别系统设计2指纹识系统设计2.1指纹识别系统设计基本结构指纹识別系统主要由指纹图像读取,图像预处理,特征提取,特征匹配四大步骤组成首先,我们要提取需要处理的指纹识别的原始图片。其次,进行图像预处理。通常图像预处理包括分割、归一化、二值化和细化,图像预处理的目的貮是去除图像中的噪声,将图像变成清晰点线图,这样才能提取到正确的指纹特征,从而达到止确匹配的目的。它的好坏直接影响到指纹识别的效果。在此基础上,接下来就是要对细化后的数字图像进行关键特征提取,从而达到识别不同的志文数字图像的目的。普遍采用的特征提取是提取细节点。最后,我们将处理后的图像进行匹配,指纹图像的特征匹配主要是对所提取的细节持征进行匹配,将要比对的图像与库中图像的细节特征进行比对,并将比对结果输出,这是指纹识别系统设计中最重要的一个环节,这也是指纹识别系的最终目的。2.2指纹图像分割2.2.1指纹图像分割介绍指纹图像分割在指纹识别系统中作为图像与处理的一部分,指纹图像分割的基本依据是图像的某些特征及特征的集合。如灰度值,邻域关系,纹线的扭曲程度等。图像特征是指纹图像的怗有属性。通过提取图像特征,可将原始图像映射到特征空间,使图像特征在特征空间中呈现一定的分布。因此根据以上的的灰度值领域关系,纹线的扭曲程度,指纹图像分割大致分为三类:基于像素的图像分割,基于块特征的图像分割以及基于全局的图像分割。基于像素的指纹图像分割中目前流行多尺度小波变换和阙值法。小波变换和傅里叶变换的出发点都是将信号表示成基函数的线性组合。所不同的是傅里叶变换采用时间属于(一∞,+∞)的谐波函数exP@x作为基函数,计算机中的图像信息是以离散信号形式存放的,在信号处理中,特别是在数字信号处理和数值计算等方面,为了计算机实现的方便,连续小波必须进行离散化,而最基本的离散化方法就是二进制离散,一般将这种经过离散化的小波及其变换叫做二进小波和进变换。基于 MATLAB的指纹识别系统设计小波变换的特点是压缩比高,压缩速度快,压缩后能俣持信号与图象的特征不变,且在传递中可以抗干扰。在指纹识别识别中使用小波变换有助于噪卢的滤除以及有利于检测奇异点。但是小波变換的明显缺点是它计算复杂,计算效果也取决于函数的选择。另一种阙值分割就是简单地用一个或几个阈值将图像的灰度直方图分成几个类,认为图像中灰度在同一个灰度类内的像素属同一物体。它是图像分割中最基本的方法。其原理是先定一个阈值,大于此值为1,小于则认为为0;多阀值则可以利用多维函数。此原理在匹配中也可以运用。其优点是计算简单,仅需比较灰度值即可;运算效率较高,速度快:它的缺陷在于仅考虑图像的灰度信息,而忽略了图像的空间信息,对于图像中不存在明显灰度差异或各物体的灰度值范围有较大票叠的图像分割问题难以得到准确的结果代表块特征的指纹图像分割日前研究趋势为多种块基本特征如灰度均值、块灰度方差、块方向图等综合运用和重新定义块特征。其中块指的是将图像分个成一个个小的图像块。图像均值就是对每个单位块的灰度值取均值,方差则反映该块中各点与均值的偏差性,方向这可以很好的反映纹理的变化趋势。一般来说,常见的方向场的计算分为掩模法和公式法两大类。 LinHong等人开发的基于最小均方估计算法,即公式法。(j)=G(-1,j-1)+2G(-1)+G(+1j-1)-G(-1,+1)-2G(1,j+1)-G(i+1,+1)(j)=G(-1,j-1)+2G(+1)+G(-1,+1)-G(i+1,-1)-2G(i+1,j)-G(i+1,j+1Rx(∴j)(,(a,v)(,y)2-a(x,y)2它是利用正交坐标系下,原点到它们组成的坐标点的有向线段与X的正半轴的夹角可来表示该子块的块方向。这种方法最人的优点是易实现,很好体现出纹理,但缺点是对于变化太快的部分出错。此方法的实现是利用方向滤波器。基于全局的图像分割则是根据情況特别是某些特殊场合的利用,如残缺指纹。全局的图像分割可以是人工选定几个特定点后再根据全局的特点来处理,此法也可运用于匹配。基于全局的指纹识别仍处于实验室探索阶段,应用领域中尚不广泛。2.2.2均值方差法在图像分割概述中,凵经提到基于块特征的指纹图像分割。在这部分将重点介绍均值法差法的计算方法和在仿真中的运用基于 MATLAB的指纹识别系统设计该算法基于背景区灰度方差小,而指纹区方差大的思想,将指纹图像分成块,计算每一块的方差,如果该块的方差小于阈值为背景,否则为前景。具体步骤分以下三步(1)将低频图分成MXM大小的无重叠方块,方块的大小以一谷一脊为宜。(2)计算出每一块的均值和方差。H-1L-AVe=B2∑(.R=_1台台2>>(,)-4VE)(3)如果计算得到的方差几乎接近于0就认为是背景,对于方差不为零的区域在进行阈值分割算法,这种算法主要是根据计算得到的方差来决定其是否为背景区在使用方差均值法之前还要使用归一法将图变为低频图。归一化的目的是把不同原图像的对比度和灰度调整到一个固定的级别上,为后续处理提供一个较为统一的图像规格。指纹图像的归‘化公式如式所示。其中AVE0和ⅤAR为期望的灰度均值和方差。但是小波变换的明显缺点是它计算复杂,计算效果也取决于函数的选择。Rol/(x, ?)-AVENAV点o+lvARo(/(x, -AVEY(3.3)AVEoVAR在使用方差均值法之前还要使用归一法将图变为低频图。归一化的目的是把不同原图像的对比度和灰度调整到一个固定的级别上,为后续处理提供一个较为统一的图像规格。2.3指纹图像的细化2.3.1指纹图像细化的预处理这部分预处理主要为_二值化。由于指纹图像脊、谷相间,因此指纹图像的处理常是将指纹图像一值化。灰度图像一值化是将灰度图变换为只有黑和白两种灰度的图像。这样不仅可以压缩原指纹图像的数据量,而且也方便后面的细节特征的提取。灰度图二值化的基本思想是选取适当的灰度阂值,将灰度图像转化为_值图像,阈值的选择是关键,对于阈值的选择,有多和方法,如熵法,stu法等。根据是否将图像分块处理,又分全
    2020-12-02下载
    积分:1
  • [MATLAB+R2016a控制系统设计与仿真][邓奋发][序源代码]
    本书以MATLAB R2016a为仿真平台,以控制系统为主线,以MATLAB为辅助工具,三者有机结合介绍控制系统的仿真设计,实用性强,内容丰富。本书主要内容包括MATLAB软件简介、线性控制系统模型、线性控制系统分析、时域分析、根轨迹分析、频域分析、PID控制器分析、非线性系统分析、状态空间控制系统分析、鲁棒控制器分析和智能控制分析。
    2020-11-28下载
    积分:1
  • 华为FusionInsight HD 2.7 技术白皮书.pdf
    华为FusionInsight HD 2.7 技术白皮书,详细介绍了华为版Hadoop的各个组件功能。华为FusionInsight是华为企业级大数据存储、查询、分析的统一平台。华为 Fusionlnsight hd27技术白皮书日录目录1简介…1.1 Fusionlnsight hD概述1.2 FusionInsight HD组件介绍.2重点组件介绍52.集群管理 Manager622分布式文件系统HDFS23统一资源管理和调度框架YARN24分布式批处理引擎 Mapreduce.25分布式数据库 HBase2.6数据仓库组件Hive27分布式内存计算引擎 Spark28全文检索组件Solr.29批量数据集成 Loader( Scoop)….122.10实时数据采集 Flume142.11流式事件处理( Storn)…2.11.1 Storm2.11.2 StreamCQL…2.11.3 Flink2.12分布式高速缓存 Redis2.|3分布式消息队列 Kafka2.14作业编排与调度 Oozie...........212.15数据继承入凵Hue文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书1简介简介1.1 FusionInsight HD概述1.2 FusionInsight hD组件介绍文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介11 FusionInsight hD概述FusionInsight是华为仝业级大数据存储、查询、分析的统一平台,能够帮助全业快速构建海量数据信息处理系统,通过对巨量信恳数据实吋与非实时的分析挖掘,发现全新价值点和企业商机应用层REST API数据服务明细影像推荐/伪控关系轨迹Data世像ServiceREST API/SQL/SDKloaderMe知认FormerManager数据分析Data Farm数据集成信数据挖识、服务框智慧配置管理性能管理告警管理数据处理发全管理DataoS hadoop Spark2 STORM(Flink LibrA租户管理灾备管理FusionInsigh解决方案由5个子产品 FusionInsight hD、 Fusioninsight libra、FusionInsight miner、 FusionInsight Farmer和1个操作运维系统 FusionInsight manager构成FusionInsight HD:企业级的大数据处理环境,是一个分布式数据处理系统,对外提供大容量的数据存储、分析查询和实时流式数据处理分析能力。usionInsight HD包括 Zookeeper、 Hadoop、 HBase、 Loader、 HBase、Hive、Hue、 Oozie、 Phoenix、Solr、 Redis、 Spark、 Streaming、 Kafka、E、 Flink等组件。FusionInsight miner:个业级的数据分析平台,基于华为 FusionInsight hd的分布式存储和并行计算技术,提供从海量数据中挖掘出价值信息的平台。FusionInsight Farmer:企业级的大数据应用容器,为企业业务提供统一开发、运行和管埋的平台。Fusionlnsight Manager:企业级大数据的操作运维提供,提供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检査、问题定位、升级和补丁等功能FusionInsight librA:企业级的MPP关系型数据库,基于列存储和MPP架构,是为面向结构化数据分析而设计开发的,能够有效处理PB级别的数据量。 FusionInsightLibrA在核心技术上跟传统数据库有巨大差别,可以解决很多行业用户的数据处理性能问题,可以为超大规模数据管理提供高性价比的通用计算平台,并可用于支撑各类数据仓库系统、BⅠ( Business intelligence)系统和决策支持系统,统一为上层应用的决策分析等提供服务。文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介12 FusionInsight hD组件介绍数招外析数据集成菜群理款据挖握数据挖掘处理Mahout(on MRMI I ib(on Spark)ahx款什理作业调应DSL领域描述语U。2e枇处互询KV面流式杏诈HiveparksQLRedisStreamcQL批量分市式计算引Loade故障管卫七处理流处理附件处理MapReduceFlinkstorm实时采性能管理分布式资源管Y消思队列安仝售翅Kalka分布式存储雪NOSQL数招库按素引≤QL行惴格式租户管理上传下载FtnonHDFSOROPalyueLCai bun De莫分布式文件系统备份曾理HDFSFusionInsight hd需要对廾源组件进行封裝和增强,对外提供稳定的大容量的数据存储、查询和分析能力。各自组件提供功能如下Manager:作为运维系统,为 I FusionInsight hD提供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装/级/补丁、配置管理、监控管理、告警管理、用户管理、租户管理等。HDFS: Hadoop分布式文件系统( Hadoop Distributed File System),提供高吞吐量的数据访问,适合大规模数据集方面的应用。HBase:提供海量数据存储功能,是一种构建在HDFS之上的分布式、面向列的存储系统。Oozie:提供了对开源 Hadoop组件的任务编排、执行的功能。以 Java Web应用程序的形式运行在 Java servlet容器(如: Tomcat)中,并使用数据库来存储工作流定义、当前运行的工作流实例(含实例的状态和变量)。Zookeeper:提供分布式、高可用性的协调服务能力。帮助系统遷免单点故障,从而建立可靠的应用程序Redis:提供基于内存的高性能分布式KV缓存系统。Yarn: Hadoop2.0中的資源管理系统,它是一个通用的资源模块,可以为各类应用程序进行资源管理和调度。Mapreduce:提供快速并行处理大量数据的能力,是一种分布式数据处理模式和执行环境。Spark:基于内存进行计算的分布式计算架Hive:建立在 Hadoop基础上的井源的数据仓库,提供类似SQL的HⅤeQL语言操作结构化数据存储服务和基本的数据分析服务。Loader:基 J Apache Scoop实巩 FusionInsight hD与关系型数据库、p/sp文件服务器之间数据批量导入导出工具:同时提供 Java api/ shell!务调度接口,供第三方调度平台调用。●Hue:提供了开源 Hadoop绀件的 WebUI,可以通过浏览器操作HDFS的目录和文件,调用 Oozie米创建、监控和编排工作流,可操作 Loader组件,査看Zo< eeper集群情况。文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介Flume:一个分布式、可靠和高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Fume提供对数据进行简单处理,并写入各种数据接受方(可定制)的能力。●Solr:一个髙性能,基于 Lucene的全文检索服务器。Solr对 Lucene进行了扩展,提供比 Lucene更为肀富的查询语言,同时实现」可配置、可扩展,并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文检索引擎Kafka:一个分布式的、分区的、多副本的实时消息发布-订阅系统。提供可护展、扃吞吐、低延迟、高可靠的消息分发服务Storm:一个分布式、可靠、容错的实时流式数据处理的系统,并提供类SQLtreaInCQL)的查询语言Fink:分布式的、高可用的、能保证 Exactly Once语义的针对流数据和批数据的处理引擎SparkSQL:基于 Spark引擎的高性能SQL引擎,可与Hive实现元数据共享。Mahaut:提供基于 Mapreduce的数据挖掘算法库MLLib:提供基于 Spark的数据挖掘算法库phx:提供基于 Spark的图处理算法库文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍2重点组件介绍21集群管理 Manager22分布式文件系统HDFS2.3统一资源管理和调度框架YARN24分布式批处理引擎 MapReduce2.5分布式数据库 HBase2.6数据仓库组件Hive27分布式内存计算引擎 Spark28全文检索组件Solr2.9批量数据集成 Loader( Scoop)210实时数据采集 Flume2.ll流式事件处理( Storm)212分布式高速缓存 Redis213分布式消息队列 Kafka2.14作业编排与调度 Oozie2.15数据继承入口Hue文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍21集群管理 ManagerManager是 FusionInsight H的运维管理系统,为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的安裝部署、性能监控、告警、用户管理、权限管理、审计、服务管理、健康检査、日志采集、升级和补丁等功能图2-1 Manager逻辑架构w已妇UP SereIAMCEPPMS匚就动aLdapOM M AgentNode AgentNTP ClerDHTLFusionInsight ManagerFusionInsight Manager由OMS和 NodeAgent组成:●OMS:操作维护系统的管理节点,OMS·般有两个,互为主备。NodeAgen:操作维护系统中的所有被管理节点,每个节点上一个。表2-1业务模块说明模块名称描述Web Service是一个部署在 Tomcat下的web服务,提供 Manager的htts:接口,用于通过浏览器访问 Manager。同时还提供基于 Syslog和SNMP协议的北向接入能力ControllerManager的控制中心,负责汇聚来自集群中所有节点的信息,统一问管理员展示,以及负责接收来自管理员的操作指令,并且依据操作指令所影响的范围,向集群的所有相关节点同步信息nodeAgent存在于每一个集群节点,是 Controller对部署在该节点上组件做切操作的代理。代表本节点上部署的所有组件与 Controller交互,实现整个集群多点到单点的汇聚IAM负责记录审计日志。在 Manager的U上每一个非查询类操作,都有对应的审计日志文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍模块名称描述PMS性能监控模块,搜集每一个OMA上的性能监控数据并提供査询CEP汇聚功能模块。比如将所有OMA上的磁盘已用空间汇总成一个性能指标FMS告警模块,搜集每一个OMA上的告警并提供查询OMMAgent各节点上面性能监控和告警的Agen,负责收集该 Agent Node上的性能监控数据和告警数据CAS统一认证中心,登录 Web service时需要在CAS进行脊录认证,浏览器通过URL自动跳转访问CASAOS权限管理模块,管理用户和用户组的权限OMS Kerberos提供单点登录及 Controller与 Nodc agent间认证的功能OMS Ldap在集群安装前为用广认证提供数据仔储,在集群安装后作为集群中Ldap的备份DatabaseManager的数据库,负责存储配置、监控、告警等信息NTP负责集群内部各节点与OMS节点之向的时钟同步和OMS节点与外部时钟源之间的时钟同步。22分布式文件系统HDFSHDFS是 Hadoop的分布式文件系统,实现大规模数据叮靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在现有文件之后的添加操作。HDHS保证一个文件在个时刻只被一个调用者执行写操作,而可以被多个调用者执行读操作。图2-2分布式文件系统HDFSHDFS ArchitectureMetadata(Name, re)Metadata. opsNamenode/home/foo/data. 3Black opsRead DatanodesDatanodesReplicationBlocksRack 1WriteRack 2文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司
    2020-12-07下载
    积分:1
  • 696518资源总数
  • 105446会员总数
  • 13今日下载