Spark开发指南
Spark开发指南.pdf本书参考Spark官方文档和源码，通过本书你将精通Spark的安装、配置、开发、监控和调优。Apache SparkSpark是伯克利 APMLab实验室精心打造的,力图在算法( Algorithms)、机器( Machines)、人( People)之间通过大规模集成,来展现大数据应用旳一个平台,其核心引擎就是 Spark,其计算基础是弹性分布式数据集,也就是RDD。通过Spark, MPLab运用大数据、云计算、通信等各种源,以及各种灵活的技术方案,对海量不透明的数据进行甄別并转化为有用的信息,以供人们更好的理解世界。 Spark已经涉及到机器学习、数据挖掘、数据库、信息检索、自然语言处理和语音识别等多个领域。Sparp ecological environment陡着 spark的日趋完善, Spark以其优异的性能正逐渐成为下一个业界和学术界的开源大数据处理平台。随着 Spark1.1.0的发布和 Spark生态圈的不断扩大,可以预见在今后的一段吋间内, Spark将越来越火热。spak生态圈以Spa为核心引擎,以HDFS、S3、 Tachyon为持久层读写原生数据,以 Mesos、YARN和自身携带的Standalone作为资源管理器调度job,来完成spak应用程序的计算;而这些spak应用程序可以来源于不同的组件,如 Spark的批处理应用、 Spark Streaming的实时处理应用、 Spark sρL的即席查询、 BlinkDB的权衝查询、MLib或 MLbase的机器学习、 GraphX的图处理等等。更多的新信息请参看伯克利 APMLab实验室的项目进展htps:/ mplab. cS. berkeley. edu/projects或者 Spark峰会信息htp:/ spark-summit org。Spark Spark MLlib GraphXSQL Streaming(machine(graph)learningApache SparkSparkSpark是一个快速的通用大规模数据丛理系统,和 Hadoop MapReduce相比更好的容锆性和内存计算高速,在内存中运算100倍速度于 MapReduce易用,相同的应用程序代码量要比 MapReduce少25倍提供了丰富的AP支持互动和迭代程序Spark大数据平台之所以能日渐红火,得益于 Spark内核架构的优秀·提供了支持DAG图的分布式并行计算框架,减少多次计算之间中间结果O开销·提供 Cache机制来支持多次迭代计算或者数据共享,减少开销*·RDD之间维护了血统关系,一旦 RDD fail掉了,能通过父RDD自动重建,保证了容错性·, RDD Partition可以就近读取分布式文件系统中的数据块到各个节点内存中进行计算使用多线程池模型来减少task启动开稍shuffle过程中避免不必要的sor操作采用容错的、高可伸缩性的aka作为通讯框架SparkStreamingSparkstreaming是一个对实时数据流进行高通量、容锴处理的流式处理系统,可以对多种数据源(如Kdka、Fume、Twitter、zero和TCP套接字)进行类似map、 reduce、join、 window等复杂操作,并捋结果保存到外部文件系统、数据库或应用到实时仪表盘Sparkstreaming流式必理系统特点有捋流式计算分解成一系列短小的批处理作业将失败或者执行校慢的任务在其它节点上并行执行较强的容错能力(基于RDD继承关系 Lineage)使用和RDD一样的语义Spark SQLSpark SQL是一个即席查询系统,可以通过SQL表达式、 HiveQL或者 Scala dsl在 Spark上执行查询。Spark SQL的特点·引人了新的RDD类型 SchemaRDD,可以象传统数据库定义表一样来定义 SchemaRDD, SchemaRDD由定义了列数据类型的行对象构成。· SchemaRDD可以从RDD转换过来,也可以从 Parquet文件读入,也可以使用 Hive QL从Hve中获取·在应用程序中可以混合使用不同来源的数据,如可以将来自 HiveQL的数据和来自sQL的数据进行jn操作。·内嵌 catalys优化器对用户查询语句进行自动优化MLlibMLib是Spak实现一些常见的机器学习算法和实用程序,包括分类,回归,聚类,协同过滤,降维,以及底层GraphXGraphX是基于 Spark的图处理和图并行计算AP。 GraphX定义了一个新的概念:弹性分布式属性图,一个每个顶点和边都带有属性的定向多重图;并引人了三种核心RDD: Vertices、 Edges、 Triplets;还开放了一组基本操作(如 subgraph,joinvertices, and mapReduce Triplets),并且在不断的扩展图形算法和图形构建工具来筒化图分析工作生态圈的应用Spark生态圈以 Spark为核心、以RDD为基础,打造了一个基于内存DAG计算的大数据平台,为人们提供了一栈式的数据处理方奚。人们可以根据不同的汤景使月主要应用场景用户曲像的建立用户异常行为的发现社交网络关系洞察用户定向商品、活动推荐spak运维相关安装配置、监控等,请求参考《 Spark运维实战》graphiteum install -y bitmap bitmap-fonts-compat Django django-tagging fontconfig cairo python-devel python-memcachedpython-twisted pycairo mod python python-Idap python-simplejson memcached python-zope-interface mod wsgipython-sqlite2Spark BaseSpark开发环境Spark本身是由 scala语言开发的,提供了三种语雷接口: Scala、Java、 Python。根据自己的喜好可以使用相应语言的开发工具。本书使用 scala语言做为开发Spak应用的语,采用 Eclipse为主要的开发工具主要介绍了两个流行的开发工貝: Eclipse、 Intell IDEA。JDK安装配置下载官方网址:htp/www.oracle.com/technetwork/javaljavase/downloads/jdk7-downloads-1880260hml选择好操作系统版本,32位操作采统选择带j586的安装文件;64位操作系统选择菅×64的安装文件。Linux操作系统推荐下载 tar. gz格式的安装文件, Window当然也只有exe格式的文件。Linux下安装解压tar -zxvf jdk-7ug-linux-1586. tar. gz-C/opt/In-/opt/jdk170_09 /opt/jdk设置环境变量用ⅵ编辑配置文件:/etc/ profileexport JAVA HOME=/ pt/jdkexport CLASSPATH=$JAVA HOME/lib/dt jar: SJAVA HOME/lib/tools. jarexport PATH= $JAVA HOME/bin: s PATH保存退出按Esc然后输入Wq使配置生效source /etc/profileWindows下安装选择好操作系统版本是32还是64,解压双击进行安装一路下一步,便可安装成功。设置环境变量测试是否成功命合行输人Java -versIon如果出现下面提示说明成功
- 2020-12-01下载
- 积分：1
77GHz多载频MIMO汽车雷达信号处理方法的研究
77GHz多载频MIMO汽车雷达信号处理方法的研究，主要是一分期刊感觉值1分微波学报2017年第33卷增刊8月3 MUSIC角度估计算法从上节可知,由于发射阵元产生不同频率的信号,因此在接收阵元回波上存在一定的频差-距离相位差,在应用算法前首先对其进行预处理补偿,然后使用MUSC算法进行测角。图2阵列形状示意图定义等效阵列的协方差矩阵为4.1动目标等速不等距R=EX]=A(的RA"(O)+an1实验中将2个日标速度设置为等速10ms,其距离和角度参数分别为(30m,2.59)、40m59)。其频其中R为信号协方差矩阵,σ衣示噪声功率,/谱和角度估计结果如图3、图4所示。为单位矩阵。对其进行特征值分解可得R=EAE +EME其中λ,e;(i=1,2,…,MN)分别为升序排列的矩阵R的特征值和对应的特征向量En=span{e,e2,…和E、=span{eM-p+,eM-p+2,……,M}分别表小矩阵R的信号子空间和噪声子空间。在该情况下的 MUSIC空间谱定义为MUSIC(6)=[A( DEEnA(O)(8)由于存在噪声,上式倒数中的数值不为零,而是个很小的值,所以 MUSIC空间谱会出现一个尖峰。通过对θ的不断交化进行谱峰搜索来估计波达角。图3上/下扫频频谱图4计算机仿真本文以毫米波段的多载频MIMO雷达为例,传统雷达取上/下扫频周期为T=10ms,调频带宽B=500MHz,阵列形状如图2所示,发射天线为均匀线阵,间距d=元/2,阵元数M=2,天线问的频率间隔△f=100MHz,发射天线1、2的载波频率分别为77GHz77.1GH。模型采取线阵的结构,且发射天线分别布置在接收天线两端,接收天线间距d=4/2,阵元数N=8图4速度相同距离不同时角度估计结果接收阵元与发射阵元间距h=4/2,所以由MIMO雷达特性可知,最后得到的虚拟阵元数为通过仿真,测得动目标距离和速度信息为MN=16。(30.019m,10.034ms),(40.293m,9.981ms)=MMO为了验证本文所提方法的有效性,本文同时雷达角度佔计仿真结果为(-497°,-2.519),传统雷达引入相同参数指标的单发多收传统雷达做仿真对角度估计结果为(-336°)比实验。216?1994-2018ChinaacAdcmicJOurnalElcctronicPublishingHousc.Allrightsrescrvcd.http://www.cnki.nct微波学报2017年第33卷增刊8月4,2动目标等距不等速进一步验证了该方法的可行性,非常适合运用在实验,将2个日标距离设置为等距35m,汽车防撞雷达这种高分辨、小型化系统上其速度和角度参数分别为(10ms,2.5°),(15m/s,59)。参考文献其最终角度仿真图如图5所示。l]韩峻峰,张惠敏,潘盛辉,林川汽车防撞雷达概述「J广西科技大学学报.201,22(4):54-58传线雨达[2]侯宪美.多载频MIMO高频雷达的波束形成方法硏究[D,哈尔滨工业大学,2014[3]杨明磊,张守宏,陈伯孝,张焕颖.多载频MMO雷达的一和新的信号处理方法山电子信息学报,2009,31(1):147-151[4]田燕妮,张杨,徐晶晶.MMO技术舰载反导探测系统构成方法[J兵工自动化2015(1)4-6图5距离相同速度不同时角度估计结果[5]党宏社,韩崇昭,赵广社.汽车毫米波FMCW雷达中频由仿真结果可知,测得动目标距离和速度信信号的采样与处理[J现代雷达,200,24(4)43-45息为(29.879m,10.07mns),(30.155m,15.102ms)「6]魏星,万建伟,皇甫堪基于长短基线干涉仪的无源定MMO雷达角度估计仿真结果为(-5.01°,2.499),传位系统研究叮现代雷达,2007,29(5):22-25.统雷达角度估计结果为(4.87°,-2739)[7 KRIM H, VIBERG M. Two decades of array signal通过上述两个实验可以看出,在目标邻近的processing research the parametric approach[]. Signal情况下,MIMO雷达可以清晰地分辨出目标所在Proccssing Magazine, IEEE, 1996, 13(4): 67-94方向,而传统雷达则无法区分两个日标或分辨较[8 Duofang C, Baixiao C, Guodong Q. Angle estimation差using ESPrit in MIMO Radar[J. Electron Lett,2008:44(12):770-7715结论9]杨晓玉冯大政. ESPRIT算法在单基地MMO雷达中的应用[J电子科技,2009,22(12)91-本文讨论了7Hz多载频MIMO汽车雷达的[10染浩,崔,代林,余剑.阵列误差条件下MMo信号处理方法,运用线性调频连续波的近程探测雷达测向敏感性分析[微波学报,2015,31(41-8优点特性精准地测量出目标的距离和速度信息并通过MUSC算法准确测量出多运动目标相对季晓宇男,193年生,硕士研究生。主要研究方向:微应的角度,达到精确测向的理想效果,仿真结果波毫米波汽车雷达信号处珥,MMO雷达信号处理。证明了该方汯精度可以达到001°。在系统体积和Em-9191562@q40m参数不变的情况下,利用与传统雷达的仿真对比217?1994-2018ChinaacAdcmicJOurnalElcctronicPublishingHousc.Allrightsrescrvcd.http://www.cnki.nct
- 2020-11-01下载
- 积分：1
|
联系客服（QQ：3324461878）
