登录
首页 » Others » 剔除测量数据中异常值的若干方法

剔除测量数据中异常值的若干方法

于 2021-05-06 发布
0 929
下载积分: 1 下载次数: 5

代码说明:

剔除测量数据中异常值的若干方法,第1期何平:剔除测量数据中异常值的若干方法21表3n,a相应的Y值3.91-00.010.010.6790.576190.4620.889).765120.6420.5460.5350.4500.7800.642130.6150.52l210.5240.44060.6980.560140.6410.5460.5140.4300.6370.507150.616230.50580.6830.554160.5950.5070.4130).406100.447180.5610.475表4Z,与n值的对应关系3458902131415161820301050zc1.381.541.651.731.801.881.921.962.002.032.072.102.132.152.202.242.392.492.58表51组测量数据(已按顺序从小到大排好)810t20.3020.3920.3920.3920.4020.4020.4]20.4120.4220.4220.4220.4320.4320.4320.43查表3得到临界值Y。(15,0.05)=0.525,根据也都有其局限性。例如:所有的准则都是以数据按正态狄克逊准则,由于Y2>%(15,0.05),故t值是异常分布为前提的,当偏离正态分布时,判断的可靠性将受值,应予舍弃。影响。还有几个准则对n值的要求也各有不同:当大样程序框图如图3所示本测定时,使用莱因达准则最适合,但当小样本测定24肖维勒准则应用软件流程图及实例时,则一般推荐使用格拉布斯准则和狄克逊准则。而肖计算算术平均值t=20.405维勒准则在某种程度上讲仅仅是莱因达准则的补充计算剩余误差v及均方差a=0.01498在实际测量中,一般取测量次数n=5~20次,特从表4中查得相应的Z值(n=15,故Z2=2.13)别精密的测量,也很少超过100~200次。因此,使用根据肖维勒准则检测l1是否为异常值以上各种准则时,必须注意测量次数的限制。对于莱因1-t|=0.105达准则、一般建议测量次数大于或等于50次,而对于而Zσ=2.13×0.01498≈0.03191格拉布斯准则和狄克逊准则,则建议小于或等于20次。但这一区别并不是十分严格的由于|1-t1>z,则t1值异常,应予舍弃。程序框图对小样本来说,由于格拉布斯准则能给出较严格如图4所示。的结果,狄克逊准则无需计算X和o,方法简便,且23几种方法的进一步讨论者的概率意义明确。因此,它们能较好地适用于采样次从以上的应用情况来看,似乎各种准则的应用实数不太多的一般测量列践都很一致,但这只是个特例,并没有普遍性。举这个设X为N(0,1),在1个大小为n的子样中混入例子,只为了更好地说明几种准则都能得到很好的应个Y:N(μ,δ)的子样。有研究结果表明:格拉布用。需要指出的是,以上各准则都是人为主观拟定的,斯方法的检出概率P略高于狄克逊方法的检出概率直到目前为止,还没有统一的规定,因此,它们的应用PD,如表6所示:(N(0,1)叫作标准正态分布)o1994-2012ChinaAcademicJournalElectronicpUblishingHouse.Allrightsreservedhttp://www.cnki.net2航空计测技术第15卷STARTSTARTSTARTSTART输入数据输入数据输入数据输入数据计算算术平均值入计x根据n值,及均方根偏差从表2中计算出相应y计算算术平均值计算剩余误差;,计算T值并选定均方根偏差σ危险率a选定危险率a计算剩余误差v,均方根偏差判别粗大误差查表得相应的(n,a)从表3中查出%(n,a)值从表4中查出相应Z值打印输出结果判别数据是否为异常?判别敦据是否异常判别粗大误差ENDExDENDEND图1莱因达准则应图2格拉布斯准则图3狄克逊准则应图4肖维勒准则应用程序框图应用程序框图用程序框图用程序框图表6P与PD的比较舍。但是,对待粗大误差,除从测量结果中及时发现和利用剔除原则鉴别外,更重要的是提高工作人员的技术a(%)水平和工作责任心,不要在情绪不宁和极度疲劳的情况5.01.0下,进行重要的测量工作。另外,要保证测量条件的稳定,防止因环境条件剧烈变化而产生的突变影响。只有δ11221122这样,才能提高测量的精度,得到满意的测量结果PG(%)10.240.429.854.22.515.712.731.3参考文献PD(%)9.335.726.850.02.212.910.526.31梁晋文等编著.误差理论与数据处理.北京:中国计由于混入的Y不一定是子样中最大的数据,所以,量出版社,1989实际检出效果还要高一些2何国伟编著,误差分析方法.北京:国防工业出版社,4结束语3王文松.测量列中离群值的判断.电测与仪表,1992,从以上论述可以看出,在进行测量数据处理时,可11)以应用各种准则进行粗大误差判别,以决定数据的取o1994-2012ChinaAcademicJournalElectronicpUblishingHouse.Allrightsreservedhttp://www.cnki.net

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • matlab卫星定位算法
    matlab实现卫星定位的算法,包含卫星位置的的解算,伪距的计算,接收机位置的计算
    2021-05-06下载
    积分:1
  • 基于FPGA分布式算法FIR滤波器verilog代码
    (本人 小论文 代码,通过验证)本文提出一种新的FIR滤波器FPGA实现方法。讨论了分布式算法原理,并提出了基于分布式算法FIR滤波器的实现方法。通过改进型分布式算法结构减少硬件资源消耗,用流水线技术提高运算速度,采用分割查找表方法减小存储规模,并在Matlab和Modelsim仿真平台得到验证。为了节省FPGA逻辑资源、提高系统速度,设计中引入了分布式算法实现有限脉冲响应滤波器(Finite Impulse Response, FIR)。由于FIR滤波器在实现上主要是完成乘累加MAC的功能,采用传统MAC算法设计FIR滤波器将消耗大量硬件资源。而采用分布式算法 (Distri
    2020-12-02下载
    积分:1
  • 遗传算法解决5种多旅行商(mtsp)的matlab
    遗传算法解决5种多旅行商问题(mtsp)的matlab程序分别为以下5中情况:1.从不同起点出发回到起点(固定旅行商数量)2.从不同起点出发回到起点(旅行商数量根据计算可变)3.从同一起点出发回到起点4.从同一起点出发不会到起点5.从同一起点出发回到同一终点(与起点不同)
    2020-06-14下载
    积分:1
  • 事件知识图谱构建研究进展与趋势【深度好文】.zip
    【实例简介】目前,绝大多数知识图谱研究针对实体知识图谱主要以实体(特别是人名)为基础。面向事件知识图谱研究的语料构建和研究方法还处于探索阶段。特别是,中文事件知识图谱的研究几乎是空白。相对于实体知识图谱,事件知识图谱具有明显的语义表达优势,有利于知识推理。本报告将主要从事件抽取、事件关系抽取、事件/事件关系可信度计算、事件知识图谱构建技术和事件知识图谱推理等五个方面系统深入分析事件知识图谱构建研究相关的国内外研究现状,存在关键问题以及研究思路。
    2021-11-19 00:37:11下载
    积分:1
  • CST学习资料-各模块教
    CST是一款用于电磁模拟计算的大型软件,其包含很多负责的模块,这里提供整个软件的总的描述和教程应用,以及各个模块的学习教程。
    2020-12-11下载
    积分:1
  • 支持向量机 邓乃扬
    这本书是中科院的邓乃扬、田英杰老师所写,想要深入学习SVM相关理论和算法的同学可以看看这本书,我个人这本书非常好。数据挖掘源于数据库技术引发的海量数据和人们利用这些数据的愿望.用数据管理系统存储数据,用机器学习约方法分析数据、挖掘海量数据背片的知识,便促成了数据挖掘( data mining的产生.慨括地讲,数据挖掘的任务是从大型数据库或数据仓库中提取人们感兴趣的、事先知的、有用的或潜在有用的信息支持向量机( suppoort vector machine.SVM是数据挖握中的项新技术,是借助于最优化方法解决机器学习问题的新工具它最初于20世纪90年代由 Vapnik提出,近年来在其理论研究和算法实方宙都取得∫突破性进,开始成为克服维数灾难”和“过学习”等传统困难的有力手段虽然它还处于飞速发展的阶段,但是它的理论基础和实现途径的基本框架已经形成。白200年开始,国外已续有几本专蓍出版.据我们所知,本是国内第一本专门对它进行全面完整介绍和论述的书籍本书王要以分类问题(模式识别,判别分析)和回归问题为背景,系统阐述支持量机和相应的最优化方法.各章的主要内容如下:第1章介纲最优化问题及其基本理论.第2章对分类闻题和回归问题直观地导出最基本的支持向量机.第3章介绍核的理论,这是推广基本的支持向量机的关键,也是通过线性问题求解非线性问题的基础.第4章介绍统计学习理论,讨论支浡向量机的统计学理论基狲第5章和第6章分别详细研究支持向量分类机和支持向量回U机.第7章介绍实现支持向量机的最优化算法.第8章讨论支持向量机的应用,包括解决实际问题时的一些处理方法和一些应用实例本书包括了我们自己的研究工作例如,在做为支持向量机基础的原始问题和对偶间题解的关系上,我们发现,当前文献的论述存在着逻辑上的缺陷本书第次在完严密的逻辑基础上完善了各种支持向量机中的最优化问题的理论体系此外,作为求解支持向量机中优化问题的方法,本书介绍了我们自已的研究成果如处理大型问题的 Newton-PCG型算法.另外还立说明,本书还包含了我们讨论班成员的若干研究工作本书所设定的读者包括关心理论与应用两方面的人土,对于支持向量机的理论,4有系统而严谨的论述;作为使用支持向量机的入「,有直观的谎明.实际上我们特别强调该书的叮读性,强调崑观对理解问题实质的重要作用.我们通常总是首先用图像等直观手段引进各种概含、方法和结论,并特别注意对它们的本质给予形象的解释和说明,最后给出其严格证明.仅仅关心实际应用的读者,略去这些证明以及若于理论结论,仍可以对所介绍的方法的本质有一个概括的理解本书对有关领域具有高等数学知识的实际下作者是一本实用读物.我们希望本书的出版,能普及和推广支持向量机在多种宴际领域中的应用,也能促进我对支捋向量机的深入研究,特别是促进优化界朋友们的关心与参与本书得以出版,我们要感谢中国科学院科学出版基金和华夏英才基金的资助,冋时乜要感谢十国农业大学各级領导的支持利重点课程建设的资助.本书已被选为中国衣业大学研究生系列教材,我们还要感谢国家自然科学甚金多年来对我们研究工作的资助.本书作者曾致力于最优化方法的饼究多年,儿年前片始组线和领导讨沦班,学与研究数据挖掘利支持向螳柷.除本书位作耆外,讨论班的成以还有上来生教投、薛毅教授、钟萍剴教授、经玲舭教授、张春华、杨志民、刘广利、苏时光等多入,狂这里我们要将别感谢钏萍副教授和张春华.比外,我们还要媵谢刘宝光和张建中两位教授以及梁玉梅、张梅梅两位同学,他们都对本书提供了帮助臼于作者水平所限,书中难免有不要之处,欢迎读者批评指正符号表R实数集合R绁欧氏字间LEi, g洲冻点T={(x1,w)…,(x,y)}训练集洲练点个数输入空间输出空阊x洲练点所仁空间(X×y)练集所在竿间输入向量(输人广模式问量x的第个分量Hilbert空间中的向量x向量x的第个分量输出指标(输出)与的内积?内积空间, Hilbert空间={:1,…,xt输入空间中的个点组成的集合2={xHilber空间中的l个点组成的集合d输人空间到 Silbert空间的映射权向量权向量u的第分量Hi]bert空间中的权向量权向量w的第个分量b网值Co凸壳sang符号函效k(I核函数核矩阵〔Gram矩阵Fp-范数2-范数hv维惩罚参数收缩壳的参数白蚣对数pe底为2的对数将号表松弛变量松弛变量的第x个分量间隔对偶变量, Lagrange乘子寸偶变量的第i个分量通常获示概率分布概率百录序言符号表第1章最优化问题及其基本理论…l■1口■■會■■■■血PPP中11最优化问题1,1,1最优化问题实例1.12最优化问题1.1.3凸最优化12最优生条件1512上无约束问题的最优性条件122约束问题的最优性彖件181.3对偶理论∴131最大最小对偶132 Lagrange对偶■■q381,4注记参考文献…4了第2章求解分类问题和回归问题的宜观途径21分类问题的提出19211例子(心脏病诊断〕4921.2分类问题和分类学习机22线性分类学习机53221线性可分问题的线性分划222近似线性可分闻题的线性分划2.3支持向量分类机…231从性分划到二次分划23.2二次分划算法的简化74233非缓性分划的基本途径24线性回归学习机n+“dk+■啬啬■■■■■F番24.1回归问题242线性回归问题与硬E-带超平面243硬E-芾超平面的构造244硬s-#超平面的推36245线性支持向量回止机25支持向量归机26注记9参考文献第3章核31带述相似性的工具—内积963⊥.1直观的相似程度与内积312支持向量分类机中的相似与内积,983.1.核函数的选取9832考项式空间和多听式核32.1有序单项式空间32.2元序单项式空间1323 FIlbert空间与多项式核函教10433 Mercer核·…··105331半正定矩阵的特征展开15332 Mercer定理与 Mercer核10g34正定核1123.41正定核的必要条件·…·113342正定核的充分条件113343正定核的特征344再生核lber空间11634.5正定核与 MMercer核的关系…73.5核的构造…··11了3.51核的构造原则,·117352落用的几种核函数j2036注记…··:122参考文献123第4章推广能力的理论估计41失函数和期望风险1254.11概率分布125412损失函數413期胡凤险……13242求解分类问题的一种途径和-个算法模型136421分类问题的一个自然的数学提法1:f422求解分类问题的途径141423-个学习算法4.3VC雏44学」算法在概率意义下的近似正确性14G45一致性概念和关键定理日录16结构风险最小化,,,,1524了甚于问隔的推广估计15448注记∵■■■参考文献(2第5章分类问题…51最大间隔原则51.1绒性叮分问题的最大河隔原则52扰动意义下的几何解释■■152找性可分支持向量分类机6i6521线性可分问题的规范超平面522原始最优化问题…523对偶问题及其与原始问题的关系69524线性可分支持向量分类机及其理论基础I7353线性支持向量分类机l7生531原始问题17生532对偶问题及其与原始问题的关系179533线性支持向量分关机及其理论基础l83534支持向量1854支持向量分类机186541可分支持向量分类机…16542支持向量分米机55-支持向量分类机(-SVC)5【-线性支持向量分类机的原始最优化间题552v线性支持向量分类机的对偶问题及其与原始向题的关系553-支持向量分类机然挖554-支持向量分类机的性质指56-支持向量分类机(v-sV)和-支持向量分类机(C-SVC)的关系206561主要结论2郑6562丰要结论的证明57多类分类问题21457.1类对余类215572成对分类2]7573纠错输出编码方法2]8574确定名类目标函数方法218个何子59注记221目录参考文献P「q「第6章回归佔计61回归问题■■■224611可归叵题的难点61.2回归间题的数学提法■1L■…….2266上3不敏感掘失函数22562E-支持向量回归机…….…::,·226.2硬∈带支持向量回机228622从线性6-支持向最回归机到E·支持向量回归机2:363·支持向量回归机··24563L原始最优化问题……·245632对個问题及其与原始问题的关系…,·2486.33-支持向量国归机252634-支持向量回归机的性质25生64E-支持向量回归机(esVR)与p支持向量回妇机{u-SvR的关系641主要结论啁E562主要结论的证明…,2565其他形式的支持向量回归机259G1支持向最回归机的线性规划形式65.2E-带为任意形状的支持向量回归机26266其他形式的损失函数26467一些例子26867l维回归问趣672二维回归间题27068注记■■■司司■卩4■272参考文献血·“·第7章算法71元约束问题解法…2747⊥1无约束问鹎提法记74712基本无约束问题算法…·277713牛顿条件颓优共把梯度法( Newton-PCG算法)29472内点算法21线性规划的原仿射尺度法722线性规划的原-对偶算法723凸二次规划的仿射灵度法724凸二次规划的原-对偶算法P
    2021-05-06下载
    积分:1
  • fx3U 3轴画5角星序(三轴画五角星的序.gxw)
    fx3U 3轴画5角星程序(三轴画五角星的程序.gxw)
    2020-04-30下载
    积分:1
  • 模拟退火算法解决旅行商-matlab代码
    模拟退火算法解决旅行商问题-matlab代码
    2020-12-02下载
    积分:1
  • 振动信号数据采集
    基于labview的 振动信号数据采集,希望对大家有所帮助
    2020-12-04下载
    积分:1
  • 粒子群算法求解BP神经网络参数
    说明,这个matlab程序的目标是对BP神经网络中的神经元连接权和阈值构成的高维参数空间进行最优求解,试图用PSO算法求解神经网络中的参数,而不是用传统的误差反传算法。但由于经典粒子群算法存在局部最优的问题。该算法也存在同样的问题。该算法在迭代数较大时可以基本做到误差较大的函数拟合。但是通过该资源提供的图解和代码注释,用户可以很容易的学习到PSO算法的过程。至于如何突破局部最优,这个就有待各位PSO爱好者进行优化了。
    2020-12-06下载
    积分:1
  • 696518资源总数
  • 106155会员总数
  • 8今日下载