ORACLE高可用性(RAC)技术应用解决方案基于成熟的生产环境
ORACLE高可用性(RAC)技术是如何应用于基于成熟的生产环境的一个解决方案美河学习在线基础知识介绍1.RAC是什么,全称,译为“实时应用集群”,是新版数据库中采用的一项新技术,是高可用性的一种,也是数据库支持网格计算环境的核心技术。2.RAC的优缺点优点:主要支持版本,可以支持有效的数据库应用系统,在低成木服务器上构建高可用性数据库系统,并且自由部署应用,无需修改代码。在环境下,集成提供了集群软件和存储管理软件,为用户降低了应用成本。当应用规模需要扩允时,用户可以按需扩展系统,以保证系统的性能。多节点负载均衡提供高可用:故障容错和无缝切换功能,将硬件和软件错误造成的影响最小化通过并行执行技术提高事务响应时间通常用于数据分析系统通过橫冋扩展提髙每秒交易数和连接数通常对于联机事务系统节约硬件成本,可以用多个廉价服务器代替昂贵的小型机或大型机,同时节约相应维护成本可扩展性好,可以方便添加删除节点,扩展硬件资源。缺点相对单机,管理更复杂,要求更高可能会增加软件成本如果使用高配置的服务器,般按照个数收费美河学习在线3. Oracle rac原理在一个应用环境当中,所有的服务器使用和管理同一个数据库,目的是为了分散每一台服务器的工作量,硬件上至少需要两台以上的服务器,而且还需要个共享存储设备。同时所有服务器上的都应该是同一类根据负载均衡的配置策略,当一个客户端发送请求到某一台服务的后,这台服务器根据我们的负载均衡策略,公把请求发送给本机的组件处理也可能公发送给另外一台服务器的组件处理,处理完请求后,会通过集群软件来访问共享存储设备逻辑结构上看:每一个参加集群的节点有一个独立的访问同一个数据库。每一个节点的都有自己的每一个节点的都有自己的每个节点的都有自己的每一个节点的都有白己的表空间。所有节点都共享一份和三类虚拟地址集群注册文件记录每个节点的相关信息仲裁机制用于仲裁多个节点向共享节点同时写的行为,这样做是为了避免发生冲突。美河学习在线存储技术介绍独立冗余磁盘阵列(是一种把多块独立的硬盘(物理硬盘)按不同的方式组合起来形成一个硬盘组(逻辑硬盘),从而提供比单个硬盘更高的存储性能与数据备份能力的技术。特色是玦硬盘冋时读取速度加快及提供容错性可以将分为不同级別,级別并不代表技术高低,选择哪一种产品纯视用户的操作环境及应用而定,与级别高低没有必然关系。:无差错控制的带区组RAID OBDFGHMNO etc要实现必须要有两个以上硬盘驱动器,数据并不是保存在一个硬盘上,而是分成数据块保存在不同驱动器上。因为将数据分布在不冋驱动器上,所以数据吞吐率大大提高,驱动器的负载也比较平衡。它的缺点是它没有数据差错控制,如果一个驱动器中的数据发生错误,即使其它盘上的数据正确也无济于事了。不应该将它用于对数据稳定性要求高的场合。在所有的级别中,的速度是最快的。但是没冇冗余功能的,如果…个磁盘(物理)损坏,则所有的数据都无法使用美河学习在线:镜象结构RAID 1B-BGG0DDHH对于使用这种结构的设备来说控制器必须能够同时对两个盘进行读操作和对两个镜象盘进行写操作。镜象结构是在一组盘岀现问题时,可以使用镜象磁盘,提高系统的容错能力。每读一次盘只能读岀一块数据,也就是说数据块传送速率与单独的盘的读取速率相同。当您的系统需要极高的可靠性时,如进行数据统计,那么使用比较合适。而且技术支持“热替换”,即不断电的情况下对故障磁盘进行更换,更换完毕只要从镜像盘上恢复数据即可。当主硬盘损坏时,镜像硬盘就可以代替主硬盘工作。镜像硬盘相当于一个备份盘,这种硬盘模式的安全性是非常高的,的数据安全性在所有的级别上来说是最好的。但是其磁盐的利用率却只有是所有级别中最低的。:分布式奇偶校验的独立磁盘结构RAID 5A Blocks B Blocks C Blocks D Blocks E BlocksA0 Co D0 parityParitGenerationA1B1(A2 B2arity D2 E2A3 3 parity C3 E34p(B4(40(E4将数据分散存放于多个硬盘上面,同时使用一定的编码技术产生奇偶校验码来提供错误检査及恢复能力,数据段的校验位交互存放于各个硬盘上。因为奇偶校验码在不同的磁盘上,所以提高∫可靠性,允许单个磁盘出错。任何一个硬盘损坏,都可以根据其它硬盘上的校验美河学习在线位来重建损坏的数据。硬盘的利用率为。优点是提供了冗余性(支持一块盘掉线后仍然正常运行),磁盘空间利用率较高(),读写速度较快(倍)。是级别中最常见的一个类型:高可靠性与高效磁盘结构RAID 10BBBDFHmIrroringstriping这种结构是一个带区结构加一个镜象结构,因为两种结构各有优缺点,因此可以相互补允,达到既高效又高速还可以互为镜像的目的。大家可以结合两种结构的优点和缺点来理解这种新结构。这种新结构的价格高,可扩充性不好。主要用于容量不大,但要求速度和差错控制的数据库中。RAID10是先镜射再分区数据。是将所有硬盘分为两组,然后将这两组各自视为RAID1运作。RAID10有着不错的读取速度,而且拥有比RAID0更高的数据保护性。美河学习在线系统结构设计1.RAC系统拓扑结构基本如下图所示:核心交换机SUNT44数据库raNT4/4数据库rac2面出HSUNSANRAC心跳RAC心跳EMC VNX 5300美河学习在线2.主机操作系统系统数据库服务器系统规划用户组规划说明0 racle清单和软件所有者Oracle自动存储管理组ASM数据库管理员组ASM操作员组数据库管理员用户规划说明默认口令用户数据管理员主机文件系统规划物理硬盘数文件系统AD方式「挂载点文件系统大小/homeufs70GB8水300GB(文件系统用300Gswapswap30GBuf200GB美河学习在线3.存储规划存储一般采用存储方式。硬盘总物理大RAID方逻辑大小(可用 Hotspare数式空间大小)15TB存储组件/BokASMIib NameSizeComments系统路径Device/dev/sda OCR VOL1100G OCR and Voting /dev/oraclOCR/dev/sdb OCR VOL2100GDiskseasm/ORCdev oracl数据文件|/dev/ sdb DATA VOLL3T ASM Data Diskgroup easm/DATAVOIASM/dev/orac l文件备份/dev/ sdaBACK VOL11.8T RecoveryBackup easm/BACKDiskgrou备注存储暂用4.数据库RAC环境数据库规划环境信息节点名称实例名称处理器内存操作系统数据库版本软件组件软件组件名称用户主组辅组用户目录基目录
- 2020-12-03下载
- 积分：1
EM算法详细例子及推导
EM算法详细例子及推导数θ),那么对于上面的实验,我们可以计算出他们出现我们观察到的结果即0=(5,9,.8,4,7,20=(B,A,A,B,4)的概率函数P(X=x10),2z)⑨)就叫做θ的似然函数。我们将它对θ求偏导并令偏导数为0,就可以得到如的结果P(X=x0,=20))=(;P(z=A)3(1-P(z=A)2C10(1-64)10A(1-6C104(1-0(1-6B)C106n(1-6我们将这个问题稍微改变一下,我们将我们所观察到的结果修改一…下我们现在只知道每次试验有几次投掷出正面,但是不知道每次试验投掷的是哪个硬币,也就是说我们只知道表中第一列和第三列。这个时候我们就称Z为隐藏变量( Hidden variable),X称为观察变量( Observed variable)。这个时候再来估计参数θ4和θB,就没有那么多数据可供使用了,这个时侯的估计叫做不完整数据的参数估计。如果我们这个时候冇某种方法(比如,正确的猜到每次投掷硬币是A还是B),这样的话我们就可以将这个不完整的数据估计变为完整数据估计当然我们如果没有方法来获得更多的数据的话,那么下面提供了一种在这种不完整数据的情况下来估计参数θ的方法。我们用迭代的方式来进行:(1)我们先赋给θ一个初始值,这个值不管是经验也好猜的也好,反正我们给它一个初始值。在实际使用中往往这个初始值是有其他算法的结果给岀的,当然随机给他分配一个符合定义域的值也可以。这里我们就给定64=0.7,6B=0.4(2)然后我们根据这个来判断或者猜测每次投掷更像是哪枚硬币投掷的结果。比如对于试验1,如果投掷的是Δ,那么出现5个止面的概率为C10×0.75×(1-07)5≈0.1029:;如果投掷的是B,出现5个正面的概率为C105×0.43×(1-0.4)5≈0.2007;基于试验1的试验结果,可以判断这个试验投掷的是使币A的概率为0.10290.10290.2007)-0.389是B的概率为02007(0.1029+0.2007)06611。因此这个结果更可能是投掷B出现的结果(3)假设上一步猜测的结果为B,A,A,B,A,那么恨据这个猜测,可以像完整数据的参数仙计一样(公式2重新计算的值这样一次一次的迭代2-3步骤直到收敛,我们就得到了θ的估计。现在你可能有疑问,这个方法靠谱么?事实证明,它确实是靠谱的。期望最大化算法就是在这个想法上改进的。它在估计每次投掷的硬币的吋候,并不要确定住这次就是硬币A或者B,它计算岀来这次投掷的硬币是A的概率和是B的概率;然后在用这个概率(或者叫做Z的分布)来计算似然函数。期望最大化算法步骤总结如下:F步骤先利用旧的参数值〃计算隐藏变量Z的(条件)分布P(万=2|Xn2),然后计算logP(,X=m)的期望B(o(2,X=x)=∑∑P(Z=别X=)P(Z=X=x)其中θ是当前的值,而θ是上一次迭代得到的值。公式中已经只剩下θ一个变量了,θ是一个确定的值,这个公式或者函数常常叫做Q函数,用Q(6,6)来表示。M步骤极大化Q,往往这一步是求导,得到由旧的θ值′米计算新的θ值的公式aQ总结一下,期望最大化算法就是先根据参数初值估计隐藏变量的分布,然后根据隐藏变量的分布来计算观察变量的似然函数,估计参数的值。前者通常称为E步骤,后者称为M步骤3数学基础首先来明确一下我们的目标:我们的目标是在观察变量X和给定观察样本:1,x2,…,rn的情況下,极大化对数似然函数(=>nP(X2=x;)(5)其中只包含观察变量的概率密度函数P(X2=2)=∑P(X=n,=)这里因为参数θ的写法与条件概率的写法相同,因此将参数θ写到下标以更明确的表述其中Z为隐藏随机变量,{}是Z的所有可能的取值。那么6)=∑h∑P(X=x,z=2)∑h∑。Px=x这里我们引入了一组参数(不要怕多,我们后面会处理掉它的)a,它满足可能的;,0;∈(0,1和∑;a=1到这里,先介绍一个凸函数的性质,或者叫做凸函数的定义。∫(x)为凸函数,=1,2,…,m,A∈[0,1∑1A对∫(x)定义域中的任意n个m1,x2,…,xn有f(∑Aa)≤∑mf(xr)i=1对于严格凸函数,上面的等号只有在x1=2xn的时候成立。关于凸函数的其他性质不再赘述。对数函数是一个严格凸数。因而我们可以有下面这个结果0)=∑hn∑≥∑∑ah(X=2n,2=C现在我们根据等号成立的条件来确定a;即P(X=x,Z=2)C(10)其中c是一个与j无关的常数。因为∑,=1,稍作变换就可以得到P(X;=x;)现在来解释下我们得到了什么。c;就是Z=2;在X=x;下的条件概率戌者后验概率。求α就是求隐藏随机变量Z的条件分布。总结一下目前得到的公式就是)-∑∑P(Xi=i,Z(12)直接就极大值比较难求,EM算法就是按照下面这个过程来的。它就是大名鼎鼎的琴生( Jensen)不等式(1)根据上一步的θ来计算α,即隐藏变量的条件分布(2)极大化似然函数来得到当前的的估计3.1极大似然估计好吧,我觉得还是再说说极大似然估计吧。给定一个概率分布D,假设其概率密度函数为f,其中f带有一组参数6。为了估计这组参数6,我们可以从这个分布中抽出一个具有n个采样值的X1,X2,…,Yn,那么这个就是n个(假设独立)同分布随机变量,他们分别有取值x1,x2…,xn,那么我们就可以计算出出现这样一组观察值的概率密度为lI f(ai)(13)对于f是离散的情况,就计算出现这组观察值的概率10)注意,这个函数中是含有参数0的。0的极大似然估计就是求让上面似然函数取极大值的时候的参数O值。般来说,会将上面那个似然函数取自然对数,这样往往可以简化计算。记住,这样仅仅是为了简化计算。取了自然对数之后的函数叫做对数似然函数。ln()=∑lnf(n)因为对数是一个严格单调递增的凹函数,所以对似然函数取极人值与对对数似然函数取极大值是等价的。3取了对数之后还可以跟信息熵等概念联系起来4关于凸函数有很多种说法,上凸函数和下凸函数,凸函数和凹函数等等,这里指的是二阶导数大」(等」)0的一类函数,而凹函数是其相反数为凸数的一类函数32期望最大化算法收敛性如何保证算法收敛呢?我们只用证明l(04+1)≥1(00)就可以了l(0(t11)∑∑(+1)1PX=x;2=2)(+(t+1∑∑nf(X=x;,z=z;)(+1)(t)o(tn /(r=i,Z=2(t)≥∑∑ahn(t)7(0其中第一个人于等于号是因为只有当a取值合适(琴生不等式等号成立条件)的时候才有等号成立,第二个人于等于号正是M步骤的操作所致。这样我们就知道l(θ)是随着迭代次数的增加越来越人的,收敛条件是值不再变化或者变化幅度很小。4应用举例4.1参数估计很直接的应用就是参数估计,上面举的例子就是参数估计42聚类但是如果估计的参数可以表明类别的话,比如某个参数表示某个样本是否属于某个集合。这样的话其实聚类问题也就可以归结为参数估计问题。References[]最大似然估计[oNline].Availablehttp://zh.wikipediaorg/wiki.%E6%9c%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1[2] Ceppellini, r, Siniscalco, M.& Smith, C.A. Ann. Hum. Genet. 20, 97-115(1955)3 Hartley, H. Biometrics 14, 174-194(1958)4 Baum, L.E., Petric, T, Soulcs, G.& Weiss, N. Ann. Math. Stat 41, 164-171(1970)[ 5] Dempster, A P, Laird, N.M., Rubin, D B.(1977). "Maximum Likelihoodfrom Incomplete Data via the em algorithm. Journal of the royal statis-tical Society Series B(Methodological)39(1): 1-38. JSTOR 2984875 MR0501537[6]Whatistheexpectationmaximizationalgorithm[oNline].Avaiable:http//ai. stanford. edu/-chuongdo/papers/em tutorial pdf[7TheEmAlgorithmOnline.Availablehttp://www.cnblogs.com,jerrylead/ archive/2011/04/06/2006936html
- 2020-12-07下载
- 积分：1
