第三讲多元正态分布课件.ppt

1、第一章第一章 多元正态分布多元正态分布 2多元正态分布及参数估计多元正态分布及参数估计n基础知识n统计距离和马氏距离n多元正态分布n均值向量和协方差阵的估计n几种常用的抽样分布3基础知识n随机向量n分布密度函数n多元变量的独立性n随机向量的数字特征4一元分布一元分布一、一元随机变量与概率分布函数二、概率分布函数的类型三、随机变量的数字特征四、一些重要的一元分布:二项分布、泊松分布、正态分布随机变量随机变量（random variable）n5复习：（一元统计中的分布和密度函数）设 是一个随机变量，称 为 的概率分布函数或称为分布函数，记为 。离散型随机变量 的概率分布列：在有限或可列个值 上取

2、值，记为 ，且 。连续型随机变量 的密度函数：存在一个非负函数 ，使得对一切实数 有 ，称 为 的概率密度函数或密度函数。且 满足：(1)，(2)。X)()(xXpxFX)(xFXXkxkkpxXp)(,2,1k1kkpX)(xfxxdxxfxF)()()(xfX)(xfxxf对一切实数,0)(1)(dxxf7随机向量n随机向量:由多个随机变量组成的向量。nn个样品，p个指标n数据表：变量为列，样品为行。),(21pXXXX8分布函数与密度函数n),(21pXXXX),(),()(221121pPpxXxXxXPxxxFxFppRxxxx),(219分布函数与密度函数n设n若存在一个非负函数f

3、(.)，使得n对一切 成立，则称X有分布密度f(.)，并称X为连续型随机向量。性质：，对于任意x属于p维实数空间。),()(21pxxxFxFXpxpxdtdtdttttfxF,),()(212112ppRxxxx),(21pRdxxf1)(0)(xf边缘分布函数及边缘密度函数边缘分布函数及边缘密度函数用途用途：判断判断边缘密度边缘密度随机变量的随机变量的独立性独立性独立的充分必要条件：独立的充分必要条件：),(),(),(11121pqqpqqxxFxxFxxxxxF或或),(),(),(11121pqqpqqxxfxxfxxxxxf特别的特别的 中中 与与 独立的独立的),(21pXXXX

4、iX)(jiXj)()(),()()(),(jijijijixfxfxxfxFxFxxF多元向量的独立性12多元向量的独立性n两个随机向量X和Y是相互独立的，则 ，对一切x,y成立。n若F(x,y)为(X,Y)的联合分布函数，G(x)和H(y)分别为X和Y的分布函数，则X和Y独立当且仅当 F(x,y)=G(x)H(y)n若f(x,y)为(X,Y)的密度函数，g(x)和h(y)分别为X和Y的分布密度，则X和Y独立当且仅当 f(x,y)=g(x)h(y)n类似地，若它们的联合分布等于各自分布的乘积，则p个随机变量是相互独立的。)()(),(yYPxXPyYxXP13随机向量的数字特性随机向量的均值

5、ppXEXEXEXE2121)()()()()()()()()()()(YBEXAEBYAXEBXAEAXBEXAEAXE性质性质14 协方差矩阵 1、定义：设 和 分别为 维和 维随机向量，则其协方差矩阵为),(21pxxxX),(21qyyyYpq)()()()()()(22112211qqppyEyyEyyEyxExxExxExE15),cov(),cov(),cov(),cov(),cov(),cov(),cov(),cov(),cov(),cov(212221212111YXyxyxyxyxyxyxyxyxyxqpppqq时的协方差矩阵为YX)var(),cov(),cov(),co

6、v()var(),cov(),cov(),cov()var()(2122121211pppppxxxxxxxxxxxxxxxVarx161)若(x1,x2,，xp)和(y1,y2,，yq)不相关。则0),cov(),cov(),cov(),cov(),cov(),cov(),cov(),cov(),cov(212221212111qpppqqyxyxyxyxyxyxyxyxyx性质性质17)var(000)var(000)var()(21pxxxVarx 若X=Y,且各分量相互独立，则协方差矩阵除主对角线上的元素外均为零，即协方差阵为方差D(x)182）随机向量X的协方差矩阵是非负定矩阵。证：

7、设a为任意与X有相同维数的常数向量，则axxEaaa)()(axxaE0)(2xaE3）设A是常数矩阵，b为常数向量，则 D(AX+b)=AD(X)A；)(bAX D)()(bAbAXE)()(bAbAX)(AxxAEAxA)(D194)若(x1,x2,，xp)和(y1,y2,，yq)分别是p和q维随机向量，A和B为常数矩阵，则 ByxAByAx),(),(CovCov),(ByAxCov证)()(yEyEEBBxAAx),cov()(BYXAEyyEEBxxA 5)若(k1,k2,，kn)是n个不全为零的常数，(x1,x2,，xn)是相互独立的n维随机向量，则)(21n21xxxnkkkD)

8、()()(22221n21xxxDkDkDkn 若 的协方差阵存在，且每一个分量的方差大于0，则称随机向量 的相关阵为 其中 。TpXXXX),(21X11121212112ppppRjjiiijjjiijiijxxCov),(相关系数矩阵1/21/212111111/21/212222221/21/2121/21/211111/211/222221/2/11222ppppppppppppppRijjiiiiiirZZCovRpiXZ),(,2,1,22多元正态分布 多元正态分布函数及其特征 抽样分布23多元正态分布 多元正态分布在多元统计分析中占有重要的地位，是多元统计分布的基础。多元正态分

9、布具有良好的性质：有些现象服从多元正态分布许多多元统计分布的抽样分布是近似正态分布24多元正态分布 它是一元正态分布的推广设随机向量 服从P维正态分布，则有，,pNX xxXfp121221exp2)(),(21pxxxX二元正态分布二元正态分布 设xN2(,)，这里易见，是x1和 x2的相关系数。当|0,则有：a)b)给定 ，),(pNX),(pNX1)(21pxxP多元正态分布的性质 12pxx 总结起来，多元正态随机向量具有下列性质：总结起来，多元正态随机向量具有下列性质：的分量的线性组合服从正态分布；的分量的任一子集，仍服从正态分布；具有零协方差的分量相互独立；两个多元正态随机向量独立

10、等价于协方差阵为0；多元正态随机向量的线性组合仍然是正态的。XX多元正态分布性质31条件分布和独立性若 ,将X，作如下划分：(p=2),(pNX,)2()1(XXX)2()1(22211211定理定理1若 ,则 ),(pNX,0),()(21121)2()1(pNXX其中：)()2()2(12212)1(21X21122121121132条件分布和独立性若 ,将X，作如下划分：),(pNX,tsrXXXX)3()2()1(tsr333231232221131211定理2则 ,0)(),(32)2(132231231)3()2()1(XXXXE其中：)()3()(3XXEiikjkkikijki

11、j1tsr)3()2()1(3211322312311)3()2()1(),(XXXD例题：例1 对于 ，求 的分布。例2 若 ，求 的分布。例3 设 ，其中 。问：是否独立？和 也独立？),(),(3321NXXXXT3221XXXX),(),(3321NXXXXT31XX),(),(3321NXXXXT50001202121,XX),(21XX3X复相关系数和偏相关系数复相关系数和偏相关系数 一、复相关系数一、复相关系数二、偏相关系数二、偏相关系数一、复相关系数n（简单）（简单）相关系数度量了一个随机变量相关系数度量了一个随机变量x1与另一个与另一个随机变量随机变量x2之间线性关系的强弱。

12、之间线性关系的强弱。n复相关系数度量了一个随机变量复相关系数度量了一个随机变量x1与一组随机变量与一组随机变量x2,xp之间线性关系之间线性关系的强弱。的强弱。n将将x,(0)剖分如下：剖分如下：111212212211,1111xpppxx x x1 1和和x x2 2的线性函数的线性函数 间的最大相关系数称为间的最大相关系数称为 x x1 1和和x x2 2间的间的复复(或或多重多重)相关系数相关系数(multiple(multiple correlation coefficient)correlation coefficient)，记作，记作1 12,2,p p ,它度它度量了一个变量量

13、了一个变量x x1 1与一组与一组变量变量x x2 2,x xp p间的相关程度。间的相关程度。可推导出可推导出1 212122211 2,1211max,pxl l x0 2 l x偏相关系数偏相关系数 将将x,(0)剖分如下：剖分如下：称称 为给定为给定x2时时x1的的偏协方差矩偏协方差矩阵阵。记。记 ，称，称 为为偏协方差偏协方差，它是剔除了它是剔除了 的（线性）影响之后，的（线性）影响之后，xi和和xj之间的协方差。之间的协方差。1111222122,kkpkpkkpkxxx111 211122221 11 21,ij kp1,ij kp21,kpxxxn给定x2时xi 和xj的偏相关

14、系数（partial correlation coefficient）定义为其中 。nijk+1,p度量了剔除xk+1,xp的（线性）影响之后，xi和xj间相关关系的强弱。n对于多元正态变量x，由于112也是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而ijk+1,p同时也度量了在xk+1,xp值给定的条件下xi和xj间相关关系的强弱。1,1,1,1,1,ij kpij kpii kpjj kpi jk11 21,ij kp多元样本的概念及表示法总体：在多元分析中，仍然将所研究的对象的全体称 为总体，它也是由(有限或无限个)个体所组成。我们这里的 维总体(元总体)指的是构成总

15、体的个体是具有 个需要观测的指标的个体。由于从总体中随机抽取的一个个体，其 个指 标观测值事先未知，完全依赖于抽取的个体。因 此 维总体可用一个 维向量来表示。例如：一个三元总体用 表示。ppppppTXXXX),(321样本：样本：多元分析中的总体是多元总体，因此从 维总 体中随机抽取的 个个体：，若 相互独立且与总体同分布，则称 为该总体的一个多元随机样 本，简称为简单随机样本。其中每个 为形如 的 维向量，为第 个样 品对第 个指标的观察值。注：因为每个观测值在实验之前不能实现确定，所以我们依然把它们看成随机变量。pn)()2()1(,nXXX)(iXTipiiiXXXX),(21)()

16、()2()1(,nXXX)()2()1(,nXXXijXijp 将全部的观测结果用一个 阶矩阵 表示，得到 为一个随机矩阵(样本矩阵)。一旦观测值取定就是一个数据矩阵。pnXpTnTTnpnnppXXXXXXXXXXXXXXXX21)()2()1(212222111211 多元样本的数字特征 设 为来自 元总体的样本，其中 。1、样本均值向量的定义：矩阵形式表示为 )()2()1(,nXXXpniXXXXTipiii,2,1,),(21)(TpniinXXXXX),(211)(1TnnTnXX)1,1,1(1,11其中均值向量均值向量的几何解释的几何解释2、样本离差阵定义 矩阵形式表示为：()

17、()1()()()nTiiijp piLXXXXl110(11),01TTnn nnnLXIXI其中证明：ppTnnTnTnXXXXXX111111TnnTnTTnTXXXX1111则),()()2()1(XXXXXXn()()1()()nTiiiLXXXXXIXXXXXTnnnnTTTnnTnTTnnTnT)11()11)(11(1113样本协方差的定义：4样本相关阵的定义：其中 11()()1()()()nTiiijp pnnipLXXXXvppijrR)(jjiiijjjiiijijsssvvvr46样本统计量的极大似然估计设 ,X1,X2,Xn是来自总体X的样本，则),(pNX()11

18、1(11)niinjpjjLXXnXXXXnn 分别是 的极大似然估计量。,和 的基本性质：1 ，即 是 的无偏估计。，即 不是 的无偏估计。，即 是 的无偏估计 2 ，分别是 和 的有效估计。3 ，分别是 和 的相合估计。)(XEX11()nnELn1nL11()nEL 11nLX11nLX111()nnLL或补充nX)cov(48 在一元正态随机变量中，我们曾经讨论了 分布，在多元正态随机变量也有类似的样本分布。维沙特分布（Wishart）相当于一元统计中的 分布。1928年由Wishart推导出来的。22维沙特（Wishart）分布 几种常用的抽样分布几种常用的抽样分布 49 定义定义

19、维沙特（维沙特（WishartWishart）分布的统计量）分布的统计量 设 个随机向量 n),3,2,1(),(21niXXXipiii X)()2()1(212222111211npnnpnnppXXXXXXXXXXXXX 独立同分布于 ，则),(pN 服从自由度为 的非中心维沙特分布，记为 n(,)pWW nZ()()1niiiWX XXX，当 时，称为中心维沙特分布，记为),(nWpniiiZ10i50 定理1：若 ，且 ，则 的分布密度为特别，当 和 时，服从 分布。(,)pWW n pn 0 W0,)21(|2)21exp(|)(1221)1(212)1(ainAtraaFpinn

20、ppnpp1 p1 W2维沙特（Wishart）分布的密度函数当p=1时，退化为 ，此时中心维沙特分布退化为 ，维沙特分布是卡方分布的推广。2)(22n51维沙特(Wishart)分布有如下的性质：（1）若1和2独立，其分布分别 和 ，则 的分布为 ，即维沙特(Wishart)分布有可加性可加性。),(1nWp),(2nWp12WW),(21nnWp（2），C为mp阶的矩阵，则 的分布为 分布。(,)pWWn W CC),(CC nWm多元正态分布的随机样本52)1,(nNXpL1n 的分布为自由度为 的维沙特分布LX 和 是相互独立的53定义：定义：(,)(,),ppWnN设和X相互独立 则

21、212(,)TnXXTp n 称T2服从参数为P和n的非中心霍特林（Hotelling)分布，212()()(,)n XXTp n(,)(,),ppWnN设和X相互独立 则 当 时，服从自由度为n的中心霍特林分布，记为 。021TnXX 21TnXX),(2npT)1,(12pnpFTnppn霍特林霍特林（Hotelling)分布分布2T定理定理：54 ),(11211 pxxx1x),(222212 pxxxx),(21 npnnnxxxx样本均值令 niin11()()iiLni 1XX XX 样本叉积矩阵212(1)()()(,1)nn xLxTp n 则)1,(1),(2 pnpFpn

22、npnpT且 定理定理：设 是来自多元正态总体 的简单随机样本，有n21xxx,),(pN55维尔克斯分布n若 ，则称协差阵的行列式 为广义方差，称 为样本广义方差。其中 n定义 若 ，且A1和A2相互独立，则称 (0,)pNX1Sn()()1()()nSXXXX11(,)pWWn 1np22(,)pWWn 0 112WWW 为维尔克斯（wilks）统计量，的分布称为维尔克斯分布，简记为 12(,)p n n补充：二次型分布 。分布，记为称为中心时为非中心参数。是分布的自由度，记为分布，称为则随机变量若)(0),(),(22122212pXXXXppXXxXXINXTTpiiTTpiiTpp)

23、(),0(21pXXNXTp 则定理：若欧氏距离欧氏距离 在多指标统计分析中,距离的概念十分重要,样品间的不少特征都可用距离去描述。大部分多元方法是建立在简单的距离概念基础上的。即平时人们熟悉的欧氏距离,或称直线距离.如几何平面上的点p=(x1,x2)到原点O=(0,0)O=(0,0)的欧氏距离,依勾股定理有22 1/212(0,)()dpxx统计距离统计距离 但就大部分统计问题而言，欧氏距离是不能令人满意的。这里因为，每个坐标对欧氏距离的贡献是同等的。当坐标轴表示测量值时，它们往往带有大小不等的随机波动，在这种情况下，合理的办法是对坐标加权，使得变化较大的坐标比变化小的坐标有较小的权系数，这

24、就产生了各种距离。欧氏距离还有一个缺点，这就是当各个分量为不同性质的量时，“距离”的大小竟然与指标的单位有关。例如，横轴 代表重量（以kg为单位），纵轴 代表长度（以cm为单位）。有四个点A、B、C、D见图1.1，它们的坐标如图1.1所示1X2X 目录 上页 下页 返回 结束 1011101251052222CDAB这时显然AB比CD要长。100011100260010502222CDAB结果CD反而比AB长！这显然是不够合理的。2x2x 现在，如果 用mm作单位，单位保持不变，此时A坐标为（0，50），C坐标为（0，100），则2x1x 因此，有必要建立一种距离，这种距离要能够体现各个变量在

25、变差大小上的不同，以及有时存在着的相关性，还要求距离与各变量所用的单位无关。看来我们选择的距离要依赖于样本方差和协方差。因此，采用“统计距离”这个术语，以区别通常习惯用的欧氏距离。最常用的一种统计距离是印度统计学家马哈拉诺比斯（Mahalanobis）于1936年引入的距离，称为“马氏距离”。下面先用一个一维的例子说明欧氏距离与马氏距离在概率上的差异。设有两个一维正态总体 。若有一个样品，其值在A处，A点距离哪个总体近些呢？由图1-2),(:),(:22222111GG和图1-2马氏距离马氏距离 设X、Y从均值向量为从均值向量为，协方差阵为，协方差阵为的总体的总体G中抽取的两个样品，定义X、Y

26、两点之间的马氏距离为两点之间的马氏距离为(1.21)()(),(1/2YXYXYXdmXG(1.22)()(),(1/2XXXGdm的马氏距离为与总体定义 设设 表示一个点集，表示一个点集，表示距离，它表示距离，它 是到是到 的函数，可的函数，可以证明以证明,马氏距离符合如下距离的四条基本公理马氏距离符合如下距离的四条基本公理:EdEE),0；0),(yxdEyx,（1 1），（2 2）当且仅当当且仅当 ；0),(yxdyx（3 3）),(),(xydyxdEyx,（4 4）),(),(),(yzdzxdyxdEzyx,065马氏距离和欧式距离之间的差别 2(,)(dG-1xx-)(x-)2(,)(dGxx-)(x-)马氏距离欧氏距离66马氏距离有如下的特点：马氏距离有如下的特点：1-2y=x-11-22y y=x-x-11-22=x-x-1-=x-x-2、马氏距离是标准化后的变量的欧式距离1、马氏距离不受计量单位的影响;67 3、若变量之间是相互无关的，则协方差矩阵为对角矩阵1122pp11122111pp681122211(,)(1ppdGxx-)(x-)22211221122ppppxxx此时的马氏距离为此时的马氏距离为69 以上有不当之处，请大家给与批评指正，以上有不当之处，请大家给与批评指正，谢谢大家！谢谢大家！