1、第三章 多元正态分布v3.1 多元正态分布的定义v3.2 多元正态分布的性质v3.3 极大似然估计及估计量的性质v3.4 复相关系数和偏相关系数v3.5 和(n 1)S的抽样分布v*3.6 二次型分布x13.1 多元正态分布的定义v一元正态分布N(,2)的概率密度函数为v若随机向量 的概率密度函数为则称x服从p元正态分布,记作xNp(,),其中,参数和分别为x的均值和协差阵。2221 211 2221e212exp,2xf xxxx 12(,)px xxx 1 22112exp2pfxxx2例3.1.1(二元正态分布)v设xN2(,),这里易见,是x1和 x2的相关系数。当|0)作如下的剖分:
2、2111,nnniipiiiiiiikNkkx111112222122,kkkpkpkpkkpkxxx12 则子向量x1和x2相互独立,当且仅当12=0。可作一般化推广,并对于多元正态变量而言,其子向量之间互不相关和相互独立是等价的。v例3.2.5 设xN3(,),其中则x2和x3不独立,x1和(x2,x3)独立。v(7)设xNp(,),0,则v*(8)略 12pxx 30005101113v*(9)略v*(10)略v(11)设xNp(,),0,作如下剖分则给定x2时x1的条件分布为 ,其中12和112分别是条件数学期望和条件协方差矩阵,112通常称为偏协方差矩阵。11 21122222111
3、 211122221x 1 211 2,kN111112222122,kkkpkpkpkkpkxxx14这一性质可作一般化推广,并对于多元正态变量,其子向量的条件分布仍是(多元)正态的。v例3.2.7 设xN3(,),其中试求给定x1+2x3时 的条件分布。116420,4412214 231xxx15v解 令,于是2312121,2xxyxxxy23111221231212011=100210201112=10001102230111642011=100441100102214102xxxxxyxxxEyVyyyy106166162016204016v给定y2时y1的条件均值和条件协差阵分别
4、为 所以213221324244216155555+3=12011114022222231061632116,205616204026yxxyyxx 13231221132443325552,51126222xxxxxxNxxx 173.3 极大似然估计及估计量的性质v简单随机样本(简称样本):满足:x1,x2,xn独立,且与总体分布相同。v设xNp(,),0,x1,x2,xn是从中抽取的一个样本。v数据矩阵或观测值矩阵:v一、极大似然估计v二、估计量的性质11121121222212ppnnnpnxxxxxxxxxxxXx18一、极大似然估计v1.和的极大似然估计v2.相关系数的极大似然估计
5、191.和的极大似然估计v似然函数:是样本联合概率密度 f(x1,x2,xn)的任意正常数倍,记为L(,)。不妨取12121 211211,12exp212exp2nniinpiiinnpiiiLff x xxxxxxx20极大似然估计v一元正态情形:v多元正态情形:其中 称为样本均值向量(简称为样本均值),称为样本离差矩阵,称为样本协方差矩阵。222,221,max,1,niiLLxxxn ,max,11,LLnnn xASx1niiiAxxxx11nSA212.相关系数的极大似然估计v相关系数ij的极大似然估计为其中 。称rij为样本相关系数、为样本相关矩阵。12211()()()()nk
6、iikjjijijkijnniijjiijjkiikjjkkxxxxsrssxxxx 12,ijijpsx xxSx ijrR22二、估计量的性质v1.无偏性v2.有效性v3.一致性v4.充分性231.无偏性v如果 ,则称估计量 是被估参数的一个无偏估计,否则就称为有偏的。v 。v ,是的有偏估计。vE(S)=。E Ex 1nEn24v证明 11111=1=11111niiiniiiniiiniiEEnEnEnnnVnVnnnnnnxxxxxxxxxxxxxx252.有效性v设 是的一个无偏估计,若对的任一无偏估计 有 即 为非负定矩阵,则称 为的一致最优无偏估计。v可以证明,对于多元正态总体
7、,和S分别是和的一致最优无偏估计。VV,VV-x263.一致性v如果未知参数(可以是一个向量或矩阵)的估计量 随着样本容量n的不断增大,而无限地逼近于真值,则称 为的一致估计,或称相合估计。v估计量的一致性是在大样本情形下提出的一种要求,而对于小样本,它不能作为评价估计量好坏的准则。v可以证明,和(或S)分别是和的一致估计 (无需总体正态性的假定)。nnx274.充分性v如果一个统计量能把含在样本中的有关总体(或有关未知参数)的信息一点都不损失地充分提取出来,则这种统计量就称为充分统计量。v可以证明,对于总体Np(,),当已知时,是的充分统计量;当已知时,是的充分统计量;当和均未知时,(,A)
8、是(,)的充分统计量。v用来作为估计量的充分统计量称为充分估计量。A,S这三者之间只相差一个常数倍,所含的信息完全相同,故当和均未知时,也都是(,)的充分统计量。v若按无偏性的准则,则可采用(,S)作为未知参数(,)的充分估计量。x11=niiinxxx,x x S和x283.4 复相关系数和偏相关系数 v一、复相关系数v*二、最优线性预测v三、偏相关系数29一、复相关系数v(简单)相关系数度量了一个随机变量x与另一个随机变量y之间线性关系的强弱。v复相关系数度量了一个随机变量y与一组随机变量x1,x2,xp之间线性关系的强弱。v设,1yyxyyxyxxxxyxyxxyyEVyxxRx的相关矩
9、阵30v则y和x的线性函数lx(l 0)间的最大相关系数称为y和x间的复(或多重)相关系数(multiple correlation coefficient),记作yx或y1,2,p,它度量了一个变量y和一组变量x1,x2,xp间的相关程度。v若x1,x2,xp互不相关,则有111max,yxyxxxyxxxyxyxxxyyyyyxll x x R 021221,yxyxxxyxyxypy xy xx R 31v例3.4.1 试证随机变量x1,x2,xp的任一线性函数F=a1x1+a2x2+apxp与x1,x2,xp的复相关系数为1。证明1,2,1 1221 1221,2,1max,11Fpp
10、pppFpF l xl xl xF a xa xa xl032yx的极大似然估计v设 这里np,则在多元正态的假定下,复相关系数yx的极大似然估计为 称为样本复相关系数。1xyyyxyxyxxxyxxsyyVrssSxxrR样本,的样本相关矩阵11xyxxxyyxyxxxyyyrsxs S sr R r33v例3.4.2 今对31个人进行人体测试,考察或测试的七个指标是:年龄(x1)、体重(x2)、肺活量(x3)、1.5英里跑的时间(x4)、休息时的脉搏(x5)、跑步时的脉搏(x6)和跑步时记录的最大脉搏(x7)。数据列于表3.4.1。可算得x3与x1,x2,x4,x5,x6,x7的样本复相关
11、系数3 1,2,4,5,6,70.9209r34编号x1x2x3x4x5x6x714489.4744.60911.376217818224075.0745.31310.076218518534485.8454.2978.654515616844268.1559.5718.174016617253889.0249.8749.225517818064777.4544.81111.635817617674075.9845.68111.957017618084381.1949.09110.856416217094481.4239.44213.0863174176103881.8760.0558.634
12、8170186114473.0350.54110.1345168168124587.6637.38814.0356186192134566.4544.75411.1251176176144779.1547.27310.647162164155483.1251.85510.3350166170164981.4249.1568.9544180185175169.6340.83610.9557168172185177.9146.6721048162168194891.6346.77410.2548162164204973.3750.38810.0876168168215773.3739.40712.
13、6358174176225479.3846.0811.1762156165235276.3245.4419.6348164166245070.8754.6258.9248146155255167.2545.11811.0848172172265491.6339.20312.8844168172275173.7145.7910.4759186188285759.0850.5459.9349148155294976.3248.6739.456186188304861.2447.9211.552170176315282.7847.46710.553170172表3.4.1 人体的测试数据35*二、最
14、优线性预测v当我们用x的函数g(x)来预测y时,可用均方误差Ey g(x)2作为预测精度的度量。如果限制g(x)为线性函数,则使 Ey g(x)2达到最小的线性预测函数是 即有v称 为用x对y的最优线性预测。1yxyxxxy x 22mingE yyE ygxx y1,xyxxyy yyx x36v最优线性预测 的均方误差v 的精度与yy和yx有关。v被预测变量y可作如下分解:=最优线性预测+预测误差 221111111122Cov,2Cov,1yxyxxxxyxxxyxxxyxxyyxyxxxxxxxyxxxyyyxyxxxyyyyE yyE yV yV yVyyx x x x x x 11
15、yxyxxxyxyxxxyyyyy x x(受x线性影响部分)(不受x线性影响部分)37v预测误差部分可看作是从y中扣除x的线性影响后剩余的部分,它不受x的线性影响,因为称之为总体复判定系数,它表示y的方差可由x1,x2,xp联合解释的比例,该值越大,表明预测效果越好。111Cov,Cov,Cov,yxyxxxxyxxxyxxxyxyxyyyVx xxx xx 0 2211yyyyyyyV yV yV yyE yyV yyV y x38v在y对x1,x2,xp的多元线性回归模型中,可以证明:v(1)y与预测值 的样本相关系数等于y与x1,x2,xp的样本复相关系数,即v(2)(样本)复判定系数
16、为v例3.4.3 在例3.4.2中,建立x3对x1,x2,x4,x5,x6,x7的六元线性回归模型,拟合函数为可用来对x3进行预测,复判定系数R2=0.8480,(样本)复相关系数 ,也是x3与预测值 的样本相关系数。,yr y yrx22yRrx31245670.0722.6810.0010.3730.305xxxxxxx=102.238-0.22023 1,2,4,5,6,70.9209rR3 1,2,4,5,6,7r3 x39三、偏相关系数v两个变量之间的相关性,除了受这两个变量彼此间的影响外,常常还受其他一系列变量的影响。由于这个原因,相关系数有时也称为总(或毛,gross)相关系数,
17、其意思是包含了由一切影响带来的相关性。v顺便指出,相关系数有时亦称为简单相关系数或皮尔逊(Pearson)相关系数或零阶偏相关系数。40v例3.4.4 x1家庭的饮食支出 x2家庭的衣着支出 x3家庭的收入x1和x2之间存在着较强的正相关性。x3分别与x1和x2的强正相关性导致了x1和x2的较强正相关性。如果我们能用某种方式把x3的影响消除掉,或者说控制了x3(即x3保持不变),则x1和x2之间(反映净关系)的相关性可能就很不一样了,很有可能会显示负相关性。41v将x,(0),S剖分如下:称 为给定x2时x1的偏协方差矩阵。记 ,称 为偏协方差,它是剔除了 的(线性)影响之后,xi和xj之间的
18、协方差。111121112221222122,kkkpkpkpkkpkkpkxSSxSxSS111 211122221 11 21,ij kp1,ij kp21,kpxxx42v给定x2时xi 和xj的偏相关系数(partial correlation coefficient)定义为其中 。vijk+1,p度量了剔除xk+1,xp的(线性)影响之后,xi和xj间相关关系的强弱。v对于多元正态变量x,由于112也是条件协方差矩阵,故此时偏相关系数与条件相关系数是同一个值,从而ijk+1,p同时也度量了在xk+1,xp值给定的条件下xi和xj间相关关系的强弱。1,1,1,1,1,ij kpij k
19、pii kpjj kpi jk11 21,ij kp43v一阶偏相关系数可直接由相关系数算得。设x1,x2,x3是三个随机变量,则有v(1)12=0并不意味着123=0,反之亦然。v(2)12与123未必同号。v此外,12与123之间孰大孰小也没有必然的结论。12132312 322132313122313 222122323121323 1221213111111 44v偏相关系数的一般递推公式:v在多元正态性的假定下,ijk+1,p的极大似然估计为其中 。称rijk+1,p为样本偏相关系数。2,12,12,1,22,12,12,11ij kpi kkpj kkpij kpi kkpj kk
20、p1,1,1,1,1,ij kpij kpii kpjj kpsri jkss111 2111222211,ij kpsSSS S S45v例3.4.5 假设对16个婴儿测量了出生体重(盎司)、出生天数(日)及舒张压(mmHg),数据见表3.4.2。表3.4.2 16个婴儿的出生体重、年龄及血压的数据编号出生体重(x1)出生天数(x2)舒张压(x3)11353892120490310038341052775130492612559871252828105385912059610904951112028012953791312038614150497151603921612538846 在控制出
21、生天数后,舒张压与出生体重的样本偏相关系数为 在控制出生体重后,舒张压与出生天数的样本偏相关系数为10.10680.44110.106810.87080.44110.87081R1312 3213 2222212320.44110.10680.87080.71211110.106810.8708rr rrrr2321 3123 1222221310.87080.10680.44110.92311110.106810.4411rr rrrr473.5 和(n 1)S的抽样分布v一、的抽样分布v*二、(n 1)S的抽样分布xx48一、的抽样分布v1.正态总体 设xNp(,),0,x1,x2,xn是
22、从总体x中抽取的一个样本,则v2.非正态总体(多元中心极限定理)设x1,x2,xn是来自总体x的一个样本,和存在,则当n很大且n相对于p也很大时,1,pNnxx,nNx0近似49*二、(n1)S的抽样分布v设随机矩阵X=(x1,x2,xq)=(xij):pq,称“vec”为拉直运算。当X=X时,因xij=xji,故只需取其下三角部分组成一个缩减了的长向量,记作vech(X),即vech(X)=(x11,xp1,x22,xp2,xp1,p1,xp,p1,xpp)vX的分布是指vec(X)或(当X=X时)vech(X)的分布。v拉直运算将矩阵分布问题转化为了向量分布的问题。12vecqxxXx50
23、v设随机向量x1,x2,xn独立同分布于Np(0,),0,np,则p阶矩阵 的分布称为自由度为n的(p阶)威沙特(Wishart)分布,记作Wp(n,)。当p=1,=2=1时,显然有,即有W1(n,1)=2(n)因此,威沙特分布是卡方分布在多元场合下的一种推广。1niiiWx x 221niiWxn51威沙特分布的性质v(1)设WiWp(ni,),i=1,2,k,且相互独立,则W1+W2+WkWp(n1+n2+nk,)v(2)设WWp(n,),C为qp常数矩阵,则CWCWq(n,CC)v设x1,x2,xn是取自Np(,),0的一个样本,np,则可以证明,和S相互独立,且有(n1)SWp(n1,)x52