第二章-多元正态分布的参数估计要点课件.ppt

1、第二章 多元正态分布2.1 多元正态分布的定义多元正态分布的定义2.2 多元正态分布的性质多元正态分布的性质2.3 复相关系数和偏相关系数复相关系数和偏相关系数2.4 极大似然估计及估计量的性质极大似然估计及估计量的性质2.5 和和(n 1) S的抽样分布的抽样分布X2.1 多元正态分布的定义一元一元正态分布正态分布N(,2)的概率密度函数的概率密度函数为：为：若随机向量若随机向量 的概率密度函数为的概率密度函数为则称则称X服从服从p元正态分布元正态分布，记作，记作XNp (, )，其中，参数，其中，参数和和分别为分别为X的均值和协差阵。的均值和协差阵。 2221 211 22212122ee

2、xp,xfxxxx 12(,)pXXXX 21 21122exppfxxx 例例1（二元正态分布（二元正态分布 ）设设XN2(, )，这里，这里易见，易见，是是X1和和 X2的相关系数。当的相关系数。当|0)作如下的剖分：作如下的剖分： 2111,nnniipiiiiiiik XNk k 111112222122,XkkkXXpkpkpkkpk 则子向量则子向量X1和和X2相互独立，当且仅当相互独立，当且仅当12=0。该性质指出，对于多元正态变量而言，其子向量之间该性质指出，对于多元正态变量而言，其子向量之间互不相关和相互独立是等价的。互不相关和相互独立是等价的。（7）设）设XN p (, )

3、, 0，则，则例例4 设设XN3(,)，其中，其中则则X2和和X3不独立，不独立，X1和和(X2,X3)独立。独立。 12XXp 000035111 （8）设）设XN p (, ), 0，作如下剖分，作如下剖分则给定则给定X2时时X1的条件分布为的条件分布为 ，其中，其中12和和112分别是条件数学期望和条件协方差矩阵，分别是条件数学期望和条件协方差矩阵，112通常称为偏协方差矩阵。通常称为偏协方差矩阵。1121122222111211122221 x 12112,kN111112222122,XkkkXXpkpkpkkpk 这一性质表明，对于多元正态变量，其子向量的条件分布这一性质表明，对于

4、多元正态变量，其子向量的条件分布仍是（多元）正态的。仍是（多元）正态的。例例5 设设XN3(, )，其中，其中试求给定试求给定X1+2X3时时 的条件分布。的条件分布。011642,4412214 231XXX 2.3 复相关系数和偏相关系数 一、复相关系数一、复相关系数二、偏相关系数二、偏相关系数一、复相关系数相关系数度量了一个随机变量相关系数度量了一个随机变量x1与另一个随机变量与另一个随机变量x2之间线性关系的强弱。之间线性关系的强弱。复相关系数度量了一个随机变量复相关系数度量了一个随机变量X1与一组随机变量与一组随机变量X2, ,Xp之间线性关系之间线性关系的强弱。的强弱。将将X, (

5、0)剖分如下：剖分如下：1112122122111111,XXXppp X1和和X2的线性函数的线性函数 间的最大相关系数称为间的最大相关系数称为 X1和和X2间的间的复复(或或多重多重)相关系数相关系数(multiple correlation coefficient)，记作，记作12, ,p, 它度量了一个变量它度量了一个变量X1与一组与一组变量变量X2, ,Xp间的相关程度。间的相关程度。可推导出可推导出例例4 随机变量随机变量X1, ,Xp的任一线性函数的任一线性函数F=l1X1+ + lp Xp与与X1, ,Xp的复相关系数为的复相关系数为1。证明证明: 1 212122211212

6、11,0max,pl X l X 2l X 11111111,a 0,max,FpppppFpF a Xa XF l Xl X 二、偏相关系数将将X, (0)剖分如下：剖分如下：称称 为给定为给定X2时时X1的的偏协方差矩偏协方差矩阵阵。记。记 ，称，称 为为偏协方差偏协方差，它是剔除了它是剔除了 的（线性）影响之后，的（线性）影响之后，Xi和和Xj之间的协方差。之间的协方差。1111222122,XkkXXpkpkkpk 111 211122221 11 21,ij kp 1,ij kp 21,kpXXX 给定给定X2时时Xi 和和Xj的的偏相关系数偏相关系数（partial correla

7、tion coefficient）定义为定义为:其中其中 。ijk+1, ,p度量了剔除度量了剔除Xk+1, ,Xp的（线性）影响之后，的（线性）影响之后，Xi和和Xj间相关关系的强弱。间相关关系的强弱。 对于多元正态变量对于多元正态变量X，由于，由于112也也是条件协方差矩阵，是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而故此时偏相关系数与条件相关系数是同一个值，从而ijk+1, ,p同时也度量了在同时也度量了在Xk+1, ,Xp值给定的条件下值给定的条件下Xi和和Xj间相关关系的强弱。间相关关系的强弱。 11111,ij kpij kpii kpjj kpi jk 11

8、21,ij kp 2.4 极大似然估计及估计量的性质一、样本一、样本X1,X2, ,Xn的联合概率密度的联合概率密度二、二、 和和的极大似然估计的极大似然估计 三、相关系数的极大似然估计三、相关系数的极大似然估计 四、估计量的性质四、估计量的性质设设XNp(, ) , 0，X1,X2, ,Xn是从总体是从总体X中抽取的中抽取的一个一个简单随机样本简单随机样本（今后简称为（今后简称为样本样本），即满足：），即满足：X1,X2, ,Xn独立，且与总体分布相同。独立，且与总体分布相同。令令称之为（样本）称之为（样本）数据矩阵数据矩阵或或观测值矩阵观测值矩阵。11121121222212ppnnnnp

9、XXXXXXXXXXXXX一、样本X1,X2, ,XN的联合概率密度极大似然估计极大似然估计是通过似然函数来求得的，是通过似然函数来求得的，似然函数似然函数可可以是样本联合概率密度以是样本联合概率密度 f (x1,x2, ,xn)的任意正常数倍，的任意正常数倍，我们不妨取成相等，记为我们不妨取成相等，记为L(, )。可具体表达为：。可具体表达为：12121 211211,12exp212exp2nniinpiiinnpiiiLff x xxxxxxx二、和的极大似然估计一元正态情形：一元正态情形：多元正态情形：多元正态情形：其中其中 称为称为样本均值向量样本均值向量（简称为（简称为样本均值样本

10、均值），）， 称为称为样本离差矩阵样本离差矩阵。 2222211, ,max,niiLLXXXn 1,max, L L XAn X 1niiiAXXXX 三、相关系数的极大似然估计1.简单相关系数简单相关系数2.复相关系数复相关系数3.偏相关系数偏相关系数1.简单相关系数相关系数相关系数ij的极大似然估计为的极大似然估计为:其中其中 。称称S为为样本协方差矩阵样本协方差矩阵、rij为为样本相关系数样本相关系数、 为为样本相关矩阵样本相关矩阵。12211()()()()nijkikjijijkijnniijjiijjijkikjkkXXXXsrssXXXX 1211,pijijXXXXSAsn

11、ijRr 2.复相关系数将将X, (0),S剖分如下：剖分如下：则复相关系数则复相关系数12, ,p的极大似然估计为的极大似然估计为r12, ,p,称之为称之为样本样本复相关系数复相关系数。其中。其中 1112111212212221221111111111,XssXSXsSppppp 1 21 2112122212122211 21 21111,pp s S srs 3.偏相关系数将将X, (0),S剖分如下：剖分如下：则偏相关系数则偏相关系数ijk+1, ,p的极大似然估计为的极大似然估计为rijk+1, ,p ，称之，称之为为样本偏相关系数样本偏相关系数，其中，其中11112111222

12、1222122,XSSkkkXSXSSpkpkpkkpkkpk11111,ij kpij kpii kpjj kpi jk 1111 211122221111 211122221111111,ij kpij kpij kpij kpii kpjj kp SSS S Sssri jkss ；3.5 和(N 1)S2的抽样分布一、一、 的抽样分布的抽样分布二、二、 (n 1)S的抽样分布的抽样分布XX一、 的抽样分布1.正态总体正态总体 设设XNp (, ), 0 ，X1,X2, ,Xn是从总体是从总体X中抽取的中抽取的一个样本，则一个样本，则2.非正态总体（非正态总体（中心极限定理中心极限定理）

13、 设设X1,X2, ,Xn是来自总体是来自总体X的一个样本，的一个样本，和和存在，当存在，当n很大且很大且n相对于相对于p也很大时，上式近似地成立。也很大时，上式近似地成立。1,pXNnX 二、均值向量与协差阵的最大似然估计 三、估计量的性质1.1.无偏性无偏性2.2.有效性有效性3.3.一致性一致性4.4.充分性充分性1 充分性的概念充分性的概念例例1 为研究某种产品的合格品率，我们对该产品进为研究某种产品的合格品率，我们对该产品进行检查，从该产品中随机抽取行检查，从该产品中随机抽取1010件进行观测，发现件进行观测，发现除第三、六件产品不合格外，其余除第三、六件产品不合格外，其余8件产品都

14、是合件产品都是合格品。这样的观测结果包含了格品。这样的观测结果包含了两两种信息：种信息：(1) 10件产品有件产品有8件是合格品；件是合格品；(2) 2 件不合格品分别是第三和第六件。件不合格品分别是第三和第六件。第二种信息对了解该产品合格品率是没有什么帮助第二种信息对了解该产品合格品率是没有什么帮助的。一般地，设我们对该产品进行的。一般地，设我们对该产品进行n 次观测，得到次观测，得到 x1, x2, xn，每个每个xj 取值非取值非0即即1，合格为，合格为1，不合，不合格为格为0。令。令 T = x1+xn ，T为观测到的合格品数。为观测到的合格品数。在这种场合仅仅记录使用在这种场合仅仅记

15、录使用T 不会丢失任何与合格品不会丢失任何与合格品率率 有关的信息，统计上将这种有关的信息，统计上将这种“样本加工不损样本加工不损失信息失信息”称为称为“充分性充分性”。样样本本 x=(x1,x2,xn) 有一个样本分布有一个样本分布F (x)，这个分布包含了样本中一切有关这个分布包含了样本中一切有关 的信息。的信息。统计量统计量T =T (x1,x2,xn) 也有一个抽样分布也有一个抽样分布FT(t) ，这个分布这个分布包含了统计量包含了统计量T中一切有关中一切有关 的信息的信息. 当我当我们期望用统计量们期望用统计量T 代替原始样本且不损失任何有代替原始样本且不损失任何有关关 的信息时，也

16、就是期望抽样分布的信息时，也就是期望抽样分布 FT(t) 像像 F (x) 一样概括了有关一样概括了有关 的一切信息的一切信息. 这即是说在这即是说在统计量统计量 T 取值为取值为 t 的情况下样本的情况下样本 x 的条件分布的条件分布F (x|T=t) 已不含已不含 的信息，这正是统计量具有充的信息，这正是统计量具有充分性的含义。分性的含义。定义定义 (充分统计量充分统计量) 设设 x1, x2, , xn 是来自某个是来自某个总体的样本，总体分布函数为总体的样本，总体分布函数为F( x ; )，统计统计 量量 T = T(x1, x2, , xn) 称为称为 的充分统计量，的充分统计量，如

17、果在给定如果在给定T 的取值后，的取值后，x1, x2, xn 的条件分的条件分布与布与 无关无关. .例例2 设总体为二点分布设总体为二点分布 为样本为样本,令令 则则T是是 的充分统计量的充分统计量;若若则则S不是不是 的充分统计量的充分统计量. 11 ( , ),nbXX 1,nTXX12SXX下面我们给出几个例子下面我们给出几个例子, , 根据定义来验证一个统根据定义来验证一个统计量是不是充分的计量是不是充分的. .121,( , ),nXXXNTXT 例例3 3 设设是是来来自自的的样样本本令令则则 是是 的的充充分分统统计计量量。在一般场合直接由定义出发验证一个统计量是充分在一般场

18、合直接由定义出发验证一个统计量是充分统计量比较困难统计量比较困难. 奈曼奈曼(Neyman)给出了一个简单的判给出了一个简单的判别方法别方法-因子分解定理因子分解定理.充分性原则充分性原则： 在充分统计量存在的场合，任何统计推断在充分统计量存在的场合，任何统计推断都都 可以基于充分统计量进行，这可以简化统计推断的程可以基于充分统计量进行，这可以简化统计推断的程序序,称该原则为充分性原则称该原则为充分性原则. 四、WISHART分布 通过上面的理论分析知道，多元正态总体均值向量通过上面的理论分析知道，多元正态总体均值向量和协差阵的最大似然估计分别是样本均值向量和样本和协差阵的最大似然估计分别是样

19、本均值向量和样本协差阵。利用协差阵。利用SPSS软件可以迅速地计算出多元分布的软件可以迅速地计算出多元分布的样本均值向量、样本离差阵和样本协差阵。下面通过样本均值向量、样本离差阵和样本协差阵。下面通过一个实例来说明多元正态分布参数估计的一个实例来说明多元正态分布参数估计的SPSS实现过实现过程。程。 从沪深两市上市公司中随机抽取从沪深两市上市公司中随机抽取300家公司，取其家公司，取其三个反映收益情况的三个财务指标：每股收益率（三个反映收益情况的三个财务指标：每股收益率（eps）、净资产收益率（）、净资产收益率（roe）和总资产收益率（）和总资产收益率（roa）。现）。现要求对这三个指标的均值

20、和协差阵进行估计。要求对这三个指标的均值和协差阵进行估计。均值向量的估计在在SPSS中计算样本均值向量的步骤如下：中计算样本均值向量的步骤如下：1. 选择菜单项选择菜单项AnalyzeDescriptive StatisticsDescriptives，打开，打开Descriptives对话框，如图对话框，如图2.1。将待估计的三个变量移入右边的。将待估计的三个变量移入右边的Variables列表框中。列表框中。图图2.1 Descriptives对话框对话框2. 单击单击Options按钮，打开按钮，打开Options子对话框，如图子对话框，如图2.2所示。在对话框所示。在对话框中选择中选择

21、Mean复选框，即计算样本均值向量。单击复选框，即计算样本均值向量。单击Continue按钮返回主按钮返回主对话框。对话框。图图2.2 Options子对话框子对话框3. 单击单击OK按钮，执行操作。则在结果输出窗口中给出样本均值向量，按钮，执行操作。则在结果输出窗口中给出样本均值向量，如表如表2.2。即样本均值向量为（。即样本均值向量为（0.175，0.044，0.026）。）。Descriptive Statistics300.175287300.044093300.025695300每 股 收 益 率净 资 产 收 益 率资 产 收 益 率Valid N (listwise)NMean表

22、表2.2 样本均值向量样本均值向量协差阵的估计在在SPSS中计算样本协差阵的步骤如下：中计算样本协差阵的步骤如下：1. 选择菜单项选择菜单项AnalyzeCorrelateBivariate，打开，打开Bivariate Correlations对话框，如图对话框，如图2.3。将三个变量移入右边的。将三个变量移入右边的Variables列表列表框中。框中。 图图2.3 Bivariate Correlations对话框对话框2. 单击单击Options按钮，打开按钮，打开Options子对话框，如图子对话框，如图2.4。选择。选择Cross-product deviations and cov

23、ariances复选框，即计算样本离差阵和样复选框，即计算样本离差阵和样本协差阵。单击本协差阵。单击Continue按钮，返回主对话框。按钮，返回主对话框。图图2.4 Options子对话框子对话框3. 单击单击OK按钮，执行操作。则在结果输出窗口中给按钮，执行操作。则在结果输出窗口中给出相关分析表。表中出相关分析表。表中Pearson Correlation给出皮尔逊给出皮尔逊相关系数矩阵，相关系数矩阵，Sum of Squares and Cross-products给给出样本离差阵，出样本离差阵，Covariance给出样本协差阵。给出样本协差阵。值得注意的是，这里给出的样本协差阵是值得

24、注意的是，这里给出的样本协差阵是S/(n-1) ，而，而不是不是S/n 。Correlations1.877*.824*.000.00030.94110.5943.743.103.035.013300300300.877*1.798*.000.00010.5944.7141.415.035.016.005300300300.824*.798*1.000.000.3.7431.415.667.013.005.002300300300Pearson CorrelationSig. (2-tailed)Sum of Squares andCross-productsCovarianceNPearso

25、n CorrelationSig. (2-tailed)Sum of Squares andCross-productsCovarianceNPearson CorrelationSig. (2-tailed)Sum of Squares andCross-productsCovarianceN每 股 收 益 率净 资 产 收 益 率资 产 收 益 率每 股 收 益 率净 资 产 收 益 率资 产 收 益 率Correlation is significant at the 0.01 level (2-tailed).*. 表表2.3 样本相关系数矩阵、离差阵与协差阵样本相关系数矩阵、离差阵与协差阵EXERCISES4.1; 4.3; 4.8；4.13 ； 4.14 ；4.15； 4.19；4.35；4.41