1、 一、协方差的定义一、协方差的定义 二、协方差的性质二、协方差的性质 三、相关系数的定义三、相关系数的定义 四、相关系数的性质四、相关系数的性质 五、矩的概念与协方差矩阵五、矩的概念与协方差矩阵 六、六、n n维正态分布的概率密度与性质维正态分布的概率密度与性质 七、小结七、小结 前面我们介绍了随机变量的数学期望前面我们介绍了随机变量的数学期望和方差，对于多维随机变量，反映分量之和方差，对于多维随机变量，反映分量之间关系的数字特征中，最重要的，就是本间关系的数字特征中，最重要的，就是本讲要讨论的讲要讨论的协方差和相关系数协方差和相关系数本节本节将要讨论的协方差是反映随机将要讨论的协方差是反映随
2、机变量之间依赖变量之间依赖关系关系的一个数字特征的一个数字特征.在在一定程度上反映了随机变量一定程度上反映了随机变量X与与Y之间的关系之间的关系.完完在在证明方差的性质时，证明方差的性质时，已经知道，已经知道，当当X与与Y相互独相互独立时，立时，有有.0)()(YEYXEXE反之则说明，反之则说明，当当0)()(YEYXEXE时，时，X与与Y一定不相互独立，一定不相互独立，这这说明量说明量)()(YEYXEXE 一、协方差的定义一、协方差的定义定义定义设设),(YX为二维为二维随机向量，随机向量，若若)()(YEYXEXE 存在，存在，则称其则称其为随机变量为随机变量X和和Y的的协方差协方差，
3、记为记为),cov(YX即即).()(),cov(YEYXEXEYX 按按定义，定义，其概率分布为其概率分布为),2,1,(,jipyYxXPijii则则.)()(),cov(,jiijjipYEyXExYX若若),(YX为为连续型随机向量，连续型随机向量，其其概率密度为概率密度为),(yxf),(YX为离型为离型随机向量，随机向量，若若),cov(YX .),()()(dxdyyxfYEyXEx利用数学期望的性质，利用数学期望的性质，易将易将协方差的计算协方差的计算化化简简.)()(),cov(YEYXEXEYX )()()()()(XEYEYEXEXYE )()(YEXE).()()(YE
4、XEXYE 特别地，特别地，.0),cov(YX有有X与与Y独立时，独立时，当当完完协方差计算的简化公式协方差计算的简化公式二、协方差的性质二、协方差的性质1.协方差的基本性质协方差的基本性质(1);(),cov(XDXX(2);,cov(),cov(XYYX(3),cov(),cov(YXabbYaX 常数；常数；(4),0),cov(XC(5);,cov(),cov(),cov(2121YXYXYXX 其中其中ba,是是为为任意常数；任意常数；C(6)当当X与与Y相互独立，相互独立，.0),cov(YX则则2.随机变量和的方差与协方差的关系随机变量和的方差与协方差的关系),cov(2)()
5、()(YXYDXDYXD 特别地，特别地，若若X与与Y相互独立，相互独立，).()()(YDXDYXD 注注：上述结果可推广至上述结果可推广至n维维情形：情形：njijiniiniiXXXDXD111);,cov(2)()(则则若若nXXX,21两两独立，两两独立，niiniiXDXD11);()(则有则有 可以证明：可以证明：若若YX,的的方差存在，方差存在，则则协方差协方差),(YX一定存在且满足下列不等式：一定存在且满足下列不等式：)()(),cov(YEYXEXEYX .)()(YDXD 完完例例1已知离散型随机向量已知离散型随机向量),(YX的概率分布如右表的概率分布如右表,求求).
6、,cov(YX1.0015.021.005.03.0102.01.00201 XY解解容易求得容易求得X的概率分的概率分,3.00 XP,45.01 XP;25.02 XPY的概率分布为的概率分布为,55.01 YP,25.00 YP,2.02 YP布为布为计算得计算得0202.0001.0)1(0)(XYE1.0215.0013.0)1(1 1.02200215.0)1(2 .0 2.0225.0055.0)1()(YE.15.0 25.0245.013.00)(XE,95.0 于是于是)()()(),cov(YEXEXYEYX .1425.015.095.0 完完,3.00 XP,45.0
7、1 XP;25.02 XP,55.01 YP,25.00 YP,2.02 YP例例2 设连续型随机变量设连续型随机变量),(YX的密度函数为的密度函数为,010,8),(其它其它yxxyyxf求求).,cov(YX解解由由),(YX的密度函数可求得其边缘密度函的密度函数可求得其边缘密度函数分别为数分别为:,010),1(4)(2 其它其它xxxxfX,010,4)(3 其它其它yyyfY dxxxfXEX)()(102)1(4dxxxx,15/8 dyyyfYEY)()(1034dyyy,5/4 dxdyyxxyfXYE),()(1108xdyxyxydx,9/4,010),1(4)(2 其它
8、其它xxxxfX,010,4)(3 其它其它yyyfY)(XE,15/8)(YE,5/4)(XYE,9/4 从而从而)()()(),cov(YEXEXYEYX 完完,225/4 协方差的大小在一定程度上反映了协方差的大小在一定程度上反映了X和和Y相互间的关系，但它还受相互间的关系，但它还受X与与Y本身度量单位本身度量单位的影响的影响.例如：例如：Cov(kX,kY)=k2Cov(X,Y)为为避免随机变量本身度量单位不同而影响它们相互避免随机变量本身度量单位不同而影响它们相互关系的度量，关系的度量，可将可将每个随机变量标准化，每个随机变量标准化，即取即取,)()(,)()(YDYEYYXDXEX
9、X 并将并将),cov(YX作为作为X与与Y之间相互关系的一种度之间相互关系的一种度量，量，而而,)()(),cov(),cov(YDXDYXYX 定义定义 设设),(YX为二维为二维随机向量，随机向量，,0)(XD,0)(YD称称)()(),cov(YDXDYXXY 为为随机变量随机变量X和和Y的的相关系数相关系数，有时也记有时也记XY 为为.特别地，特别地，当当0 XY 时，时，称称X与与Y不不相关相关.三、相关系数的定义三、相关系数的定义四、相关系数的性质四、相关系数的性质性质性质1.;1 XY 证证 由由方差的性质和协方差的定义知，方差的性质和协方差的定义知，对对任意实数任意实数,b有
10、有),cov(2)()()(02YXbYDXDbbXYD 令令,)(),cov(XDYXb 则则)(),cov()()(2XDYXYDbXYD ,1)()()(),cov(1)(22XYYDYDXDYXYD ,1)()()(),cov(1)(22XYYDYDXDYXYD 由于方差由于方差)(YD是正是正的，的，故必有故必有,012 XY 所以所以.1 XY 注意到此时注意到此时,0),cov(YX易见易见结论成立结论成立.注注：X与与Y相互独立相互独立X与与Y不不相关相关.性质性质2.若若X和和Y相互独立，相互独立，;0 XY 则则例例1 设设X服从服从(-1/2,1/2)内的均匀分布内的均匀
11、分布,而而Y=cos X,（请课下自行验证）（请课下自行验证）因而因而 =0，即即X和和Y不相关不相关.但但Y与与X有严格的函数关系，有严格的函数关系，即即X和和Y不独立不独立.不难求得，不难求得，Cov(X,Y)=0，性质性质3.若若,0)(,0)(YDXD则则1 XY 存在常数存在常数),0(,aba使使,1 baXYP而且而且0 a时，时，.1 XY 注注：相关系数刻画了相关系数刻画了X和和Y间间“线性相关线性相关”的的程度程度.XY 的值越的值越接近于接近于1，Y与与X线性相关程度越高；线性相关程度越高；XY 的值越的值越接近于接近于0，Y与与X线性相关程度越弱；线性相关程度越弱；1
12、XY 时，时，Y与与X有有严格线性关系；严格线性关系；0 XY 时，时，Y与与X无线性关系；无线性关系；即即X和和Y以概率以概率1线性相关线性相关.而且而且0 a时，时，.1 XY 这里注意：这里注意：只只说明说明Y与与X没有线性没有线性关系关系.并不能说明并不能说明Y与与X之间没有其它函数关系之间没有其它函数关系.与与从而不能推出从而不能推出YX独立独立.0 XY 时，时，当当4.设设,)(2baXYEe 称其为用称其为用baX 来来近似近似Y的的均方均方误差误差，则有则有下列结论：下列结论：若若,0)(,0)(YDXD则则)()(),(/),cov(000XEaYEbXDYXa 使均方使均
13、方误差达到最小误差达到最小.=E(Y2)+b2E(X2)+a2-2bE(XY)+2abE(X)-2aE(Y)e=EY-(a+bX)2 0)(2)(2)(20)(2)(222XaEXYEXbEbeYEXbEaae)(),(0XDYXCovb 解得解得)()(00XEbYEa这样求出的最佳逼近为这样求出的最佳逼近为L(X)=a0+b0X注注：示示Y的的好坏程度，好坏程度，我们可用均方误差我们可用均方误差e来来衡量以衡量以baX 近似表近似表似程度越好，似程度越好，且知且知最佳的线性近似为最佳的线性近似为,00bXa 其余均方误差其余均方误差).1)(2XYYDe 能说明能说明XY 越越接近接近1，
14、e越越小小.反之，反之，XY 越近于越近于0，e就越就越大，大，Y与与X的的线性相关性越小线性相关性越小.e值越小值越小表示表示baX 与与Y的近的近而而从这个侧面也从这个侧面也完完例例3 设设),(YX的分布律为的分布律为14/14/14/14/12/14/1004/142/104/14/1012112iixYPyYPYX 易知易知,0)(XE,2/5)(YE,0)(XYE于是于是,0 XY YX,不相关不相关.这表示这表示YX,不存不存在线性关系在线性关系,但但,1201,2 YPXPYXP,1201,2 YPXPYXP知知YX,不是相互独立的不是相互独立的.事实上事实上,X和和Y具有关系
15、具有关系:,2XY Y的值完全可由的值完全可由X的值所确定的值所确定.完完例例4 设设 服从服从,上的均匀分布上的均匀分布,且且,sin X cos Y判断判断X与与Y是否不相关是否不相关,是否独立是否独立.解解 由于由于,0sin21)(dXE,0cos21)(dYE而而.0cossin21)(2 dXYE因此因此),()()(YEXEXYE 从而从而X与与Y不相关不相关.但由于但由于X与与Y满足关系满足关系:122 YX所以所以X与与Y不独立不独立.完完例例5 已知已知),3,1(2NX),4,0(2NY且且X与与Y的相关系数的相关系数.21 XY 设设,23YXZ 求求)(ZD及及.XZ
16、 解解因因,3)(2 XD,4)(2 YD且且XYYDXDYX)()(),cov(2143,6 所以所以 2,3cov2)(41)(91YXYDXD 23)(YXDZD),cov(21312)(41)(91YXYDXD ,7 因因,3)(2 XD,4)(2 YD且且),cov(YX,6 所以所以)(ZD,7 又因又因 23,cov),cov(YXXZX 2,cov3,covYXXX),cov(21),cov(31YXYX ,6),cov(21)(31 YXXD故故.772736)()(),cov(ZDXDZXXZ 例例6 设二维随机变量设二维随机变量),(),(2121 NYX求相关系数求相关
17、系数.XY 解解根据二维正态分布的边缘概率密度知根据二维正态分布的边缘概率密度知,)(1 XE,)(2 YE,)(21 XD,)(22 YD而而 dxdyyxfxxYX),()(),cov(21 )(12121221 yx.2)()1(21exp2121211222dxdyxxy 例例6 设二维随机变量设二维随机变量),(),(2121 NYX求相关系数求相关系数.XY 解解 令令,1111222 xyt,11 xu则有则有 tuYX2211(21),cov(dtdueutu2/)(22122)dtedueutu22221222 例例6 设二维随机变量设二维随机变量),(),(2121 NYX
18、求相关系数求相关系数.XY 解解 则有则有),cov(YX dtedueutu22221222 dtteduuetu222212221 ,22221 即有即有,),cov(21 YX于是于是.)()(),cov(YDXDYXXY注注:从本例的结果可见从本例的结果可见,二维正态随机变量二维正态随机变量,(X)Y的分布完全由的分布完全由X和和Y各自的数学期望、各自的数学期望、方差以及方差以及它们的相关系数所确定它们的相关系数所确定.此外此外,易见有结论易见有结论:若若),(YX服从二维正态分布服从二维正态分布,则则X与与Y相互独立相互独立,当且仅当当且仅当X与与Y不相关不相关.五、矩五、矩的的概念
19、概念定义定义 设设X和和Y为为随机变量，随机变量，lk,为正整为正整数，数，)(kXE为为k阶阶原点矩原点矩(简称简称k阶阶矩矩);)(kXEXE 为为k阶阶中心矩中心矩)(kXE为为k阶阶绝对原点矩绝对原点矩；)(kXEXE 为为k阶阶绝对中心矩绝对中心矩；称称)(tkYXE为为X和和Y的的lk 阶阶混合矩混合矩;)()(tkYEYXEXE 为为X和和Y的的lk 混合中心矩混合中心矩.注注:由定义可见：由定义可见：(1)X的数学期望的数学期望)(XE是是X的一阶的一阶原点矩；原点矩；(2)X的方差的方差)(XD是是X的二阶的二阶中心矩；中心矩；(3)协方差协方差),(YXCov是是X与与Y的
20、二的二阶混合中阶混合中心矩心矩.完完六、协方差矩阵六、协方差矩阵将二维将二维随机变量随机变量),(21XX的四个二阶的四个二阶中心矩中心矩,)(21111XEXEc ,)(22222XEXEc ),()(221112XEXXEXEc ).()(112221XEXXEXEc 排成排成矩阵的形式：矩阵的形式：22211211cccc对称矩阵对称矩阵称此称此矩阵为矩阵为),(21XX的的协方差矩阵协方差矩阵.类似定义类似定义n维维随机变量随机变量),(21nXXX的协方差的协方差矩阵矩阵.若若),cov(jiijXXc njiXEXXEXEjjii,2,1,)()(都都存在，存在，nnnnnnccc
21、ccccccC212222111211为为),(21nXXX的的协方差矩阵协方差矩阵.完完称称六、六、n维正态分布的概率密度与性质维正态分布的概率密度与性质先先考虑二维正态分布的概率密度，考虑二维正态分布的概率密度，再将其再将其推广到推广到n维维情形情形.二维正态二维正态随机向量随机向量),(21XX的概率密度为的概率密度为 2222211111211122)1(21221121 xxxxe),(21xxf记记,21 xxX,21 协方差矩阵协方差矩阵,22211211 ccccC易易验算验算)()(1 XCXT,22211211 ccccC易易验算验算)()(1 XCXT故二维正态故二维正态
22、随机向量随机向量),(21XX的的概率密度可用矩阵概率密度可用矩阵表示为表示为),(21xxfexp)2(12/12/2C )()(211 XCXT其中其中TX)(是是)(X的的转置转置.进一步，进一步，向量，向量，若若它的概率密度为它的概率密度为设设),(21nTXXXX 是是一个一个n维随机维随机若若它的概率密度为它的概率密度为设设),(21nTXXXX 是是一个一个n维随机维随机向量，向量，),(21nxxxfexp)2(12/12/Cn )()(211 XCXT则称则称X服从服从n维维正态分布正态分布.其中，其中，C是是),(21nXXX的的协方差矩阵，协方差矩阵，C是是它的行列式，它
23、的行列式，1 C表示表示C的逆的逆矩阵，矩阵，X和和 是是n维列维列向量，向量，而而TX)(是是)(X的的转置转置.完完n维正态分布的几条重要性质维正态分布的几条重要性质1.n维正态维正态变量变量),(21nXXX的每的每一个分量一个分量),2,1(niXi 都是正态变量，都是正态变量，反之，反之，若若,21XX2.n维正态维正态变量变量),(21nXXX服从服从n维维正态正态分布的充要条件是分布的充要条件是nXXX,21任意线性组合任意线性组合nnXlXlXl 2211均均服从一维正态分布服从一维正态分布正态变量正态变量.都是都是nnX,nlll,21不全为不全为零）零）.（其中（其中3.若
24、若),(21nXXX服从服从n维维正态分布，正态分布，设设kYYY,21是是),2,1(njXj 的的线性函数，线性函数，则则),(21kYYY也也服从服从k维维正态分布正态分布.注注：这一这一性质称为正态变量的线性变换不变性性质称为正态变量的线性变换不变性.4.设设),(21nXXX服从服从n维正态维正态发布，发布，则则“nXXX,21相互独立相互独立”等价于等价于“,21XXnX,两两不两两不相关相关”.完完例例7 设设随机变量随机变量X和和Y相互独立相互独立,),1,0(),2,1(NYNX试求试求32 YXZ的的概率密度概率密度.解解),1,0(),2,1(NYNX且且X与与Y独立独立
25、,故故X和和Y的的联合分布为正态分布联合分布为正态分布,性组合是正态分布性组合是正态分布,),(),(ZDZENZ,5323)()(2)(YEXEZE且且即即X和和Y的的任意线任意线,918)()(4)(YDXDZD),3,5(2NZ例例7 设设随机变量随机变量X和和Y相互独立相互独立,),1,0(),2,1(NYNX试求试求32 YXZ的的概率密度概率密度.解解),(),(ZDZENZ,5323)()(2)(YEXEZE且且,918)()(4)(YDXDZD),3,5(2NZ即即Z的的概率密度是概率密度是.,231)(18)5(2 zezfzZ 完完这一讲我们介绍了协方差和相关系数这一讲我们介绍了协方差和相关系数相关系数是刻划两个变量间相关系数是刻划两个变量间线性相关程度线性相关程度的一个重要的数字特征的一个重要的数字特征.注意独立与不相关并不是等价的注意独立与不相关并不是等价的.当当(X,Y)服从二维正态分布时，有服从二维正态分布时，有X与与Y独立独立X与与Y不相关不相关协方差是反映随机变量之间依赖关系的一个数字特征协方差是反映随机变量之间依赖关系的一个数字特征.
