大学课件：补充：概率论与线.pptx

1、 蔡键 概率与统计相关知识 随机变量与统计分布 参数估计 假设检验矩阵代数相关知识 矩阵定义及运算 特征根及特征矩阵 矩阵求导 能够灵活掌握概率论、数理统计与矩阵代数的相关知识，是理解金融计量学理论的基础，同时也是熟练运用金融计量方法的重要前提。随机变量随机变量如果一个随机变量只能取特定的值，则称为离散变量离散变量。比如抛100次硬币正面朝上的次数。如果一个随机变量可以取某一实数区间中的任意值，则称为连续连续变量变量。例如某校冬季供暖每小时能源消耗量。通常都用大写字母表示随机变量（如X或Y），用小写字母表示其具体结果（如x或y）。概率分布函数与概率密度函数概率分布函数与概率密度函数概率分布函数

2、（用F(x)表示）概率密度函数（用函数f(x)表示）分布函数，密度函数决定随机变量X在指定区间取值的概率。图中 表示a和b之间的阴影部分，是指该分布取a至b之间的概率标准正态分布期望=0，方差 的正态分布称为标准正态分布，其密度函数为：1随机变量的矩随机变量的矩(moments)(moments)从统计学角度来说，一个随机变量X的第n阶矩可以定义为:其中,表示X的均值,代表期望。常用常用n n阶矩示例阶矩示例：一阶矩被称为均值或期望期望值，经常使用 来表示，它度量了随机分布的中央位置。二阶矩被称为方差方差，经常用 来表示，它衡量了X的变化幅度。方差的平方根称为标准差，用 表示。均值和方差被广泛

3、地用来刻画各种随机分布尤其是正态分布的特性。dxxfxXEnn)()()(2(.)E三阶矩被称为偏度偏度，度量了随机变量分布的非对称程度。如果偏度统计量为正值，说明X的分布具有右侧长尾特征，而负的偏度表明左侧长尾特征。四阶矩又称尾峰度尾峰度，其衡量随机变量分布的尖峰程度或平坦程度。偏度和峰度统计量来检验随机变量是否服从正态分布。dxxfxXEnn)()()(,22ttttttttttttttttttuCovVaruVaruVarVarAVarVarAAVarEuEuEEAAEAEAE期望和方差在实践中运用最为广泛，二者具有下列性质：假设A为常数，和 为均值为0的随机变量，则有ttu更多的时候，

4、我们需要利用样本均值和方差估计随机变量的矩。TttTttxTxT1221)(111其中，T表示随机变量的样本观察值个数联合概率联合概率一对随机变量的概率函数称为联合概率分布。为简单起见，以离散随机变量为例讨论。设X或Y为离散随机变量，设x和y为其所取值。X=x且Y=y的概率就称为X和Y的联合概率函数，用 表示，则 。因为概率函数通常用f()表示，所以用下标XY来确认讨论中的随机变量为X和Y的联合。统计独立性统计独立性如果随机变量X和Y具有统计独立性，此时联合概率为单个概率的乘积。对于连续随机变量：对于离散随机变量：P(X=x,Y=y)=P(X=x)P(Y=y)条件概率条件概率给定某一随机变量X

5、已发生的条件下另一特定随机变量Y发生的概率，称之为条件概率条件概率。符号“|”代表给定。条件概率密度函数定义如下（同时适用于离散随机变量和连续随机变量）：其中，为X和Y联合概率，为X的密度函数，通常称为X的边际密度。需要注意的是，条件概率依赖于x和y。当两个随机变量为独立统计时，条件概率分布变为相应的边际分布。条件期望与条件方差条件期望与条件方差条件期望条件期望给定X的情况下，Y的期望值即为Y对X的条件期望值。以离散随机变量为例，条件期望可表示为：，即以条件密度 作为权重的Y的期望。条件方差条件方差假设 为Y对X的条件期望，即E(Y|X)，则Y对X的条件方差定义为 ，即在X值给定的前提下，求Y

6、对X的条件期望以及条件密度 为权重求该均值的方差。条件期望与条件方差的性质1)2)3)4)协方差和相关系数协方差和相关系数函数 该函数的期望值称为X和Y的协方差协方差，用 或Cov(X,Y)表示。因此随机变量X和Y的协方差定义为：对协方差进行“标准化”，即可得到X和Y间的相关系数相关系数，用 表示。X和Y之间的相关系数定义为：独立的两个变量一定不相关，但不相关的两个变量不见得独立协方差与相关系数的性质1)如果a、b为常量，则 2)相关系数 的取值介于-1到1之间 3)如果X和Y相互独立，则 ；即X和Y不相关。从以上和(1)可以得出，在这种情况下，Var(X+Y)=Var(X)+Var(Y)且V

7、ar(X-Y)=Var(X)+Var(Y)4)如果 ，且 则 ；即在单位比例改变的情况下，相关系数保持恒定。如果 ，则 。但当 时，。这说明在一般线性变换情况下，相关系数为变量（不为零）多元分布多元分布设 为n个随机变量，其联合概率密度函数为 。如果联合概率密度函数等于单个概率密度函数的乘积，则其相互独立：多元分布的性质多元分布的性质：线性组合的期望为期望的线性组合。如果 为常量，则 。若干独立同分布随机变量均值的期望等于他们的共同期望。，其中，为常量。如果 相互独立，则在 的情况下，。独立随机变量的和的方差为所有方差的和。特别地，当方差相同时，对于每个i，都有 ，所以 。如果 ，则有 。如果

8、 相互独立，并服从 ，则它们的均值 服从正态分布，均值为，方差为 。随机随机抽样抽样从总体中抽取一定数量的样本进行观察，并根据样本对总体的代表性及观察值来对总体进行推论的过程即为抽样抽样。简单随机抽样简单随机抽样可以使随机抽取的n个单位的任意组合具有均等的机会。随机变量X观察值的随机样本是独立同分布的随机变量 的集合，其中的每个变量均具有和X相同的概率分布。不含任何未知参数的随机变量观察值的函数称为样本统计量，最常用的包括样本均值（用 表示）和样本方差（用 表示）：样本均值：样本方差：正态总体抽样正态总体抽样设X为一个服从均值为，方差为 的正态分布的随机变量。从总体中随机抽取n个样本，得到观察

9、值。则 ：样本均值 服从正态分布，均值为，方差为 ，即：由此可以发现，样本均值在均值附近的分散较小，样本量越大，方差越小。大样本分布的两个性质大样本分布的两个性质大数定律：设 为独立同分布的随机样本 的样本均值，则 向E(Z)汇聚。即随着n的增大，随机变量集合的样本均值就越接近其期望值。假设 ，由于 ，总体均值 趋向于。同样，随着n趋向于无穷大，趋向于 。中心极限定理：设 为取自同一分布的观察值所组成的随机样本，均值为，方差为 ，则随机变量 的抽样分布随着n的趋向于无穷大而趋向于服从标准正态分布。常用抽样分布常用抽样分布卡方分布卡方分布n个独立标准正态随机变量平方和的分布称为卡方 分布，自由度

10、为n，也写作 。即n个独立同分布的随机变量 服从N(0,1)分布。定义一个新的随机变量U，U是Z的平方和，即 ，随机变量U的分布为 。卡方分布的期望值为其自由度n两个卡方分布之和仍为卡方分布，自由度为两个卡方分布自由度之和。学生氏分布（学生氏分布（t-t-分布）分布）设 。Z和U相互独立，则随机变量 服从自由度为n的t-分布。当n较大时，t-分布近似服从正态分布，n30时最佳。F-F-分布分布设 ,相互独立，则F=(U/m)/(V/n)的分布称为F-分布，自由度为m和n，写作 。样本统计量分布样本统计量分布从均值为，方差为 的正态总体中抽取独立随机样本 ，样本方差 ，具有性质 。，即 为 的无

11、偏估计量。，当以样本标准差s代替总体标准差时，参数估计方法参数估计方法矩估计法矩估计法设一个分布有k个未知参数，估计方法就是计算分布的前k个样本距，再利用其作为对应总体距的估计量。分布的总体均值也称作一阶原点距，样本均值为总体均值的估计量；随机变量的方差也称为二阶中心距，样本方差即分布总体方差的估计量。示例：估计两个随机变量X和Y之间相关系数最小二乘法最小二乘法-以均值为例以均值为例由于 ，每个观察值均可视为样本均值的估计量，该估计量的误差为 。考虑能使误差平方和最小的估计量，即使整个样本误差的平方和 最小的估计量。要使ESS最小的估计值，ESS为该式中仅当是 ，ESS最小，所以最小二乘法估计

12、量为样本均值。估计量性质估计量性质针对小样本针对小样本无偏性无偏性如果 ，则估计量 为 的无偏估计量。否则该估计量有偏，偏差为有效性有效性设 为参数 的两个无偏估计量,如果 ，则 更有效均方差均方差允许在无偏性和方差之间的这种折中情况出现的度量允许在无偏性和方差之间的这种折中情况出现的度量估计量 的均方差定义为 ，即为从 到 偏差平方的期望值如果 为的两个可选估计量，且 ，则 为均方有效系数。如果两个估计量都具有无偏性，则 更有效均方差最小的估计量称为最小均方差估计量假设检验假设检验原假设与备择假设原假设与备择假设原假设(用 表示)与备择假设(用 表示)是两个相反的假设统计检验统计检验对实验结

13、果选择“拒绝原假设”或“不拒绝原假设”的判定准则称为统计检验该过程通常包括：先计算样本统计量 ；接着推导零假设条件下T的抽样分布；最后根据T的观察值推导出一个判定准则。建议拒绝零假设的T值的范围称为拒绝域，建议不拒绝零假设的范围称为接受域，或者不拒绝区域建立原假设建立原假设和备择假设和备择假设推导检验统推导检验统计量并确定计量并确定抽样分布抽样分布推导拒绝或推导拒绝或接受原假设接受原假设的判断准则的判断准则第一类错误与第二类错误第一类错误与第二类错误拒绝真假设 所犯的错误称为第一类错误第一类错误，又称弃真错误或错误；不拒绝伪假设 所犯的错误称为第二类错误第二类错误，又称取伪错误，错误。与这些错

14、误相关联的是概率，称为第一类错误概率和第二类错误概率，用P(I)和P(II)表示显著水平和检验功效显著水平和检验功效在 为真的情况下，犯第一类错误的最大概率称为显著水平显著水平（或检验大小），最常见的显著水平0.01、0.05、0.10。当 为伪时，拒绝原假设的概率称为检验功效检验功效标准检验方法是找到P(II)最小（或检验功效最大）的判定准则，约束条件为P(I)，其中为给定的常量(0a1)。该检验方法称为最大功效检验正态分布均值检验正态分布均值检验单侧检验单侧检验第1步 ；第2步 检验统计量为 ，在原假设条件下，服从t(n-1)第3步 在t-表中，查找对应自由度(n-1)和给定显著水平 时

15、对应的值，所以 ，为所选显著水平，为临界值第4步 如果 ，则拒绝 。如果备择假设为 ，则拒绝原假设.双侧检验双侧检验第1步 ；第2步 检验统计量为 ，在原假设下服从t（n-1）第3步 在t-表中，查自由度为(n-1)、显著水平为 下 的对应值，这里为给定显著水平，为临界值。第4步 如果 ，则拒绝 ；如果 ，则拒绝两个变量间相关系数的检验两个变量间相关系数的检验原假设 ；备择假设 。如果拒绝原假设，则可以认为X和Y相关。检验统计量为 ，其中，为样本相关系数的平方。在原假设下该统计量服从F（1，(n-2)）。从F-表中找到 ，如果 ，则拒绝区间估计区间估计以正态分布的均值为例，若随机变量 ，则样本

16、均值 。由于 ，且t-分布关于原点对称，因此可以得到的区间估计。以0.05为例，可以得知 。把样本均值和标准偏差中的t代入，可得：整理得这意味着参数真值位于 区域中的可能性为95%，该区间为的95%置信区间。置信区间置信区间的含义为：如果大量重复该实验，抽取样本并计算置信区间，则有95%的估计出的置信区间将包括期望的真实值矩阵基本定义矩阵基本定义矩阵就是由m行n列实数组成的矩形数组。由m行与n列组成的矩阵称为 维矩阵。一个 矩阵可以写成如下形式:其中，都称为矩阵A的元素，位于第i行第j列的元素记为 ，也可以写成 。所有元素都为0的矩阵称为0矩阵；行数列数相等的矩阵称为方阵秩秩是指矩阵中线性无关

17、的行或者线性无关的列的数量秩与其维度相等的矩阵称为满秩矩阵满秩矩阵一个非零矩阵，其秩小于矩阵维度时，称为奇异矩阵奇异矩阵nm nmmnmmnnnmaaaaaaaaaA212222111211ijAijamnaaa,1211特殊矩阵及性质特殊矩阵及性质单位矩阵单位矩阵主对角线所有元素都为1，而非主对角线上的元素都为0的矩阵，称为单位矩阵。例如，是一个22的单位矩阵任何矩阵乘以与其维度一致的单位矩阵，仍然是这个矩阵本身，如 单位矩阵的逆阵和转置等于原单位矩阵，即对称矩阵对称矩阵矩阵的转置仍然是其本身的矩阵，称为对称矩阵，即如果 ，那么A称为对称矩阵显然，单位矩阵就是一个典型的对称矩阵1001IBI

18、B432110014321III1AA 三角矩阵三角矩阵主对角线以下所有元素均为0，则该矩阵称为上三角矩阵；反之，主对角线以上所有元素均为0的矩阵称为下三角矩阵。例如，下面的矩阵A为下三角矩阵，而B则为上三角矩阵对角矩阵对角矩阵除主对角线之外的所有元素均为0的矩阵称为对角矩阵。如等幂矩阵等幂矩阵如果矩阵A满足 ，则该矩阵称为等幂矩阵。单位矩阵就是一个等幂矩阵374052001A300950711B300050001AAAA 矩阵运算矩阵运算参与运算的矩阵彼此之间具有运算一致性即它们的维度必须能够允许这些矩阵之间进行运算矩阵相加矩阵相加设A和B都是相同维度的矩阵，则AB就是将它们对应位置的元素相

19、加即可。例如则有矩阵相减矩阵相减矩阵减法是加法的反向运算，如：8765,4321BA1210868473625187654321BA44448473625187654321BA矩阵相乘矩阵相乘两个矩阵要相乘，必须满足前一个矩阵的列数等于后一个矩阵的行数。即 维的矩阵A必须与 维的矩阵B才能相乘。两个矩阵相乘的基本运算规则是：前一个矩阵的第i行各个元素，乘以后一个矩阵的第j列对应元素后相加，其结果作为结果矩阵的第i行j列的元素。例如则有 nmpn24142313221221114232221231211123,bbbbbbbbBaaaaaaA243214312422142124121411233

20、21331232213212312131122321231222212212212121121321131212211212112111124142313221221113222123121114223bababababababababababababababababababababababababbbbbbbbaaaaaaBA注意，当一个实数乘以一个矩阵时，等于将原始矩阵的所有元素都乘以这个实数。例如因此，当某个矩阵各元素有公因子时，是可以提出到行列式之外的，比如矩阵相除矩阵相除两个矩阵相除，实质上前一个矩阵乘以后一个矩阵的逆矩阵3222123121113222123121112355555

21、555aaaaaaaaaaaaA532111525151055523N矩阵的克罗内克乘积矩阵的克罗内克乘积假定有 矩阵A和 矩阵B，A与B的克罗内克乘积即为 矩阵，即 其中，表示矩阵A中第i行第j列的元素nmqpnqmp BaBaBaBaBaBaBaBaBaBAmnmminn22222111211ija矩阵的转置矩阵的转置矩阵的转置，即将原矩阵的行列互换。矩阵A的转置一般可以表示成 或者 。如则因此，一个 维的矩阵，其转置矩阵则为 维矩阵对于矩阵A和B，有下列转置矩阵运算规律，即nmmnTAA)(ABAB 322212312111aaaaaaA232221131211aaaaaaA矩阵的逆矩阵

22、的逆记矩阵A的逆阵为 ，则 。其中，I表示单位矩阵只有非奇异方阵，即满秩方阵，才存在逆矩阵以 维的矩阵求逆为例，其逆矩阵即：可以利用现代计量软件和数学计算工具计算出一个方阵的逆阵。另外，如果矩阵A和B均有逆阵，则有如下性质：1AIAA122111221222112221111aaaaaaaaA22211211aaaaA111111111)()()()()()(BAABABAAABAB矩阵特征根矩阵特征根设A是一个 的方阵，假定存在一个 的非0向量C和实数，使 成立，则向量C称为矩阵A的特征向量，称为矩阵A的特征根此时矩阵 应该为奇异矩阵，该矩阵的行列式应该为0，即 一个矩阵主对角线上元素的代数

23、和，称为矩阵的迹矩阵的迹，它等于该矩阵特征根的算术和根据矩阵的特征根，可以判断该矩阵是否为正定矩阵。对于所有非零向量X，如果对称矩阵A满足 都为正数，则矩阵A称为正定矩阵正定矩阵。如果一个对称矩阵的所有特征根均为正数，则该矩阵为正定矩阵。如果一个对称矩阵的所有特征根均为负数，则称该矩阵为负定矩阵负定矩阵。nn1nCACIA0 IAAXX矩阵求导矩阵求导矩阵求导的方法是矩阵形式表达最小二乘估计的基础假设X和C均为 的矩阵，定义一个函数 如果将f对X中的每一元素进行求导，则得由此可得矩阵求导公式，即此外，如果A是一个对称矩阵，则上式可以写成1nnxxxX21ncccC21XCfniiinxcxxxcccXCf132121CXXCXfAXAXXfXAAXAXXXf)(AXXAAXAXXXf2)(