1、3.2多元线性回归模型参数的最小二乘估计多元线性回归模型参数的最小二乘估计一、一般模型的参数最小二乘估计一、一般模型的参数最小二乘估计设与总体线性回归模型（3.1.1）对应的样本线性回归模型为ikikiiixxxy22110（3.2.1） i =1,2,，n或表示为矩阵形式为XY其中 10kn21相应的样本线性回归方程为xxxykikiii22110（3.2.2） i =1, 2 ,，n利用最小二乘法求参数估计量 ：,210k设残差平方和为Q，则Q = )(22yyiii)(222110 xxxykikiii我们的任务是寻求适当的 使Q达到最小。根据多元函数的极值原理，应是下列方程组的解：,2
2、10k,210k0)(2221100 xxxyQkikiii0)(21221101xxxxyQikikiii 0)(222110 xxxxyQkikikiiik整理可得正规方程组：yxxxnikikii22110yxxxxxxxiiikikiiii1112221110 yxxxxxxxkiikikkiikiiki222110由（3.2.3）第一个方程，可以得到：xxxykk22110(3.2.3) （3.2.4） 将正规方程组写成矩阵形式： 1022111221121kkikiikiikiikiiiiikiiixxxxxxxxxxxxxxxnyxyxyikiiii1（3.2.3） 其中XXxx
3、xxxxxxxxxxxxxnkikiikiikikiiiiiikiii22112121121YXyxyxyikiiii110k于是正规方程组的矩阵形式为YXXX)(（3.2.5） YXXX)(1（3.2.6） 于是有二、中心化模型的参数最小二乘估计二、中心化模型的参数最小二乘估计我们已经知道，总体线性回归模型可以表示为 （3.2.7）uxxxyikikiii22110相应的样本线性回归模型可以表示为ikikiiixxxy22110（3.2.8） 对于样本容量为n 的 y 的均值可分别表示为uxxxykk22110（3.2.9） 其中心化模型uxxxyikikiii2211ikikiiixxxy
4、2211（3.2.11） （3.2.12） （i =1,2,，n）和xxxykk22110（3.2.10） 这里 =0，可以看作是对参数施加一个限制条件。将它们写成矩阵形式：UXYXY（3.2.13） （3.2.14） （3.2.13）为总体回归模型的中心化形式（或离差形式），（3.2.14）为样本回归模型的中心化形式（或离差形式）。其中yyyYn21xxxxxxxxxknnnkkX212221212111k2121kuuuUn21n21残差平方和)()(2XYXYi2XXYXYY（3.2.15） 其中用到 是标量的性质。XY将残差平方和（3.2.15）对 求导，并令其为零：022)(XXYX
5、整理得正规方程组YXXX （3.2.16） 解方程组（3.2.16）得YXXX)(1（3.2.17） 由（3.2.17）式可以看出，参数估计量的表达式与（3.2.6）式相比形式基本相同，但应注意（3.2.17）中的 不包含 ， 比 少一列常数1。对于（3.2.17）的计算可采用以下形式：0XXxxxxxxxxxxxxxxxxxxXXknnnkkknkknn212221212111212222111211xxxxxxxxxxxxxxxkiiikikiiiiikiiiiiki2212221212121（3.2.18） yxyxyxyyyxxxxxxxxxYXikiiiiinknkknn212121
6、2222111211（3.2.19） 对于k =2的情形，（3.2.17）式可以表示为yxyxxxxxxxiiiiiiiiii2112122122121（3.2.20） 解之可得xxxxxxxyxxxyxiiiiiiiiiiiii221221212222111xxxxxxyxxxyxxiiiiiiiiiiiii221221212121212（3.2.21） （3.2.22） 记D(2) = （3.2.23）xxxxxxiiiiii22122121D1(2) = （3.2.24）xyxxxyxiiiiiii222211D2(2) = （3.2.25）yxxxyxxiiiiiii212121从而参数估计量的表达式可以简记为)2()2(11DD)2()2(22DD（3.2.26） （3.2.27） 推广至 k 元线性回归，其参数的表达式便有：)()(kDkDjj j =1,2,，k （3.2.28） xxxykk22110（3.2.29）
