1、在解析几何中，两个点 和 间的距离等于向量 -的长度.在欧氏空间中我们同样可引入 不难证明距离的三条基本性质：在中学所学几何中知道一个点到一个平面(或一条直线)上所有点的距离以垂线最短.下面可以证明一个固定向量和一个子空间中各向量的距离也是以“垂线最短”.先设一个子空间 W，它是由向量 1,2,k所生成，即 W=L(1,2,k).说一个向量 垂直于子空间 W，就是指向量 垂直于 W 中任何一个向量.容易验证 垂直于 W 的充分必要条件是 垂直于每个i(i=1,2,k).现在来证明设 是给定的一向量，是 W 中的向量，且满足 -垂直于 W.要证明 到 W 中各向量的距离以垂线最短，就是要证明，对
2、 W 中任一向量，有|-|-|.我们可以画出下面的示意图：-W 图 9-2-=(-)+(-).因 W 是子空间，W，W，则 -W.故 -垂直于-.由勾股定理，有|-|2+|-|2=|-|2，故|-|-|.上述几何事实可以用来解决一些实际问题.其中的一个应用就是解决最小二乘法问题.先看下面的例子.已知某种材料在生产过程中的废品率 y与某种化学成分 x 有关.下列表中记载了某工厂生产中 y 与相应的 x 的几次数值：y()1.00 0.9 0.9 0.81 0.60 0.56 0.35x()3.6 3.7 3.8 3.9 4.0 4.1 4.2我们想找出 y 对 x 的一个近似公式.把表中数值画出
3、图来看，发现它的变化趋势近于一条直线.因此我们决定选取 x 的一次式ax+b 来表达.当然最好能选到适当的 a,b 使得下面的等式3.6a+b-1.00=0,3.7a+b-0.9=0,3.8a+b-0.9=0,3.9a+b-0.81=0,4.0a+b-0.60=0,4.1a+b-0.56=0,4.2a+b-0.35=0 都成立.实际上是不可能的.任何 a,b 代入上面各式都会发生些误差.于是想找 a,b 使得上面各式的误差的平方和最小，即找 a,b 使(3.6a+b-1.00)2+(3.7a+b-0.9)2+(3.8a+b-0.9)2+(3.9a+b-0.81)2+(4.0a+b-0.60)2
4、+(4.1a+b-0.56)2+(4.2a+b-0.35)2 最小.这里讨论的是误差的平方即二乘方，故称为最小二乘法.现在转向一般的最小二乘法问题.0,0,022112222212111212111nsnsnnssssbxaxaxabxaxaxabxaxaxa)1()(122211niisisiibxaxaxa 下面我们利用欧氏空间的概念来表达最小二乘法，并给出最小二乘解所满足的条件.令.,112112121212222111211AXxaxaxaYxxxXbbbBaaaaaaaaaAsjjnjsjjjsjjjsnnsnnss(2)用距离的概念，就是|Y-B|2.最小二乘法就是找x10,x20
5、,xs0使 Y 与 B 的距离最短.但从知道向量 Y 就是.21222122121111nssssnnaaaxaaaxaaaxY把 A 的各列向量分别记成 1,2,s.由它们生成的子空间为 L(1,2,s).Y 就是 L(1,2,s)中的向量.于是最小二乘法问题可叙述成：应用前面所讲的结论，设Y=AX=x11+x22+xss 是所要求的向量，则C=B-Y=B-AX必须垂直于子空间 L(1,2,s).为此只须而且必须(C,1)=(C,2)=(C,s)=0.回忆矩阵乘法规则，上述一串等式可以写成矩阵相乘的式子，即1T C=0,2T C=0,sT C=0.而 1T,2T,sT 按行正好排成矩阵 AT，上述一串等式合起来就是AT(B-AX)=0，或AT AX=AT B.这就是最小二乘解所满足的代数方程，它是一个线性方程组，系数矩阵是 ATA，常数项是 ATB.这种线性方程组总是有解的.(参见第5章习题17)现在回到前面的例子，易知.35.056.060.081.090.090.000.1,12.411.410.419.318.317.316.3BA最小二乘解 a,b 所满足的方程是,0TTBAbaAA即为.012.573.27,0675.193.2775.106baba解得a=-1.05,b=4.81(取三位有效数字).
