1、1模式识别主讲主讲： 蔡宣平蔡宣平 教授教授 电话电话： 7344173441（O O）,73442,73442（H H）E-mailE-mail：单位单位: : 电子科学与工程学院信息工程系电子科学与工程学院信息工程系第五章第五章 统计决策中的训练、学习统计决策中的训练、学习 与错误率测试、估计与错误率测试、估计n 统计推断概述统计推断概述n 参数估计参数估计n 概密的窗函数估计法概密的窗函数估计法n 有限项正交函数级数逼近法有限项正交函数级数逼近法5 51 1 统计推断概述统计推断概述第五章第五章 统计决策中的训练、学习统计决策中的训练、学习 与错误率测试、估计与错误率测试、估计本章目的：
2、已知类别的样本（训练样本）本章目的：已知类别的样本（训练样本） 学习或训练学习或训练获得类概密获得类概密)(ixp在上一章的学习中在上一章的学习中, ,我们一直假设类的条件概我们一直假设类的条件概率密度函数是已知的率密度函数是已知的, ,然后去设计贝叶斯分类器。然后去设计贝叶斯分类器。但在实际中，这些知识往往是不知道的，这就需但在实际中，这些知识往往是不知道的，这就需要用已知的样本进行学习或训练。也就是说利用要用已知的样本进行学习或训练。也就是说利用统计推断理论中的估计方法，从样本集数据中估统计推断理论中的估计方法，从样本集数据中估计这些参数。计这些参数。5.1 统计推断概述统计推断概述如果已
3、知如果已知i 类的概密类的概密)(ixp 的函数类型，即知道的函数类型，即知道i 类的类的概型，但不知道其中的参数或参数集概型，但不知道其中的参数或参数集，可采用参数估计的方法可采用参数估计的方法，当解得这些参数，当解得这些参数 后后)(ixp 也就确定了。也就确定了。 ),(21qqq=qD qmiL确定未知参数确定未知参数q参数估计参数估计参数估计有两类方法参数估计有两类方法: :1.1. 将参数作为非随机量处理，如将参数作为非随机量处理，如矩法估计矩法估计、最大似然估计最大似然估计；2.2. 将参数作为随机变量，将参数作为随机变量，贝叶斯估计贝叶斯估计就属此就属此类。类。5.1 统计推断
4、概述统计推断概述非参数估计非参数估计5.1 统计推断概述统计推断概述当不知道类的概型时，就要采用非参数估计的当不知道类的概型时，就要采用非参数估计的方法，这种方法也称为总体推断，这类方法有：方法，这种方法也称为总体推断，这类方法有：1. p-1. p-窗法窗法2. 2. 有限项正交函数级数逼近法有限项正交函数级数逼近法3. 3. 随机逼近法随机逼近法基本概念基本概念母体（总体）：母体（总体）：一个模式类称为一个一个模式类称为一个总体总体或或母体母体5.1 统计推断概述统计推断概述母体的母体的子样子样：一个模式类中某些模式：一个模式类中某些模式( (即母体中的即母体中的 一些元素一些元素) )的
5、集合称为这个的集合称为这个母体的子样母体的子样。母体。母体的子样含有母体的某些信息，可以通过构造的子样含有母体的某些信息，可以通过构造样样本的函数本的函数来获得。来获得。统计量：统计量：一般来说，每一个样本都包含着母体的某一般来说，每一个样本都包含着母体的某些信息，为了估计未知参数就要把有用的信息些信息，为了估计未知参数就要把有用的信息从样本中抽取出来。为此，要构造训练样本的从样本中抽取出来。为此，要构造训练样本的某种函数，这种函数在统计学中称为统计量。某种函数，这种函数在统计学中称为统计量。基本概念基本概念经验分布：经验分布：由样本推断的分布称为经验分布。由样本推断的分布称为经验分布。5.1
6、 统计推断概述统计推断概述)(ixp)(iP )(xPi数学期望、方差等数学期望、方差等理论量（或理论分布）：理论量（或理论分布）：参数空间：参数空间：在统计学中，把未知参数在统计学中，把未知参数q q的可能值的的可能值的集合称为参数空间，记为集合称为参数空间，记为Q Q。点估计、估计量：点估计、估计量：针对某未知参数针对某未知参数q q构造一个统计构造一个统计量作为量作为q q的估计的估计 ，这种估计称为点估计。，这种估计称为点估计。 称为称为q q的估计量。的估计量。qq基本概念基本概念5.1 统计推断概述统计推断概述 为了准确地对某一类的分布进行参数估计或总为了准确地对某一类的分布进行参
7、数估计或总体推断，应只使用该类的样本。体推断，应只使用该类的样本。就是说在进行参数估计时，应对各类进行独立就是说在进行参数估计时，应对各类进行独立的参数估计或总体推断。因此在以后的论述中，如的参数估计或总体推断。因此在以后的论述中，如无必要，不特别言明类别。无必要，不特别言明类别。 区间估计：区间估计：在一定置信度条件下估计某一未知参数在一定置信度条件下估计某一未知参数q q的取值范围，称之为置信区间，这类估计称的取值范围，称之为置信区间，这类估计称为区间估计。为区间估计。基本概念基本概念5.1 统计推断概述统计推断概述渐近无偏估计渐近无偏估计：即即 。当不能对所当不能对所有有 的都有的都有
8、时，希望估计量时，希望估计量 是渐是渐近无偏估计。近无偏估计。 q=qEENNlimN q=qEENNq基本概念基本概念5.1 统计推断概述统计推断概述均方收敛均方收敛:q=NNVarlim均方逼近均方逼近: :均方收敛均方收敛:=qqqq)(limNNNE又称相合估计又称相合估计一致估计一致估计: : 当样本无限增多时，估计量当样本无限增多时，估计量 依概依概率收敛于率收敛于 ，Nqq0)(lim=qqNNP 5 52 2 参数估计参数估计第五章第五章 统计决策中的训练、学习统计决策中的训练、学习 与错误率测试、估计与错误率测试、估计5.2 参数估计参数估计5.2.1 5.2.1 均值矢量和
9、协方差阵的矩法估计均值矢量和协方差阵的矩法估计5.2.2 5.2.2 最大似然估计最大似然估计(MLE)(MLE)5.2.3 5.2.3 贝叶斯估计贝叶斯估计(BE)(BE)5.2 参数估计参数估计均值矢量和协方差阵的矩法估计均值矢量和协方差阵的矩法估计矩法估计矩法估计是用样本是用样本( (的统计的统计) )矩作为总体矩作为总体( (理论理论) )矩的估矩的估值。若类的概型为正态分布，我们用矩法估计出类的值。若类的概型为正态分布，我们用矩法估计出类的均值矢量和协方差阵后，类的概密也就完全确定了。均值矢量和协方差阵后，类的概密也就完全确定了。 ),()(21D=nxdxpxxEL均值矢量均值矢量
10、: =NjjxN11均值无偏估计均值无偏估计: 5.2 参数估计参数估计均值矢量和协方差阵的矩法估计均值矢量和协方差阵的矩法估计=222212222222121212211nnnnnnLLLL)(2llkkklxxE= =lklkllkkdxdxxxpxx),()(=xxE)(=xxE协方差阵协方差阵 :5.2 参数估计参数估计均值矢量和协方差阵的矩法估计均值矢量和协方差阵的矩法估计)(=xxE协方差阵协方差阵 :=NjjjxxNC1)(11协方差阵无偏估计协方差阵无偏估计 :=NjjjNmxNmxN1) )()(11或或5.2 参数估计参数估计设设)(Nm和和)(NC是由是由N个样本算得的均
11、矢和协方差阵，个样本算得的均矢和协方差阵，1Nx则可采用则可采用递推公式递推公式进行估算进行估算若再加入一个新的样本若再加入一个新的样本=1111) 1(NjjxNNm)(1111=NNjjxxN)(111=NxNmNN1) 1 (xm=初始值初始值:)(11)(1NmxNNmN = = 均值矢量和协方差阵的矩法估计均值矢量和协方差阵的矩法估计5.2 参数估计参数估计协方差矩阵的递推估计式协方差矩阵的递推估计式: 均值矢量和协方差阵的矩法估计均值矢量和协方差阵的矩法估计)1()(1(1) 1(11=NmxNmxNNCjNjj)()()() 1(1111112111=NNNNjNjjxNmNxN
12、mNNNNxxNxxN)()(11111NmNmNNxxNNNjNjj=)()(1111NmxNmxNNN=11)1() 1(11NjjjNmNmNNxxN11)(12)()(111111=NNNjNjjxxNxNmNNmNmNNxxN)()(11)(111NmxNmxNNCNNNN=)1 () 1 () 1 (111111xxxxmmxxC初始值初始值:5.2 参数估计参数估计均值矢量和协方差阵的矩法估计均值矢量和协方差阵的矩法估计5.2 参数估计参数估计最大似然估计最大似然估计(MLE)(Maximum Likelihood Estimate) 如同如同矩法估计矩法估计一样，一样，最大似然
13、估计最大似然估计要求要求已知已知总体的概型总体的概型，即概密的具体函数形式，它也将被，即概密的具体函数形式，它也将被估计量作为确定性的变量对待。但最大似然估计估计量作为确定性的变量对待。但最大似然估计适用范围比矩法估计更宽一些，可以用于不是正适用范围比矩法估计更宽一些，可以用于不是正态分布的情况。态分布的情况。最大似然估计最大似然估计是参数估计中最重要的方法。是参数估计中最重要的方法。5.2 参数估计参数估计最大似然估计最大似然估计(MLE)(Maximum Likelihood Estimate) 似然函数似然函数: :当当N个随机样本取定值个随机样本取定值NxxxL,21时，时，),(21
14、qLNxxxp称为相对于称为相对于NxxxL,21的的q的的似然函数似然函数。 联合概密联合概密 设一个总体设一个总体x的概密为的概密为),(qxp，其中，其中q是一个是一个未知参数集，未知参数集，5.2 5.2 参数估计参数估计最大似然估计最大似然估计(MLE)(Maximum Likelihood Estimate) ),(21qLNxxxp),()(qDNXp)()(qNXp由于由于q是概密的一个确定性的参数集是概密的一个确定性的参数集, , 因此因此),()(qNXp实际上就是条件概密实际上就是条件概密 上式中不同的上式中不同的 , ,q),()(qNXp将不同。将不同。 如果各个如果
15、各个), 2 , 1(NjxjL=是独立抽取的，则进是独立抽取的，则进)()(qNXp=q=qqq=NjjNxpxpxpxp121)()()()(L一步有：一步有：5.2 5.2 参数估计参数估计最大似然估计最大似然估计(MLE)(MLE)(Maximum Likelihood Estimate) (Maximum Likelihood Estimate) 最大似然估计：最大似然估计：5.2 5.2 参数估计参数估计最大似然估计最大似然估计(MLE)(MLE)(Maximum Likelihood Estimate) (Maximum Likelihood Estimate) 在实际中多是独立
16、取样和经常处理正态变量，而在实际中多是独立取样和经常处理正态变量，而且对数函数是单值单调函数，对数似然函数与似然且对数函数是单值单调函数，对数似然函数与似然函数在相同的函数在相同的 处取得最大值。处取得最大值。q5.2 参数估计参数估计最大似然估计最大似然估计(MLE)(Maximum Likelihood Estimate) 在似然函数可微的条件下，在似然函数可微的条件下，求下面微分方程组的解：求下面微分方程组的解：0)()(=qqNXp)()(qNXpqq0)(ln)(ln1)(=qq=qq=NjjNxpXp或等价地求或等价地求作为极值的必要条件。作为极值的必要条件。 对数似然方程对数似然
17、方程组组 5.2 参数估计参数估计最大似然估计最大似然估计(MLE)(Maximum Likelihood Estimate) 需要指出的是：需要指出的是：对于具体问题，有时用上述对于具体问题，有时用上述方法不一定可行，原因之一是似然函数在最大值方法不一定可行，原因之一是似然函数在最大值点处没有零斜率。点处没有零斜率。 求出上面方程组中的一切解及边界值，计算使求出上面方程组中的一切解及边界值，计算使)()(qNXp最大的最大的q作为作为q的最大似然估计。的最大似然估计。 因此，最大似然的关键是必须知道概型。因此，最大似然的关键是必须知道概型。5.2 参数估计参数估计最大似然估计最大似然估计(M
18、LE)(Maximum Likelihood Estimate) 下面我们以多维正态分布为例进行说明。下面我们以多维正态分布为例进行说明。（1 1）假设）假设是已知的，未知的只是均值是已知的，未知的只是均值，则：，则：)()(|)2ln()|(ln12121q=kTkdkxxxp)()|(ln1q=kkxxp0)(11=Nkkx=NkkxN115.2 参数估计参数估计最大似然估计最大似然估计(MLE)(Maximum Likelihood Estimate) 这说明，样本总体的未知均值的最大似然估计这说明，样本总体的未知均值的最大似然估计就是训练样本的平均值。它的几何解释就是：若把就是训练样本
19、的平均值。它的几何解释就是：若把N N个样本看成是一群质点，则样本均值便是它们的个样本看成是一群质点，则样本均值便是它们的质心。质心。2122)(21)2ln(21)|(lnqqqq=kkxxp=22212122)(21)(1)|(lnqqqqqqqkkkxxxp0)(1112=Nkkxqq0)(11122212=NkNkkxqqq=NkkxN110)(1112=Nkkxqq0)(11122212=NkNkkxqqq212) (1=NkkxN可见，正态分布中的协方差阵可见，正态分布中的协方差阵的最大似然估的最大似然估计量等于计量等于N N个矩阵的算术平均值。个矩阵的算术平均值。=NkkxN11
20、（3 3）对于一般的多维正态密度的情况，计算方法）对于一般的多维正态密度的情况，计算方法完全是类似的。最后的结果是：完全是类似的。最后的结果是：TNkkkxxN) )(11=可以证明上式的均值是无偏估计，但协方差阵可以证明上式的均值是无偏估计，但协方差阵并不是无偏估计，无偏估计是：并不是无偏估计，无偏估计是：TNkkkxxN) )(111=5.2 参数估计参数估计贝叶斯估计贝叶斯估计(BE)考虑到考虑到)(NX的各种取值，我们应求的各种取值，我们应求)()(NXR q在在=LN空间中的期望，即平均损失：空间中的期望，即平均损失： q=NNNNXdXpXRR)()()()()()()()()()
21、(),(NNNXddXpXpNqqqq= Q5.2 参数估计参数估计贝叶斯估计贝叶斯估计(BE)q=NNNNXdXpXRR)()()()()()()()()()(),(NNNXddXpXpNqqqq= Q5.2 参数估计参数估计贝叶斯估计贝叶斯估计(BE),(qq 不同的具体定义，可得到不不同的具体定义，可得到不同的最佳贝叶斯估计。比如，可以用平方误差作同的最佳贝叶斯估计。比如，可以用平方误差作为代价，此时：为代价，此时：上式中，对于上式中，对于)()(),(qqqq=qq)()()()()()()(NNNXdXpdXpN Qqqqqqq=)()()()()()()(NNNXddXpXpRNq
22、qqqqq= Q于是：于是： 5.2 参数估计参数估计贝叶斯估计贝叶斯估计(BE)min)()()()()()(=qqqqqq=qQdXpXRNNq由于由于)()(NXp是非负的，是非负的，只出现在内层积分中，关于只出现在内层积分中，关于q使使R最小等价于：最小等价于：)()()()()()()(NNNXdXpdXpN Qqqqqqq=R为求为求)()(NXR q极小，令极小，令=qqqq=qqQdXpXRNN)()(2)()()(5.2 参数估计参数估计贝叶斯估计贝叶斯估计(BE)=qqqq=qqQdXpXRNN)()(2)()()(从而可得：从而可得：)()()()()(NNNXEdXpX
23、q=qqq=qQ5.2 参数估计参数估计贝叶斯估计贝叶斯估计(BE)下面介绍估计下面介绍估计q 所涉及的其它公式或近似算式：所涉及的其它公式或近似算式：由于各样本是独立抽取的，故它们条件独立，即有由于各样本是独立抽取的，故它们条件独立，即有=q=q=qNjjNNxpxxxpXp121)()(),()(L由贝叶斯定理知：由贝叶斯定理知：5.2 参数估计参数估计贝叶斯估计贝叶斯估计(BE)=qq=q=qNjjNNNpxpXxxxpXp1)(121)()()()(),()(L5.2 参数估计参数估计贝叶斯估计贝叶斯估计(BE)作业：作业：P170 5.1, 5.2, 5.34254 概密的窗函数估计
24、法 第五章第五章 统计决策中的训练、学习统计决策中的训练、学习 与错误率测试、估计与错误率测试、估计43N设设 个样本个样本 是从上述概密为是从上述概密为 的总的总体中独立抽取的，体中独立抽取的， 个样本中有个样本中有 个样本落入区域个样本落入区域 中的概率中的概率 服从离散随机变量的二项分布服从离散随机变量的二项分布NxxxL,21)(xpNkRkPkNkkNkPPCP=)1 (44令令 为众数，如果为众数，如果 不是整数，则不是整数，则: 即即 等于等于 的整数部分；的整数部分；mPN) 1(mPN) 1(PNm) 1(=PN) 1(1) 1(=PNmPNm) 1(=如果如果 是整数，则是
25、整数，则: 和和45PNmPN) 1(1) 1(由于：由于：PNNPk所以：所以：这里这里 是是 的估计，当的估计，当 较大较大 较小时上式的近较小时上式的近似程度是足够的。似程度是足够的。 PPNP465.4 概密的窗函数估计法概密的窗函数估计法概率密度的基本估计式概率密度的基本估计式 当固定当固定 时，对时，对 的最大似然估计的最大似然估计 ，由概率论知，由概率论知， 的数学期望的数学期望 。kNkkNkPPCP=)1 (NkP =Pkk NPkE= NPkE= NPkE=475.4 概密的窗函数估计法概密的窗函数估计法概率密度的基本估计式概率密度的基本估计式设区域设区域R的体积为的体积为
26、V，我们取，我们取R足够小，使足够小，使=RVxpxdxpP)()(设设)( xp是是)(xp的估计，由上面二式有的估计，由上面二式有VxpxdxpPNkR)()(=于是可得于是可得VNkxp=)( 485.4 概密的窗函数估计法概密的窗函数估计法概率密度的基本估计式概率密度的基本估计式显然显然VNkxp=)( 是是)(xp的基本估计式，它与的基本估计式，它与kVN,有关，显然有关，显然)( xp和和)(xp有一定的误差。有一定的误差。 理论上，要使理论上，要使)( xp)(xp R0 V0，同时，同时k，N。 而实际估计时体积而实际估计时体积V不是任意的小，且样本总数不是任意的小，且样本总数
27、)( xp总是存在误差。总是存在误差。 也是有限的，所以也是有限的，所以495.4 概密的窗函数估计法概密的窗函数估计法概率密度的基本估计式概率密度的基本估计式为了提高为了提高处的概密处的概密)(xp的估计精度，我们根据的估计精度，我们根据理论，可以采用如下步骤以尽量满足理论要求：理论，可以采用如下步骤以尽量满足理论要求：极限极限x 构造一包含构造一包含的区域序列的区域序列各区域各区域的体积的体积满足满足x,21LRR), 2 , 1(L=NRNNV0lim=NNV 相对区域相对区域作估计实验，对作估计实验，对取取N), 2 , 1(L=NRN个样本个样本进行估计，设有进行估计，设有个样本落入
28、个样本落入样本数目应满足样本数目应满足中，中，NRNk=NNklim0lim=NkNNNR505152535.4 概密的窗函数估计法概密的窗函数估计法Parzen窗法窗法为能用函数描述区域为能用函数描述区域NR和对落入和对落入NR的样本计的样本计数，数，定义窗函数定义窗函数),(21=nuuuuL=j其它当,0, 2 , 1,21,1)(niuuiL 这样，这样，)(u j j以函数值以函数值1界定了一个以原点为中界定了一个以原点为中心、棱长为心、棱长为1的的n维超立方体。维超立方体。545.4 概密的窗函数估计法概密的窗函数估计法Parzen窗法窗法 如果一个样本如果一个样本jx落入以落入以
29、 x为为中心以中心以Nh 为棱长的超立方体为棱长的超立方体NR内时则计数为内时则计数为1 ，否则计数为，否则计数为 0，我们可以利用窗函数我们可以利用窗函数)(xj实现实现这个约定，即这个约定，即j=jNjhxxx)(落入该立方体落入该立方体NR的样本数的样本数=j=NjNjNhxxk155565.4 概密的窗函数估计法概密的窗函数估计法Parzen窗法窗法上面所讲的是从构造上导出了估计式，所取的窗函上面所讲的是从构造上导出了估计式，所取的窗函数即迭加基函数为数即迭加基函数为 维方窗维方窗(柱柱)函数。事实上只要函数。事实上只要窗函数满足下面的两个条件窗函数满足下面的两个条件:n0)(j u=
30、j1)(udu由式由式 构造的估计式就是概密函数。构造的估计式就是概密函数。 =j=NjNjNNhxxVNxp111)(575.4 概密的窗函数估计法概密的窗函数估计法Parzen窗法窗法 按照上面的条件，除了选择方窗外，还可以选按照上面的条件，除了选择方窗外，还可以选择其它的满足上述择其它的满足上述两个条件的函数作窗函数。下面两个条件的函数作窗函数。下面列出几个一维窗函数的例子，列出几个一维窗函数的例子，n维的窗函数可用乘积维的窗函数可用乘积的方法由一维函数构造。的方法由一维函数构造。 指数窗函数指数窗函数 uu=jexp)( 方窗函数方窗函数 =j其它,021,1)(uu 正态窗函数正态窗
31、函数 =j221exp21)(uu 三角窗函数三角窗函数 =j1,01,1)(uuuu58下面进一步讨论窗宽下面进一步讨论窗宽 对估计的影响对估计的影响:Nh5.4 概密的窗函数估计法概密的窗函数估计法Parzen窗法窗法)(1)(NNNhxVxj=定义定义:=NjjNNxxNxp1)(1)(于是估计式表示成于是估计式表示成:nNNhV=Nh影响影响)(xN的幅度和宽度。的幅度和宽度。注意到注意到: 可看出可看出 595.4 概密的窗函数估计法概密的窗函数估计法Parzen窗法窗法若若Nh较大较大，则，则)(jNxx幅度将较小，而宽幅度将较小，而宽度增大度增大)(xpN是是N个低幅缓变个低幅缓
32、变宽的函数迭加宽的函数迭加,)(xpN较平较平滑，不能跟上滑，不能跟上 的变化，分辨率较低。的变化，分辨率较低。)(xp)(1)(NNNhxVxj=NjjNNxxNxp1)(1)(60615.4 概密的窗函数估计法概密的窗函数估计法Parzen窗法窗法估计量估计量 是一随机变量，它依赖于随机的训是一随机变量，它依赖于随机的训练样本，所以估计量的性能只能用统计性质表示。练样本，所以估计量的性能只能用统计性质表示。)(xpN)(xpN在满足下列条件下在满足下列条件下 是是渐近无偏估计渐近无偏估计、均方均方收敛收敛、均方逼近均方逼近 、且是、且是渐近正态分布渐近正态分布。 )(xp 概密概密)(xp
33、 在在x 处连续处连续 窗函数满足下列条件窗函数满足下列条件0)(ju =j1)(udu j)(supuu 0)(lim1=j=niiuuu625.4 概密的窗函数估计法概密的窗函数估计法Parzen窗法窗法估计量估计量 是一随机变量，它依赖于随机的训是一随机变量，它依赖于随机的训练样本，所以估计量的性能只能用统计性质表示。练样本，所以估计量的性能只能用统计性质表示。)(xpN)(xpN在满足下列条件下在满足下列条件下 是是渐近无偏估计渐近无偏估计、均方均方收敛收敛、均方逼近均方逼近 、且是、且是渐近正态分布渐近正态分布。 )(xp 窗宽限制窗宽限制 0lim=NNV=NNNVlim对样本的要
34、求对样本的要求=NNklim0)(lim=NkNN63(1) (1) 是是 的的渐近无偏估计渐近无偏估计证明：)(xpN)(xp=NjNjNNhxxVENxpEx1)(11)( ,jydyphyxVNN)()(1j=ydypyxN)()(), 2 , 1(独立抽取，且分布相同NjxjL=)(1)( NNNhxVxj=这里，)()( lim 0, lim NxxVNNN=又)()()()(E limxpydypyxxpNN=6465P窗法的特点窗法的特点 适用范围广，无论概密是规则的或不规则的、单峰适用范围广，无论概密是规则的或不规则的、单峰的或多峰的。的或多峰的。但它但它要求样本分布较好且数量
35、要大要求样本分布较好且数量要大，显然这也是一，显然这也是一个良好估计所必须的，但它的取样过程的操作个良好估计所必须的，但它的取样过程的操作增加了取样工作的复杂性。增加了取样工作的复杂性。窗函数选取得当有利于提高估计的精度和减少样本窗函数选取得当有利于提高估计的精度和减少样本的数量。的数量。66（a）图中，图中，p(x)是均值为零、是均值为零、方差为方差为1的一维正态分布，的一维正态分布，窗函数选择为正态窗函数：窗函数选择为正态窗函数：21exp21)(2uu=jNhhN1=h1为可调节参量。于是：为可调节参量。于是：)(xpN=j=NjNjNhxxhN1)(1167（a）由结果曲线可以看出，由
36、结果曲线可以看出，样本量越大，估计越精样本量越大，估计越精确；同时，也可以看出确；同时，也可以看出窗口选择是否适当对估窗口选择是否适当对估计结果有一定影响。计结果有一定影响。 68=其它02025. 025 . 2, 1xx)(xp)(uj和和Nh 同上同上由图中曲线可以看出，由图中曲线可以看出，当当N N 较小时，窗函数较小时，窗函数对估计结果影响较大，对估计结果影响较大，其估计结果与真实分其估计结果与真实分布相差较远；当布相差较远；当N N 增增大时，估计结果与真大时，估计结果与真实分布较为接近。实分布较为接近。695.4 概密的窗函数估计法概密的窗函数估计法kN-近邻估计法近邻估计法NN
37、V在在P窗法中，把体积窗法中，把体积NV作为作为的函数导致的函数导致对估计结果影响很大。例如对估计结果影响很大。例如NVVN1=当当1V选得太小将导致大部分区域是空的，会使选得太小将导致大部分区域是空的，会使)(xpN不稳定；不稳定；1V选得太大，则选得太大，则)(xpN较平坦，将丢失较平坦，将丢失)(xp的一些重要空间变化。的一些重要空间变化。当当近邻元估计法是克服这个问题的一个可能的方法。近邻元估计法是克服这个问题的一个可能的方法。Nk705.4 概密的窗函数估计法概密的窗函数估计法kN-近邻估计法近邻估计法Nk基本思想：把含基本思想：把含x点的序列区域的体积点的序列区域的体积LL,21N
38、VVV作为落入作为落入NR中样本数中样本数Nk的函数，而不是直接作为的函数，而不是直接作为N的函数。我们可以预先确定的函数。我们可以预先确定Nk是是N的某个函数，然后在的某个函数，然后在x点附近选择一点附近选择一“紧凑紧凑”区域，区域，个邻近样本。个邻近样本。实验样本数实验样本数让它只含让它只含x点附近概密较大，则包含点附近概密较大，则包含Nk个样本的区域个样本的区域如果如果体积自然就相对的小；体积自然就相对的小；x点附近概密较小，则区域体积就较大。点附近概密较小，则区域体积就较大。Nk个邻近样本而扩展到高密度个邻近样本而扩展到高密度如果如果显然，当区域为含有显然，当区域为含有区时，扩展过程必
39、然会停止。区时，扩展过程必然会停止。715.4 概密的窗函数估计法概密的窗函数估计法kN-近邻估计法近邻估计法如果满足条件如果满足条件0lim=NNV=NNklim0lim=NkNN 725.4 概密的窗函数估计法概密的窗函数估计法kN-近邻估计法近邻估计法735.4 概密的窗函数估计法概密的窗函数估计法kN-近邻估计法近邻估计法-2 0 210.01.00.10.010.001N=1, KN=1-2 0 210.01.00.10.010.001-2 0 210.01.00.10.010.001-2 0 210.01.00.10.010.001-2 0 210.01.00.10.010.001
40、-2 0 210.01.00.10.010.001-2 0 210.01.00.10.010.001-2 0 210.01.00.10.010.001N=16, KN=4N=256, KN=16N= , KN= 74作业作业P170 5.7 5.875765 55 5 有限项正交函数级数逼近法有限项正交函数级数逼近法第五章第五章 统计决策中的训练、学习统计决策中的训练、学习 与错误率测试、估计与错误率测试、估计7755 有限项正交函数级数逼近法有限项正交函数级数逼近法设有设有个抽自同一母体个抽自同一母体 的样本的样本用于估用于估计总体概密计总体概密，我们将概密，我们将概密的估计的估计表示成表示
41、成有限项正交级数有限项正交级数NxNxxxL,21)(xp)(xp)( xp)()( 1xCxpiRiij=式中，式中，是某一正交函数集是某一正交函数集的基函数，的基函数，为待定系数。为待定系数。)(xij)(xij), 2 , 1(RiCiL=)(xp)(xij应根据应根据 的特点适当选择的特点适当选择 以期在固定的以期在固定的项数下减小误差，项数项数下减小误差，项数R取得越大近似得就越好。取得越大近似得就越好。最小积分平方逼近方法最小积分平方逼近方法7855 有限项正交函数级数逼近法有限项正交函数级数逼近法 估计估计与真值与真值之间的误差可用下式测度之间的误差可用下式测度)( xp)(xp
42、=xdxpxpxCCCJRL221)( )()(),(式中，式中， 是特征空间，是特征空间，是权函数，显然是权函数，显然越小，我们得到的估计从总体上讲就越精确。越小，我们得到的估计从总体上讲就越精确。)(x)(J=j=xdxCxpxCCCJiRiiRL2121)()()(),(将将 的具体表示代入上式得：的具体表示代入上式得： )( xp最小积分平方逼近方法最小积分平方逼近方法79=j=xdxCxpxCCCJiRiiRL2121)()()(),(上式的上式的J是是), 2 , 1(RiCiL=的二次函数，因此使的二次函数，因此使J达到最小值的达到最小值的iC必要且只要满足：必要且只要满足：0)
43、,(, 2, 121=RiCCkRiiCCCCJLL), 2 , 1(RkL=0)()()()(21=jj=xdxxCxpxkiRii由此可得：由此可得：从而有：从而有：xdxpxxxdxxxCkkiRii)()()()()()(1j=jj=), 2 , 1(RkL=80)()(1)()()(11jkNjjkiRiixxNxdxxxCjjj=), 2 , 1(RkL=令令)(xij是带权函数是带权函数)(x的正交函数集，即的正交函数集，即 =jjkikiAxdxxxiki,0,)()()(81)()(1)()()(11jkNjjkiRiixxNxdxxxCjjj=), 2 , 1(RkL=jj
44、kikiAxdxxxiki,0,)()()(则有则有:)()(11jiNjjiixxNACj=), 2 , 1(RiL=若若)(xij是在是在)(x下的规范化的正交函数集，即下的规范化的正交函数集，即1=iA则有则有:)()(11jiNjjixxNCj=), 2 , 1(RiL=将所求得的最佳系数将所求得的最佳系数iC代入式代入式)( xp。)()( 1xCxpiRiij=便可以得到便可以得到82iC的计算式可写成的计算式可写成迭代形式迭代形式。 )()(11) 1(1j=NiiixNNCNNC), 2 , 1(RiL=令令1)(= x，若，若)(NCi表示用前表示用前N个样本所求得的系数个样
45、本所求得的系数1N个样本后，个样本后，当加入第当加入第初始系数初始系数:0)0(=iC，显然，显然)() 1 (1xCiij=。 83同理可得到同理可得到 的的迭代形式迭代形式。 )(1xpN)()(11)(1)(111xxNxpNNxpiRiNiNNjj=)() 1()(11xNCxpiRiiNj=)()(11) 1(1j=NiiixNNCNNC)()()(1xNCxpiRiiNj=)()()(11)(11xpxxNxpNiRiNiNjj0)(0=xp初始值初始值:84 前面介绍的方法中被逼近的函数是概密，对于这前面介绍的方法中被逼近的函数是概密，对于这种幅值大小变化较剧烈的函数，须用种幅值
46、大小变化较剧烈的函数，须用较多的项较多的项才可能才可能在整个空间中有较好的逼近。在整个空间中有较好的逼近。 为减少计算量为减少计算量, 在样本出现较密集的区域（即概在样本出现较密集的区域（即概密取值较大的区域）中，应要求逼近精度高些；而在密取值较大的区域）中，应要求逼近精度高些；而在样本出现稀疏的区域（即概密取值较小的区域）中，样本出现稀疏的区域（即概密取值较小的区域）中，可以让逼近精度低一些。可以让逼近精度低一些。 这样分别对待会使在相同的训练样本下总的误判这样分别对待会使在相同的训练样本下总的误判概率较小。因此应考虑概率较小。因此应考虑加权的最小均方差逼近加权的最小均方差逼近。85对于对于
47、c类问题，设类概密和类概率分别类问题，设类概密和类概率分别为为)(ixp 和和)(iP ), 2 , 1(ciLL= =，则混合概密为，则混合概密为 = = = =ciiixpPxp1)()()( 设对每类的概密设对每类的概密)(ixp 的估计的估计)(ixp 用正交函用正交函数有限项表示为数有限项表示为 = =j j= = RjjijixCxp1)()()( 86考虑以混合概密作为权值的加权均方差考虑以混合概密作为权值的加权均方差: xdxpxCxpCCCJRjjijiiRiiiL)()()(),(21)()()(2)(1)(j=ci, 2 , 1L=求求)(iJ)1 (ci 的最小值，有如
48、下的定理：的最小值，有如下的定理：记为记为)(ijx，其中，其中iNj, 2 , 1L=ci, 2 , 1;L=，=ciiNN1若取各类的概率若取各类的概率NNPii= )(为使上面所确定的为使上面所确定的)(iJ达到最小值的达到最小值的)(ijC近似满足线性方程组近似满足线性方程组:设有设有N个样本个样本 sx，其中有，其中有iN个样本属于个样本属于i类，类，87=RjiljlijbaC1)()(), 2 , 1(RlL=j=Nssislilxuxb1)()()(=isissixxxu当当,0,1)(), 2 , 1(ciL=jj=Nsslsjjlxxa1)()(其中其中:ciRjl, 2
49、, 1, 2 , 1,LL=88=RjiljlijbaC1)()(), 2 , 1(RlL=求得求得), 2 , 1;, 2 , 1()(RjciCijLL=后就能构造各类的概密逼近式：后就能构造各类的概密逼近式：=j=RjjijixCxp1)()()( ), 2 , 1(ciL=89解：解：用正交的二维用正交的二维Hermite多项式来构成正交函数集。多项式来构成正交函数集。例：用逼近法求如下模式类别的例：用逼近法求如下模式类别的 和和 的估计。的估计。 1xp2xp90 1,20102111=xHxHxxxjj 1201121222,xxHxHxxx=jj 2211021332,xxHxH
50、xxx=jj 21211121444,xxxHxHxxx=jj =41jjijixCxpj（正交函数项数）类别号4 , 3 , 2 , 1; )(2 , 1=ji =iNkikjiijxNC11j6 , 721=NN91对于对于 1,N1=7,系数为系数为=71)1(1111)(71kkxCj6)4433322(72271)(7171)1(71)1(2121=kkkkxxCj6)4343232(72271)(7171)1(71)1(3132=kkkkxxCj1 .37)44344333233232(74 471)(7171)1()1(71)1(41421=kkkkkxxxCj212121214
