1、模式识别主讲主讲： 蔡宣平蔡宣平 教授教授 电话电话： 7344173441（O O）,73442,73442（H H）E-mailE-mail：单位单位: : 电子科学与工程学院信息工程系电子科学与工程学院信息工程系第六章第六章 最近邻方法最近邻方法6.1 最近邻决策规则最近邻决策规则6.2 剪辑最近邻法剪辑最近邻法6.3 实例实例3最近邻方法最近邻方法最近邻决策规则最近邻决策规则1-NN4最近邻方法最近邻方法最近邻决策规则最近邻决策规则k-NN 对于一个待识别模式对于一个待识别模式x, 分别计算它与分别计算它与个已知类别的样本个已知类别的样本 的距离的距离, 取取k个最近邻样本个最近邻样本
2、,这这k个样本中哪一类最多个样本中哪一类最多, 就判属哪一类。即：就判属哪一类。即：ciiNN1)(ijxiikxd)(ci, 2 , 1mx如果如果则则)(max)(, 2, 1xdxdicimciikk1显然显然5剪辑最近邻方法剪辑最近邻方法剪辑最近邻法剪辑最近邻法对于两类问题，设将已知类别的样本集对于两类问题，设将已知类别的样本集 分成参照分成参照集集 和测试集和测试集 两部分，这两部分没有公共元素，两部分，这两部分没有公共元素，它们的样本数各为它们的样本数各为NR和和NT，NR+NT=N。利用参照。利用参照集集 中的样本中的样本 采用最近邻规则对已采用最近邻规则对已知类别的测试集知类别
3、的测试集 中的每个样本中的每个样本 进行进行分类，剪辑掉分类，剪辑掉 中被错误分类的样本。中被错误分类的样本。)(NX)(NRX)(NTX)(NRX)(NTX)(NTXNRyyy,21NTxxx,21x)(0 xy)(NTXx)(0)(NRXxy)(NTEX若若是是的最近邻元，剪辑掉不的最近邻元，剪辑掉不与与 同类的同类的 ，余下的判决正确的样本组成剪辑样，余下的判决正确的样本组成剪辑样本集本集 ，这一操作称为剪辑。，这一操作称为剪辑。6剪辑最近邻方法剪辑最近邻方法剪辑最近邻法剪辑最近邻法获得剪辑样本集获得剪辑样本集 后，对待识模式后，对待识模式 采用最近采用最近邻规则进行分类。邻规则进行分类
4、。x)(NTEX)(, 2, 1min)(ijNjixxxdici, 2 , 1)(min)(, 2, 1xdxdicimmx如果如果则则这里这里)(NTEjXx 7剪辑最近邻方法剪辑最近邻方法剪辑剪辑k-NN 最近邻法最近邻法 剪辑最近邻法可以推广至剪辑最近邻法可以推广至k近邻法中，具体的近邻法中，具体的做法是：第一步用做法是：第一步用kNN 法进行剪辑，第二步用法进行剪辑，第二步用1NN 法进行分类。法进行分类。 如果样本足够多，就可以重复地执行剪辑程序，如果样本足够多，就可以重复地执行剪辑程序，以进一步提高分类性能。称为重复剪辑最近邻法。以进一步提高分类性能。称为重复剪辑最近邻法。89实例：实例：以现金识别的数据作为模式样本进行最近邻法分类。以现金识别的数据作为模式样本进行最近邻法分类。
