最近邻分类算法方案课件.ppt

上传人(卖家):三亚风情 文档编号:2238490 上传时间:2022-03-24 格式:PPT 页数:16 大小:308KB
下载 相关 举报
最近邻分类算法方案课件.ppt_第1页
第1页 / 共16页
最近邻分类算法方案课件.ppt_第2页
第2页 / 共16页
最近邻分类算法方案课件.ppt_第3页
第3页 / 共16页
最近邻分类算法方案课件.ppt_第4页
第4页 / 共16页
最近邻分类算法方案课件.ppt_第5页
第5页 / 共16页
点击查看更多>>
资源描述

1、 K最近邻分类(KNN)数据挖掘算法 K最近邻分类(KNN)Y该方法的思路是:如果一个样本在特征空间中的k个最相近(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。即“近朱者赤,近墨者黑”,由你的邻居来推断出你的类别。Y用下面的谚语最能说明:“如果走像鸭子,叫像鸭子,看起来还像鸭子,那么它很可能就是一只鸭子。” K值选取Yk值通常是采用交叉检验来确定(以k=1为基准)Y交叉验证的概念:将数据样本的一部分作为训练样本,一部分作为测试样本,比如选择95%作为训练样本,剩下的用作测试样本。通过训练数据训练一个模型,然后利用测试数据测试其误差率。 cross-validat

2、e(交叉验证)误差统计选择法就是比较不同K值时的交叉验证平均误差率,选择误差率最小的那个K值。例如选择K=1,2,3,. , 对每个K=i做100次交叉验证,计算出平均误差,然后比较、选出最小的那个。Y经验规则:k一般低于训练样本数的平方根。Y需要指出的是:取k=1常常会得到比其他值好的结果,特别是在小数据集中。Y不过仍然要注意:在样本充足的情况下,选择较大的K值能提高抗躁能力。 欧氏距离Y计算距离有许多种不同的方法,如欧氏距离、余弦距离、汉明距离、曼哈顿距离等等,传统上,kNN算法采用的是欧式距离。Y也称欧几里得距离,它是一个采用的距离定义,他是在维空间中两个点之间的真实距离。Y二维的公式:

3、 221212() ()dx xy y 计算步骤如下:Y1.计算未知样本和每个训练样本的距离distY2.得到目前K个最临近样本中的最大距离maxdistY3.如果dist小于maxdist,则将该训练样本作为K-最近邻样本Y4.重复步骤2、3、4,直到未知样本和所有训练样本的距离都算完 Y5.统计K个最近邻样本中每个类别出现的次数Y6.选择出现频率最大的类别作为未知样本的类别Y注意:注意:Y该算法不需要花费时间做模型的构建。其他大多数分类算法,如决策树等都需要构建模型的阶段,而且该阶段非常耗时,但是它们在分类的时候非常省时。 类别的判定Y投票决定:少数服从多数,近邻中哪个类别的点最多就分为该

4、类。Y如果训练数据大部分都属于某一类,投票算法就有很大问题了。这时候就需要考虑设计每个投票者票的权重了。Y加权投票法:根据距离的远近,对近邻的投票进行加权,距离越近则权重越大(权重为距离平方的倒数)Y若样本到测试点距离为d,则选1/d为该邻居的权重(也就是得到了该邻居所属类的权重),接下来统计统计k个邻居所有类标签的权重和,值最大的那个就是新数据点的预测类标签。 示例:Y Y如图,绿色圆要被决定赋予哪个类,是红色三角形还是蓝色四方形?Y如果K=3,由于红色三角形所占比例为2/3,绿色圆将被赋予红色三角形那个类,如果K=5,由于蓝色四方形比例为3/5,因此绿色圆被赋予蓝色四方形类。 优缺点Y1、

5、优点、优点Y简单,易于理解,易于实现,无需估计参数,无需训练Y适合对稀有事件进行分类(例如当流失率很低时,比如低于0.5%,构造流失预测模型)Y特别适合于多分类问题(multi-modal,对象具有多个类别标签),例如根据基因特征来判断其功能分类,kNN比SVM的表现要好Y对于类域的交叉或重叠较多的待分样本集来说,KNN方法较其他方法更为适合。 优缺点Y2、缺点、缺点Y懒惰算法,就是说直到预测阶段采取处理训练数据。Y对测试样本分类时的计算量大,内存开销大,评分慢。Y可解释性较差,无法给出决策树那样的规则。Y由于没有涉及抽象过程,kNN实际上并没有创建一个模型,预测时间较长。Y该算法在分类时有个

6、主要的不足是,当样本不平衡时,如一个类的样本容量很大,而其他类样本容量很小时,有可能导致当输入一个新样本时,该样本的K个邻居中大容量类的样本占多数。 改进Y分组快速搜索近邻法分组快速搜索近邻法Y其基本思想是:将样本集按近邻关系分解成组,给出每组质心的位置,以质心作为代表点,和未知样本计算距离,选出距离最近的一个或若干个组,再在组的范围内应用一般的knn算法。由于并不是将未知样本与所有样本计算距离,故该改进算法可以减少计算量,但并不能减少存储量 行业应用Y客户流失预测、欺诈侦测等(更适合于稀有事件的分类问题)Y对垃圾邮件的筛选拦截;Y可以用于推荐推荐:这里我们不用KNN来实现分类,我们使用KNN最原始的算法思路,即为每个内容寻找K个与其最相似的内容,并推荐给用户。谢谢 谢谢 观观 看!看!人有了知识,就会具备各种分析能力,明辨是非的能力。所以我们要勤恳读书,广泛阅读,古人说“书中自有黄金屋。”通过阅读科技书籍,我们能丰富知识,培养逻辑思维能力;通过阅读文学作品,我们能提高文学鉴赏水平,培养文学情趣;通过阅读报刊,我们能增长见识,扩大自己的知识面。有许多书籍还能培养我们的道德情操,给我们巨大的精神力量,鼓舞我们前进。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 办公、行业 > 各类PPT课件(模板)
版权提示 | 免责声明

1,本文(最近邻分类算法方案课件.ppt)为本站会员(三亚风情)主动上传,163文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。
2,用户下载本文档,所消耗的文币(积分)将全额增加到上传者的账号。
3, 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(发送邮件至3464097650@qq.com或直接QQ联系客服),我们立即给予删除!


侵权处理QQ:3464097650--上传资料QQ:3464097650

【声明】本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是网络空间服务平台,本站所有原创文档下载所得归上传人所有,如您发现上传作品侵犯了您的版权,请立刻联系我们并提供证据,我们将在3个工作日内予以改正。


163文库-Www.163Wenku.Com |网站地图|