1、第12章 聚类分析 聚类分析13.1.1 聚类分析的基本原理13.1.2 层次聚类13.1.3 K-均值聚类13.1.4 聚类分析的Stata命令n把把“对象对象”分成不同的类别分成不同的类别l这些类不是事先给定的，而是直接根据数据的特征这些类不是事先给定的，而是直接根据数据的特征确定的确定的n把相似的东西放在一起，从而使得类别内部的把相似的东西放在一起，从而使得类别内部的“差异差异”尽可能小，而类别之间的尽可能小，而类别之间的“差异差异”尽可能大尽可能大n聚类分析就是按照对象之间的聚类分析就是按照对象之间的“相似相似”程度把对象进行程度把对象进行分类分类什么是聚类分析？(cluster an
2、alysis)n聚类分析的聚类分析的“对象对象”可以是所观察的多个样本，也可以可以是所观察的多个样本，也可以是针对每个样本测得的多个变量是针对每个样本测得的多个变量n按照变量对所观察的样本进行分类称为按照变量对所观察的样本进行分类称为Q Q型聚类型聚类l按照多项经济指标按照多项经济指标(变量变量)对不同的地区对不同的地区(样本样本)进行进行分类分类n按照样本对多个变量进行分类，则称为按照样本对多个变量进行分类，则称为R R型聚类型聚类l按照不同地区的样本数据对多个经济变量进行分类按照不同地区的样本数据对多个经济变量进行分类n两种聚类没有什么本质区别，实际中人们更感兴趣的通两种聚类没有什么本质区
3、别，实际中人们更感兴趣的通常是根据变量对样本进行分类常是根据变量对样本进行分类(Q(Q型聚类型聚类)什么是聚类分析？(两种分类方式)n按对象的按对象的“相似相似”程度分类程度分类n根据样本的观测数据测度变量之间的相似性程度可以使根据样本的观测数据测度变量之间的相似性程度可以使用夹角余弦、用夹角余弦、PearsonPearson相关系数等工具，也称为相关系数等工具，也称为相似系数相似系数l变量间的相似系数越大，说明它们越相近变量间的相似系数越大，说明它们越相近n根据变量来测度样本之间的相似程度则使用根据变量来测度样本之间的相似程度则使用“距离距离”l把离得比较近的归为一类，而离得比较远的放在不把
4、离得比较近的归为一类，而离得比较远的放在不同的类同的类什么是聚类分析？(按什么分类)相似性的度量(样本点间距离的计算方法)Euclidean距离距离Squared Euclidean距离距离Block距离距离Chebychev距离距离Minkovski距离距离piiiyx12)(qpiqiiyx1iiyx maxpiiiyx12)(piiiyx1n在对变量进行分类时，度量变量之间的相似性常用相似在对变量进行分类时，度量变量之间的相似性常用相似系数，测度方法有系数，测度方法有相似性的度量(变量相似系数的计算方法)夹角余弦夹角余弦 Pearson相关系数相关系数iiiiiiixyyxyx22cos
5、iiiiiiixyyyxxyyxxr22)()()(n层次聚类又称系统聚类层次聚类又称系统聚类n事先不确定要分多少类，而是先把每一个对象作为一类事先不确定要分多少类，而是先把每一个对象作为一类，然后一层一层进行分类，然后一层一层进行分类n根据运算的方向不同，层次聚类法又分为根据运算的方向不同，层次聚类法又分为合并法合并法和和分解分解法法，两种方法的运算原理一样，只是方向相反，两种方法的运算原理一样，只是方向相反层次聚类(hierarchical cluster)n将每一个样本作为一类，如果是将每一个样本作为一类，如果是k个样本就分个样本就分k成类成类n按照某种方法度量样本之间的距离，并将距离最
6、近的两按照某种方法度量样本之间的距离，并将距离最近的两个样本合并为一个类别，从而形成了个样本合并为一个类别，从而形成了k-1个类别个类别n再计算出新产生的类别与其他各类别之间的距离，并将再计算出新产生的类别与其他各类别之间的距离，并将距离最近的两个类别合并为一类。这时，如果类别的个距离最近的两个类别合并为一类。这时，如果类别的个数仍然大于数仍然大于1，则继续重复这一步，直到所有的类别都合，则继续重复这一步，直到所有的类别都合并成一类为止并成一类为止n总是先把离得最近的两个类进行合并总是先把离得最近的两个类进行合并l合并越晚的类，距离越远合并越晚的类，距离越远l事先并不会指定最后要分成多少类，而
7、是把所有可事先并不会指定最后要分成多少类，而是把所有可能的分类都列出，再视具体情况选择一个合适的分能的分类都列出，再视具体情况选择一个合适的分类结果类结果 层次聚类(合并法)n分解方法原理与合并法相反分解方法原理与合并法相反n先把所有的对象先把所有的对象(样本或变量样本或变量)作为一大类，然后度量对作为一大类，然后度量对象之间的距离或相似程度，并将距离或相似程度最远的象之间的距离或相似程度，并将距离或相似程度最远的对象分离出去，形成两大类对象分离出去，形成两大类(其中的一类只有一个对象其中的一类只有一个对象)n再度量类别中剩余对象之间的距离或相似程度，并将最再度量类别中剩余对象之间的距离或相似
8、程度，并将最远的分离出去，不断重复这一过程，直到所有的对象都远的分离出去，不断重复这一过程，直到所有的对象都自成一类为止自成一类为止层次聚类(分解法)nNearest neighborNearest neighbor(最短距离法最短距离法)用两个类别中各用两个类别中各个数据点之间最短的那个距离来表示两个类别之间个数据点之间最短的那个距离来表示两个类别之间的距离的距离nFurthest neighborFurthest neighbor(最长距离法最长距离法)用两个类别中各用两个类别中各个数据点之间最长的那个距离来表示两个类别之间个数据点之间最长的那个距离来表示两个类别之间的距离的距离nCent
9、roidCentroid clustering clustering(重心法重心法)用两个类别的重心用两个类别的重心之间的距离来表示两个类别之间的距离之间的距离来表示两个类别之间的距离nbetween-groups linkagebetween-groups linkage(组间平均距离法组间平均距离法)SPSS)SPSS的默认方法。是用两个类别中间各个数据点之间的的默认方法。是用两个类别中间各个数据点之间的距离的平均来表示两个类别之间的距离距离的平均来表示两个类别之间的距离nWards methodWards method(离差平方和法离差平方和法)使各类别中的离使各类别中的离差平方和较小，
10、而不同类别之间的离差平方和较大差平方和较小，而不同类别之间的离差平方和较大类间距离的计算方法n层次聚类事先不需要确定要分多少类，聚类过程一层层层次聚类事先不需要确定要分多少类，聚类过程一层层进行，最后得出所有可能的类别结果，研究这根据具体进行，最后得出所有可能的类别结果，研究这根据具体情况确定最后需要的类别。该方法可以绘制出树状聚类情况确定最后需要的类别。该方法可以绘制出树状聚类图，方便使用者直观选择类别，但其缺点是计算量较大图，方便使用者直观选择类别，但其缺点是计算量较大，对大批量数据的聚类效率不高，对大批量数据的聚类效率不高nK-K-均值聚类事先需要确定要分的类别数据，计算量要小均值聚类事
11、先需要确定要分的类别数据，计算量要小得多，效率比层次聚类要高，得多，效率比层次聚类要高，n也被称为快速聚类也被称为快速聚类(quick cluster)(quick cluster)K-均值聚类(K-means cluster)n第第1 1步：步：确定要分的类别数目确定要分的类别数目K Kl需要研究者自己确定需要研究者自己确定l在实际应用中，往往需要研究者根据实际问题反复在实际应用中，往往需要研究者根据实际问题反复尝试，得到不同的分类并进行比较，得出最后要分尝试，得到不同的分类并进行比较，得出最后要分的类别数量的类别数量n第第2 2步：步：确定确定K K个类别的初始聚类中心个类别的初始聚类中心
12、l要求在用于聚类的全部样本中，选择要求在用于聚类的全部样本中，选择K K个样本作为个样本作为K K个类别的初始聚类中心个类别的初始聚类中心l与确定类别数目一样，原始聚类中心的确定也需要与确定类别数目一样，原始聚类中心的确定也需要研究者根据实际问题和经验来综合考虑研究者根据实际问题和经验来综合考虑K-均值聚类(步骤)n第第3步：步：根据确定的根据确定的K个初始聚类中心，依次计算每个样个初始聚类中心，依次计算每个样本到本到K个聚类中心的距离欧氏距离，并根据距离最近的原个聚类中心的距离欧氏距离，并根据距离最近的原则将所有的样本分到事先确定的则将所有的样本分到事先确定的K个类别中个类别中n第第4步：步
13、：根据所分成的根据所分成的K个类别，计算出各类别中每个变个类别，计算出各类别中每个变量的均值，并以均值点作为新的量的均值，并以均值点作为新的K个类别中心。根据新的个类别中心。根据新的中心位置，重新计算每个样本到新中心的距离，并重新中心位置，重新计算每个样本到新中心的距离，并重新进行分类进行分类K-均值聚类(步骤)n第第5 5步：步：重复第重复第4 4步，直到满足终止聚类条件为止步，直到满足终止聚类条件为止l迭代次数达到研究者事先指定的最大迭代次数迭代次数达到研究者事先指定的最大迭代次数l新确定的聚类中心点与上一次迭代形成的中心点的新确定的聚类中心点与上一次迭代形成的中心点的最大偏移量小于指定的
14、量最大偏移量小于指定的量nK-K-均值聚类法是根据事先确定的均值聚类法是根据事先确定的K K个类别反复迭代直到把个类别反复迭代直到把每个样本分到指定的里类别中。类别数目的确定具有一每个样本分到指定的里类别中。类别数目的确定具有一定的主主观性，究竟分多少类合适，需要研究者对研究定的主主观性，究竟分多少类合适，需要研究者对研究问题的了解程度、相关知识和经验问题的了解程度、相关知识和经验K-均值聚类(步骤)Stata命令 matrix dissimilarity cluster、clustermat cluster kmeans、cluster kmedians cluster dendrogram17本章结束，谢谢观看！本章结束，谢谢观看！
