1、模糊聚类分析Fuzzy Clustering Analysis零、关系与经典等价关系方以類聚，物以群分，吉凶生矣。易繫辭上 聚类是一个古老的问题，它伴随着人类社会的产生和发展而不断深化。人类要认识世界就必须区别不同的事物并认识事物间的相似性。按确定的标准对客观事物进行分类的数学方法称为聚类分析。聚类分析的应用 市场营销，金融业（客户分类）生物学（物种分类，种子筛选，DNA分类）图像处理（）模式识别（地质勘探，医疗诊断（中医），军事领域）聚类关系以木橫持門戶也。说文从門，聲。古還切。關1.闭，合拢：闭。园日涉以成趣,门虽设而常关。晋 陶渊明归去来兮辞 2.拘禁：押。禁。3.古代在险要地方或国界设
2、立的守卫处所：卡qi，嘉峪。尝以十倍之地,百万之师,叩关而攻秦。汉 贾谊过秦论4.征收进出口货税的机构：海。税。5.重要的转折点，不易度过的时机：节。难。年。6.牵连，联属：连。联。心。注。于。有。7.旧指发给或支领薪饷：饷。8.姓。行隔一路曰关 林应龙适情录 1.有联属关系的：数，世。2.高等学校中教学单位：中文department 。3.关联：干。关relate to。4.联结，栓：名誉所。5.牵挂：恋。念。6.是：确实情。7.从井下把土上来。8.约束;羁绊 restrain愚士系俗兮,窘若囚拘。汉 贾谊鹏鸟赋9.（j）结，扣。tie;fasten Claudius Ptolemy（约85
3、165）Optics 公元140年。01020304050607080900102030405060 data 1 quadratic00.10.20.30.40.50.60.70.80.9100.10.20.30.40.50.60.70.80.91 data 1 linearWillebrord Snell（15801626）公元1621年。An object(in this case a pencil)part immersed in water looks bent due to refraction:the light waves from X change direction and
4、 so seem to originate at Y.http:/en.wikipedia.org/wiki/Refraction食物链构成的“关系”。水葫芦原产于南美，在原产地巴西由于受生物天敌的控制，仅以一种观赏性种群零散分布于水体，1844年在美国的博览会上曾被喻为“美化世界的淡紫色花冠”。19世纪期间引入东南亚，1901年作为花卉引入中国，30年代作为畜禽饲料引入中国内地各省，并作为观赏和净化水质的植物推广种植，后逃逸为野生。2012年1月31日，福建宁德市古田县水口镇湾口村段2012年7月7日广西柳州的张先生在柳江河遭遇3条食人鱼袭击 食人鱼（又名食人鲳）栖息在主流、较大支流，河宽甚
5、广、水流较湍急处。在巴西的亚马逊河流域，食人鱼被列入当地最危险的四种水族生物之首。经典分类等价关系Mona Lisa or La Gioconda(15031505/1507)Louvre,Paris,France孔子 公元前551479爱因斯坦 1879-1955老子 公元前571471 武则天624年705年 居里夫人1867-1934 阿基米德 约前287212年 达芬奇 1452-1519伽利略1564-1642 牛顿1643-1727 吴文俊 1919 吾未见好德如好色者也。天下皆知美之为美，斯恶已；皆知上之为善，斯不善已。给我一个支点和一根足够长的杠杆，我就能撬动整个地球。勤劳一日
6、，可得一夜安眠，勤劳一生，可得幸福长眠。欲安其家，先安其国。弱者坐待时机；强者制造时机。追求科学需要特殊的勇敢。我不知道世人怎样看我，但我自己以为我不过像一个在海边玩耍的孩子，不时为发现比寻常更为美丽的一块卵石或一片贝壳而沾沾自喜，至于展现在我面前的浩翰的真理海洋，却全然没有发现 我没有什么特别的才能，不过喜欢寻根刨底地追究问题罢了。孔子、老子、孔子、老子、阿基米德阿基米德公元前生11500生1500后生达达.芬奇芬奇 武则天武则天伽利略、牛顿、居伽利略、牛顿、居里夫人、爱因斯坦、里夫人、爱因斯坦、吴文俊吴文俊Art-model-data1.aggcacggaaaaacgggaataacgga
7、ggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg2.cggaggacaaacgggatggcggtattggaggtggcggactgttcggggaattattcggtttaaacgggacaaggaaggcggctggaacaaccggacggtggcagcaaagga3.gggacggatacggattctggccacggacggaaaggaggacacggcggacatacacggcggcaacggacggaacggaggaaggagggcggcaatcggtacg
8、gaggcggcgga4.atggataacggaaacaaaccagacaaacttcggtagaaatacagaagcttagatgcatatgttttttaaataaaatttgtattattatggtatcataaaaaaaggttgcga5.cggctggcggacaacggactggcggattccaaaaacggaggaggcggacggaggctacaccaccgtttcggcggaaaggcggagggctggcaggaggctcattacggggag6.atggaaaattttcggaaaggcggcaggcaggaggcaaaggcggaaaggaaggaaacggcgg
9、atatttcggaagtggatattaggagggcggaataaaggaacggcggcaca7.atgggattattgaatggcggaggaagatccggaataaaatatggcggaaagaacttgttttcggaaatggaaaaaggactaggaatcggcggcaggaaggatatggaggcg8.atggccgatcggcttaggctggaaggaacaaataggcggaattaaggaaggcgttctcgcttttcgacaaggaggcggaccataggaggcggattaggaacggttatgagg9.atggcggaaaaaggaaatgttt
10、ggcatcggcgggctccggcaactggaggttcggccatggaggcgaaaatcgtgggcggcggcagcgctggccggagtttgaggagcgcg10.tggccgcggaggggcccgtcgggcgcggatttctacaagggcttcctgttaaggaggtggcatccaggcgtcgcacgctcggcgcggcaggaggcacgcgggaaaaaacg11.gttagatttaacgttttttatggaatttatggaattataaatttaaaaatttatattttttaggtaagtaatccaacgtttttattactttttaa
11、aattaaatatttatt12.gtttaattactttatcatttaatttaggttttaattttaaatttaatttaggtaagatgaatttggttttttttaaggtagttatttaattatcgttaaggaaagttaaa13.gtattacaggcagaccttatttaggttattattattatttggattttttttttttttttttttaagttaaccgaattattttctttaaagacgttacttaatgtcaatgc14.gttagtcttttttagattaaattattagattatgcagtttttttacataagaaaat
12、ttttttttcggagttcatattctaatctgtctttattaaatcttagagatatta15.gtattatatttttttatttttattattttagaatataatttgaggtatgtgtttaaaaaaaatttttttttttttttttttttttttttttttaaaatttataaatttaa16.gttatttttaaatttaattttaattttaaaatacaaaatttttactttctaaaattggtctctggatcgataatgtaaacttattgaatctatagaattacattattgat17.gtatgtctatttcacgg
13、aagaatgcaccactatatgatttgaaattatctatggctaaaaaccctcagtaaaatcaatccctaaacccttaaaaaacggcggcctatccc18.gttaattatttattccttacgggcaattaattatttattacggttttatttacaattttttttttttgtcctatagagaaattacttacaaaacgttattttacatactt19.gttacattatttattattatccgttatcgataattttttacctcttttttcgctgagtttttattcttactttttttcttctttatatagg
14、atctcatttaatatcttaa20.gtatttaactctctttactttttttttcactctctacattttcatcttctaaaactgtttgatttaaacttttgtttctttaaggattttttttacttatcctctgttat11:agatctggaaatggaccccaactgctcctgctccaccggtaagagaatacccagttaggaccgcagagacttcccgcagttgtagaggatgtagtgtagaatcttcgcgggaataatgccttcgttggggattcattctagttctttttagcgtccccctttgca
15、agcacctccatctattcttgcagtattaatattgtccgaacgatcctttgtcggggttgagggcagtatttaggcgcacaaatgtcccgctcctgatcaaccaggtagtgaggacatctgggtcgagctccaggcactactaaacttttatgaattgcctagactaggagagaagtgagggacttctgtgtcttggaccaaagaccaagccctaccctaccccgtgagaagtgggggctaggcttcctggaatcctgagcaggatttagtgaactgagctcggcacgtgtgtgggcctgt
16、gatcttgcaagtctctctactgtcttctttctcctccgcagcagcacctgcacctgctccagttcctgtggctgcaaagactgcaagtgcacctcctgcaagaagagtgagtgtggagggatacctggggtggtggctaaggtttggcgggaacacccacaggcccgacagatcccagggccctcccttgtaacgtgtcaggccagagctgttctaagacacacacacccccgcttgttggggcaagaaacaggtcttccgtcaggtctgtgtgacaggtcttaggactccagctttgac
17、ctcttcctctccctgttctagctgctgctcctgctgcccagtgggctgctccaagtgtgcccagggctgcgtctgcaaaggggcatcggacaagtgcacgtgctgtgcctaatgggaggacgatgccgcctcccacgtgtaaatagtgcccggagctctaccctgtttactaagtccccttttctacgaaatatgtgaataaaaaaccaatgtgattctaactttggttttctttgtgtgacttggaaataaggaagtggggtgacagattgacttaatgagattgcaaggattggttct
18、ggagttgttggtccctttacctcttcaccctctgccccagaggagggggaagtgtcttagggaaagatcaattatgtcatgagcttcctcttaatggaagacgagcagctgtgtgccggatcagactctctctctctctctctctctctctctctctctctctctctctgtgtgtgtgtgtgtgtgtgtgtgtgtgtgcgcgcgcgcgcgcgcggccatgcgtgcgtgtgcagagctctagcaagtgctcacatttgcttggcatgtggaggctgagatggacattgggaatcttcctct
19、ttcactttctgccccccaccttgagacaggtttatctgtgtagctttggaggctgtcttgaaactgactctgtagaccagactggcctcagactcacagagatccgcttgcttctgccctacaaatgctgggattaaaggcttgcaccaccattgactgggcctctaatcttactttttgaaatgagatct 数学上，二元关系二元关系（或简称关系关系）用于讨论两种物件的连系。诸如算术中的大于及等于，几何学中的 相似，或集合论中的为.之元素 或为.之子集。XYYX集合 到集合 上的二元关系二元关系是 的一个子集 。RXY若（
20、x,y）属于R，则称x与y有关系R，记作xRy。特别地，X到X的关系R称为是X上的关系上的关系。X上的关系R称为是等价关系等价关系，若他它满足：（1）（自反性，自反性，Reflectivity）对于任何x，有xRx；（2）（对称性，对称性，Symmetry）对于任何x，y若xRy，则yRx；（3）（传递性，传递性，Transitivity）若xRy且yRz，则xRz。设X上的关系R称为是等价关系，等价关系，则对应划分|XyxX xRy155 24(mod7)20年后的今天是星期几？0,10,5,0,5,10,1,9,4,1,6,11,2,8,3,2,7,12,3,7,2,3,8,13,4,6,
21、1,4,9,14,关系的矩阵1212,mnXx xxYy yy1,;,0,.ijijijm niffx RyRrrortherwise1110000000111000000011100000000001010000000010111100010100000000101111000010111100001011110000101111R 孔 老 阿 达 吴 武 居里 伽 牛顿 爱关系的复合祖孙=父子父子；婆媳=母子夫妻。R为X到Y的关系，Q为Y到Z的关系，则QR定义为X到Z的关系：(,)|,Q Rx zy xRyyQz一、模糊集与模糊等价关系1.模糊集的概念（Zadeh，1965）起源。X是一个
22、集合，称之为论域。考虑下列命题：是一个大数；这朵玫瑰是红的；所有鸟都会飞。77第一个断言，预先需假设存在一个大数集合。问题是，边界放于何处。三分法：成员可能是一个成员，非成员或边界成员边界成员。例如，断定红，就不得不在下述意义的基础上进行定义：“在波长为580.27mu和702.35mu之间的单色关照射下，从均匀的反射面上，一个红色物体是不可区分的。”Zadeh引入了从非隶属到隶属的逐渐过渡来取代一个分明边界。诸如“大”这样一个不精确的、模糊断言的物体，被认为在论域（自然数集合）上构成了一个模糊集合；从非隶属到隶属的过渡是渐渐的，而不是突然的。表明某个数比另一个数更优先具有“大数”的标签是有意
23、义的。05001000150020002500300000.10.20.30.40.50.60.70.80.921().10001A xx2.关于隶属函数 于内容有关；与不同观测者有关；一个绝对，确切的隶属函数并不存在。3.模糊等价关系1212,mnXx xxYy yy,0,1,().ijijm nRrrRF XY0.30.30.30.70.50.30.30.30.30.30.30.3,0.80.30.80.80.80.20.40.20.200.60.3RQ寒热虚实自汗 恶寒 咳嗽 喘自汗 恶寒 咳嗽 喘肺 心(,)(,)(,)y YQ R x zR x yR y z(),().RF XY Q
24、F YZ模糊关系的复合max,min.0.30.30.30.70.50.30.30.30.30.30.30.3,0.80.30.80.80.80.20.40.20.200.60.3RQ寒热虚实自汗 恶寒 咳嗽 喘自汗 恶寒 咳嗽 喘肺 心(,)(,)(,)y YQ R x zR x yR y z 寒自汗恶寒咳嗽喘肺0.30.30.30.70.50.30.80.60.60.30.30.20.80.30.40.3Q R寒热虚实肺 心称R是X上的模糊等价关系（模糊等价关系（相应的矩阵称为称为Fuzzy等价矩阵）等价矩阵），若12,().nXx xxRF XX(,),0,1.ijijijn nRR x
25、 xrr(1)(,)1,1,2,;(2)(,)(,),1,2,;(3).iiijjiR x xinR x xR x xi jnR RR模糊等价关系的定义二、基于Fuzzy等价关系的Fuzzy聚类242kkRRRRR(1)(,)1,1,2,;(2)(,)(,),1,2,;iiijjiR x xinR x xR x xi jnkR必为Fuzzy等价矩阵，依它为基础聚类即可！性味归经：苦，寒。归肺、胆、脾、大肠、小肠经。清肌退热，柴胡最佳，然无黄芩不能凉肌达表。本草汇言性味归经：性微寒、味苦、辛、归肝经、胆经。功能：透表泄热，疏肝解郁，升举阳气。0.8100000000.5000.50.5-10-1
26、00-1011000000.50.5011010.5-110.50.510.50.500.5-1-10.5-101.51111001.50.50.50.50.5000.5011010100.50.500.501.51.511.51.51.501.51.50.51.51.51.51.50.5010001.5100.5000000000000000000000000000000000100001234567,xxxxxxx,(,)ijijijx xR x xxx10.66670.9080.71610.62620.56110.06870.666710.75150.53710.93930.60990.
27、13740.9080.751510.84080.70590.73340.06450.71610.53710.840810.50450.70760.40590.62620.93930.70590.504510.57290.12910.56110.60990.73340.70760.572910.40230.06870.13740.06450.40590.12910.402311234567xxxxxxx1234567xxxxxxxR 10.40590.40590.40590.40590.40590.40590.405910.73340.73340.73340.73340.73340.40590.
28、733410.75150.75150.93930.75150.40590.73340.751510.84080.75150.84080.40590.73340.75150.840810.75150.9080.40590.73340.93930.75150.751510.75150.40590.73340.75150.84080.9080.7515184RR4R为Fuzzy等价矩阵（称为R的传递闭包传递闭包 ），据此聚类！()t R10.40590.40590.40590.40590.40590.40590.405910.73340.73340.73340.73340.73340.40590.7
29、33410.75150.75150.93930.75150.40590.73340.751510.84080.75150.84080.40590.73340.75150.840810.75150.9080.40590.73340.93930.75150.751510.75150.40590.73340.75150.84080.9080.751511000000010000000100100001101000110100100100001101()t R 0.8408()t R柴胡黄岑 半夏、生姜人参，甘草、大枣1234567,xxxxxxx0.93930.9080.84080.75150.73
30、340.4059动态聚类图动态聚类图三、基于Fuzzy划分的Fuzzy聚类分析（FCM）孔子、老子、孔子、老子、阿基米德阿基米德公元前生11500生1500后生达达.芬奇芬奇 武则天武则天伽利略、牛顿、居伽利略、牛顿、居里夫人、爱因斯坦、里夫人、爱因斯坦、吴文俊吴文俊1.crisp c-partitions and fuzzy c-partitions12,nXx xx欲将数据集分为c类，使得X中的任意样本kx必须完全属于某一类，以及每一类至少包含一个样本。这种问题的结果可由下列矩阵表示，称矩阵D其为X的硬硬c-划分划分（crisp c-partitions）.1,;,0,.jiijijc n
31、iff xADddotherwise111000000000010100000000101111D 孔 老 阿 达 吴 武 居里 伽 牛顿 爱123AAA11(1)0,1;(2)1;(2)0.ijcijinijjddjdni11(1)0,1;(2)1;(2)0.ijcijinijjddjdniFuzzy c-partitions称矩阵D其为X的模糊模糊c-划分划分（fuzzy c-partitions）.ijc nDd给定c和n两个正整数，cn。矩阵 满足X的模糊模糊c-划分划分（fuzzy c-partitions）给出X上的c个模糊集.X的模糊模糊c-划分划分（fuzzy c-partit
32、ions）给出X上的c个模糊集.0.20.30.10.10.40.30.50.70.60.70.50.30.40.20.30.10.200.40.60.20.50.20.2D123AAA12345678,xxxxxxxx1123456782123456783123456780.20.30.10.10.40.30.50.7;0.60.70.50.30.40.20.30.1;0.200.40.60.20.50.20.2.AxxxxxxxxAxxxxxxxxAxxxxxxxx2.基于fuzzy c-partitions的聚类111000000000010100000000101111D 孔 老 阿
33、达 吴 武 居里 伽 牛顿 爱123AAA1234567891 0,xxxxxxxxxx类 聚类中心(1,2,3)iA i(1,2,3)ivi 1234567891 0 xxxxxxxxxx958987808279736586769086769083969890878668718958797567527473979098979210092959985828493758785767070761(82.67,81.33,86.0,84,89)v 2(85.5,77.5,93.5,80.5,82.5)v 21jicnjiixAxv 1121211(,).jicciicnjiixAcnijjiijJ
34、D vvJxvdxv 11.nijjjinijjd xvdISODATAIterative Self-Organizing Data Analysis Technique 11(1)0,1;(2)1;(2)0.ijcijinijjddjdni21111min(,),.1;cnpcijjiijcijiJ D vvdxvs tdj 考虑（lagrange乘子法）11211121111(,)(,)11cnnccjijjicnncpijjijijijjiJ D vvJ D vvddxvd 12111;2().cijijpjijjiijnpijjkikjikJdJpdxvdJdxvv 求偏导数，有取得最
35、小值的必要条件11211;1.npijjjinpijjijpcjikjkdxvddxvxvISODATA算法设计11(1)0,1;(2)1;(2)0.ijcijinijjddjdniU0=rand(C,N);%随机矩阵U0=U0./(ones(C,1)*sum(U0);%随机矩阵列归一，可得初始化划分矩阵步骤步骤1 任意指定任意指定Fuzzy划分矩阵划分矩阵U011(),1,2,.npijjjinpijjdxvicd步骤步骤2 根据上式计算根据上式计算c个聚类中心个聚类中心121212111.,pijcNNNSTNNNpppjjcjcjjjxxdvxvdddvUm=U0.M;P=Um*Data./(ones(S,1)*sum(Um);2111(,)cnpcijjiijJ D vvdxv 步骤步骤3 计算目标函数的值计算目标函数的值J（D,V）步骤步骤4 计算新的计算新的U并返回步骤并返回步骤22111.ijpcjikjkdxvxv010.0ijjlc Nldifxvj
