1、基于局部泛化误差界的基于局部泛化误差界的RBF网络训练方法研究网络训练方法研究报告人：刘晓艳 主要内容主要内容v课题来源及背景和意义课题来源及背景和意义v研究现状及分析研究现状及分析v所做的工作所做的工作v遇到的问题及进一步的工作遇到的问题及进一步的工作v参考文献参考文献 课题来源及背景和意义课题来源及背景和意义vRBF神经网络的结构选择中，即隐含层神经元个数的确定问题，一直是难点。合理的选择其结构会提高RBF神经网络的泛化能力。v局部泛化误差模型，考虑分类器在输入空间局部区域上的泛化能力。对于量化的考察对于网络的容错能力（error-tolerance）和泛化能力(generalizatio
2、n ability)有一定启发意义。v神经网络的敏感性标示着这种分类器的variance特性，而经验误差的大小则是标示着分类器的bias特性，将两者有机的结合起来作为一种评价分类器泛化能力的标准可能会有很好的效果。（criteria）研究现状及分析研究现状及分析v介绍局部泛化误差模型现状v敏感性SM(sensitivity measure)敏感性定义及其计算敏感性用途Constructive for neural networkCenter selectionFeature/sample/weight accuracy selection敏感性定义及其计算v定义：衡量网络输出对于输入或权重（或
3、其他的参数）的扰动而改变程度的定量度量。对象上：Sensitivity to input perturbationSensitivity to weight perturbationSensitivity to neuron perturbation计算方式上：Partial derivative sensitivity analysis stochastic sensitivity analysis 要求激活函数对要求激活函数对于输入是可微的于输入是可微的并且输入扰动必并且输入扰动必须很小须很小 考察输出变化的期考察输出变化的期望或方差概率特性望或方差概率特性敏感性的应用v正是由于敏感性考察
4、网络各参数的变化对于网络输出的影响程度，因而，基于敏感性分析来优化或调整各参数的选择即成为它的主要应用方向。敏感性引用于敏感性引用于RBFRBF神经网络的中心神经网络的中心选择（结构选择）选择（结构选择）1.“Sensitivity analysis applied to the construction of radial basis function networks”D.Shia,D.S.Yeung,J.Gao2.“LOCALIZED GENERALIZATION ERROR AND ITS APPLICATION TO RBFNN TRAINING”WING W.Y.NG,DANIEL
5、 S.YEUNG,DE-FENG WANG,ERIC C.C.TSANG,XI-ZHAO WANG3.“Hidden neuron pruning multilayer perceptrons using a sensitivity measure”Daniel s.yeung，xiaoqin zeng敏感性用于sample selection（Active learning）“Active Learning Using Localized Generalization Error of Candidate Sample as Criterion”Patrick P.K.Chan，Wing W
6、.Y.Ng，Daniel S.Yeung敏感性用于feature selectionwing研究现状及分析研究现状及分析v现存的局部泛化误差模型理论22()122()()()()11()()(2)()QQbQSMSNnSxbempSRQfxF xp x dxfxF xdxNQREyAdifferences between the maximum and minimum values of the target output分类问题中，目标输出的最大最小值之差至少为1，那么将该模型用于结构选择时就会出现问题。研究现状及分析研究现状及分析v现存的局部泛化误差模型用于RBFNN的结构选择思想：两个分
7、类器f1，f2，如果存在Q1，使得f2 has a betterGeneralization capability RSM（Q1）a,for f1 RSM（Q2）a，for f2 Q1 Q2在相同误差界标准下，设计分类器使得它覆盖的Q邻域比较大，认为覆盖的邻域面积越大，得到的分类器的泛化能力越好。分析：界的阈值a的取值标准难以确定，现存的方法建议a取0.25，这样在解上述二次方程时就会出现问题。研究现状及分析研究现状及分析22()QempSREyAa 分类问题中取值大于10.251.由于在解方程时存在矛盾之处，造成该模型用于RBFNN结构设计时存在问题。2.有关界的表达式，存在常数A其值是否相
8、对过大的问题，相对于前两项如果取值过大的话，其失去意义。3.单纯的将经验误差作为训练RBF分类器的标准的话，存在过拟和 以及得到的分类器的泛化能力不高的缺点。所做的工作所做的工作v将经验误差项和敏感性项的加和做为一种新的评价分类器泛化能力的标准（QNBQ neighborhood balance）。考察其合理性。v将QNB用于RBFNN的结构选择，设计网络结构。v用范数形式简化现有的局部泛化误差模型的分析表达式。得到一种基于范数的局部泛化误差界的分析式。QNB作为一个衡量分类器评价标准的合理性em pQ N BRS Mmeasure for classifier complexity图示（1）
9、：“simple”simple”classifierclassifierLow SM，but bad training errorQNB作为一个衡量分类器评价标准的合理性图示（图示（2）：“complex”classifierhigh SM，but bad generalization capability and maybe overfitting VC维较大维较大QNB作为一个衡量分类器评价标准的合理性图示（图示（3）：“good fit”classifier，what we expectedGood balance betweenTraining errorSMQNB作为一个衡量分类器评
10、价标准的合理性(实验)Sensitivity measure 衡量衡量RBFNN复杂程度复杂程度Iris datasetIonosphere datasetQNB作为一个衡量分类器评价标准的合理性(实验)Hidden number（K）QNB用于RBFNN的结构选择(architecture selection)Algorithm:Step 1:Start with the number of the hidden neurons by 1.Step 2:Perform k-means clustering to find the location of centers for the hid
11、den numbers.Step 3:Select the width of each neuron to be half of the maximum distance between the center itself and other neurons.Step 4:Using pseudo-inverse method to obtain the weight.Step 5:For a selected Q value,compute the current neural networks error bound by the following equation:22emp11R()
12、()()QNiiSiSTSMfxF xEyNStep 6:Find the minimum error bound,and output the corresponding hidden neurons number.初步实验情况Hidden number9138871097798.7(average)Train accuracy0.96190.98100.92380.97140.95240.96190.97140.96190.98100.97140.9638(average)Test accuracy0.93330.95560.866710.93330.97780.93330.91110.9
13、5560.93330.9400(average)(Iris,Q=0.1)information：4 150，3 classes(Pima,Q=0.1)information：8768，2 classesHidden number2322151817222226182120.4(average)Train accuracy0.79890.78770.79140.78030.78770.79520.80820.80070.80070.79520.7946(average)Test accuracy0.77490.77060.76620.74890.76620.77920.73590.74890.7
14、7490.76190.7628(average)初步实验情况Hidden number78879797887.8000(average)Train accuracy0.95970.99190.97580.98390.98390.95970.97580.95970.97580.97580.9742(average)Test accuracy0.92590.944410.90740.98150.98150.94440.96300.98150.96300.9593(average)(Wine,Q=1.5)information：13178，3 classesHidden number17181615
15、19181418161616.7（average）Train accuracy0.91840.93880.93470.91430.94690.93470.94290.95100.93470.92240.9339（average）Test accuracy0.92450.92450.95280.93400.91510.92450.92450.90570.94340.93400.9283（average）(Ionosphere,Q=1.0)information：34 351，2 classes初步实验情况Hidden number1718211618171417151616。9（average）
16、Train accuracy0.97000.97300.97900.97000.97300.97000.97900.98200.97900.97600.9751（average）Test accuracy0.97220.97220.95830.97920.97220.97220.95140.94440.95140.97220.9646（average）(Datazhao,Q=0.5)information：25477，5 classes遇到的问题及进一步的工作遇到的问题及进一步的工作v实验结果显示了算法的可行性，在保证分类精度的前提下，最后选择的隐含层个数比较少，网络结构比较精简。vSM(se
17、nsitivity measure)与RBFNN的隐含单元个数之间的关系描述为：小振荡爬升。（非严格单调）这样，SM作为网络复杂程度的度量的话是比较粗的估计。QNB作为measure for classifier generalization capability的理论依据。v目前QNB中的两项采用的线性组合的方式，能否考虑用其他方式将这两参数信息融合后作为一个新的参量标准，用RBFNN的architecture selection如何？vQNB能否用于对于RBFNN中心位置的选择？（Supervised learning）参考文献参考文献v1D.Shi,D.S.Yeung,J.Gao“Sen
18、sitivity analysis applied to the construction of radial basis function networks”,Neural Networks 18(2005)951957v2 Wing W.Y.Ng,Daniel S.Yeung,Ian Cloete,“Quantitative Study on Effect of Center Selection to RBFNN Classification Performance”,2004 IEEE International Conference on Systems,Man and Cyberne
19、tics.v3 Wing W.Y.NG,Daniel S.YEUNG,Xi-Zhao Wang,“Localized Generalization Error and Its Application to RBFNN Training”,Proceedings of the Fourth International Conference on Machine Learning and Cybernetics,Guangzhou,18-21 August 2005 v4 Friedhelm Schwenker,Hans A.Kestler,Gunther Palm,“Three learning
20、 phases for radial-basis-function networks”,Neural Networks 14(2001)439-458.v5Wing W.Y.NG,Daniel S.YEUNG,Xi-Zhao Wang and I.Cloete,“A Study of the Difference Between Partial Derivative and Stochastic Neural Network Sensitivity Analysis for Applications in Supervised Pattern Classification Problems”,Proc.Of International Conference on Machine Learning and Cybernetics,pp.4283-4288,2004v6Wing W.Y.NG and Daniel S.YEUNG“Selection of Weight Quantization Accuracy for Radial Basis Function Neural Network Using Stochastic Sensitivity Measure”.IEE Electronic Letters,vol.39,pp.787 789.
