1、1第六章第六章 系统评价系统评价第一节第一节 系统评价概述系统评价概述第二节第二节 系统评价的步骤及构成系统评价的步骤及构成第三节第三节 系统评价的理论与方法系统评价的理论与方法2第一节第一节 系统评价概述系统评价概述1系统评价的含义系统评价的含义2系统评价的内容系统评价的内容3评价的原则评价的原则31 1系统评价系统评价的含义的含义评价评价是对各方案实现系统目标的优劣程是对各方案实现系统目标的优劣程度的判定。度的判定。评价是一项技术性工作，由与系统有关评价是一项技术性工作，由与系统有关的各学科、各方面的专家来完成，评价的各学科、各方面的专家来完成，评价是决策的前提和依据。是决策的前提和依据。
2、评价前提：熟悉方案、确定评价基准评价前提：熟悉方案、确定评价基准42 2 系统评价的内容系统评价的内容评价的前提基础是目标分析；评价的前提基础是目标分析；评价的任务是得到满意的评价结果，为评价的任务是得到满意的评价结果，为决策提供信息决策提供信息系统的价值分析系统的价值分析系统评价尺度或基准系统评价尺度或基准53 评价的原则评价的客观性评价的客观性方案的可比性方案的可比性指标的体系性指标的体系性6评价的客观性评价的客观性评价资料的全面和可靠评价资料的全面和可靠评价人员的倾向和被迫评价人员的倾向和被迫评价人员的组成、知识结构评价人员的组成、知识结构评价的时间、地点评价的时间、地点7方案的可比性方
3、案的可比性方案实现系统的基本功能方案实现系统的基本功能方案存在差异性（技术、经济性）方案存在差异性（技术、经济性）8指标的体系性指标的体系性系统所涉及到的一切指标（定性、定量）系统所涉及到的一切指标（定性、定量）指标之间存在关联指标之间存在关联指标的选择要符合国情指标的选择要符合国情9第二节第二节 系统评价的步骤及构成系统评价的步骤及构成1 评价系统分析评价系统分析2 评价资料收集评价资料收集3 评价指标选择和体系构成评价指标选择和体系构成4 评价函数的确定评价函数的确定5 评价值的计算评价值的计算6 综合评价综合评价101 评价系统分析评价的目的评价的目的评价系统的范围评价系统的范围评价的立
4、场评价的立场评价的时期评价的时期评价系统环境分的析评价系统环境分的析112 评价资料收集资料包括如下几个方面：资料包括如下几个方面：系统功能方面系统功能方面系统费用方面系统费用方面系统可靠性方面系统可靠性方面系统实现程度和时间方面系统实现程度和时间方面123 评价指标选择和体系构成评价指标选择评价指标选择建立价值体系或评价体系建立价值体系或评价体系13评价指标选择指标与评价目的相关指标与评价目的相关指标的大类和数量指标的大类和数量指标之间的关系指标之间的关系14建立价值体系或评价体系建立价值体系或评价体系 评价体系要回答的问题：评价体系要回答的问题：评价指标如何定量化评价指标如何定量化评价中的
5、主观成分和客观成分如何分离评价中的主观成分和客观成分如何分离如何进行综合评价如何进行综合评价如何确定价值观问题等。如何确定价值观问题等。154 评价函数的确定评价函数是一个数学模型评价函数是一个数学模型评价函数是多属性、多目标的评价函数是多属性、多目标的不同的评价问题对应于不同的评价函数不同的评价问题对应于不同的评价函数同一问题可用不同的评价函数同一问题可用不同的评价函数16评价值的计算评价值的计算权重的确定的意义权重的确定的意义权重确定的方法权重确定的方法计算计算176 综合评价综合评价综合评价的作用综合评价的作用综合评价的途径综合评价的途径18第三节第三节 系统评价的理论与方法系统评价的理
6、论与方法理论理论效用理论效用理论确定性理论确定性理论不确定性理论不确定性理论模糊集理论模糊集理论最优化理论最优化理论方法方法费用费用/效益分析法效益分析法关联矩阵法关联矩阵法模糊评价法模糊评价法层次分析法层次分析法19层次分析法层次分析法层次分析法（层次分析法（Analytical ProcessAnalytical Process，简称，简称AHPAHP）是美国运筹学家萨迪教授（）是美国运筹学家萨迪教授（Thomas Thomas L.SaatyL.Saaty）于）于7070年代中期提出的。年代中期提出的。它是把一个复杂问题表示为有序的递阶层它是把一个复杂问题表示为有序的递阶层次结构，通过人
7、们的判断，对备选方案的次结构，通过人们的判断，对备选方案的优劣进行排序。这种方法具有实用性、系优劣进行排序。这种方法具有实用性、系统性、简洁性等很多优点，特别适用于有统性、简洁性等很多优点，特别适用于有关社会经济系统的决策分析，近些年来的关社会经济系统的决策分析，近些年来的研究和应用发展得很快。研究和应用发展得很快。20基本原理基本原理AW=nWn是是A的特征值，的特征值，W是是A的特征向量。的特征向量。因此，可以通过求判断矩阵的特征向量因此，可以通过求判断矩阵的特征向量的方法来求得重量向量的方法来求得重量向量W。21AHPAHP的基本步骤的基本步骤（1）构造系统问题的层次结构模型；）构造系统
8、问题的层次结构模型；（2）建立判断矩阵，计算相对权重，这）建立判断矩阵，计算相对权重，这又称为层次单排序；又称为层次单排序；（3）判断一致性检验；）判断一致性检验；（4）计算组合权重，并通过组合权重的）计算组合权重，并通过组合权重的对比，得到决策方案的优劣顺序，又称对比，得到决策方案的优劣顺序，又称为层次总排序为层次总排序22递阶层次结构递阶层次结构目标层目标层G G 最高层最高层准则层准则层C C1 C2 Ck Cm 中间层中间层 方案层方案层B B1 B2 Bi Bn 最低层最低层 23构造判断矩阵判断矩阵是将层次结构模型中同一层次判断矩阵是将层次结构模型中同一层次的要素相对于上层的某个因
9、素，相互间的要素相对于上层的某个因素，相互间作成对比较而形成的矩阵作成对比较而形成的矩阵P.P.P=bP=bijij n nn nb bijij是以是以C Ck k为准则为准则B Bi i与与B Bj j哪个更重要、更强哪个更重要、更强来确定的。来确定的。24判断矩阵标度定义判断矩阵标度定义标度标度含义含义1两个要素相比，具有同样重要性两个要素相比，具有同样重要性3两个要素相比，前者比后者稍微重要两个要素相比，前者比后者稍微重要5两个要素相比，前者比后者明显重要两个要素相比，前者比后者明显重要7两个要素相比，前者比后者强烈重要两个要素相比，前者比后者强烈重要9两个要素相比，前者比后者极端重要两
10、个要素相比，前者比后者极端重要2，4，6，8上述相邻判断的中间值上述相邻判断的中间值倒数倒数两个要素相比，后者比前者的重要性标度两个要素相比，后者比前者的重要性标度25计算权重求和法求和法求根法求根法特征向量法特征向量法计算判断矩阵权重的近计算判断矩阵权重的近似方法，用于精度要求似方法，用于精度要求不高的场合。不高的场合。对于计算精度要求较高的对于计算精度要求较高的场合，近似算法会造成较场合，近似算法会造成较大的积累误差，一般可采大的积累误差，一般可采用特征向量法。用特征向量法。26求和法求和法ijijijabaiiijjvb0iiivwv（1）将矩阵按列归一化（列和为）将矩阵按列归一化（列和
11、为1）：）：（2）按行求和）按行求和（3）归一化：）归一化：所得所得0iw(i=1,2,n)即为即为A的特征向量的近似值。的特征向量的近似值。27求根法0iiivwvniijvv（1）将矩阵按行相乘）将矩阵按行相乘（2）所得的乘积分别开）所得的乘积分别开n次方次方（3）归一化）归一化ijijiva28特征向量法特征向量法设有设有n n个物体个物体B B1 1，B B2 2，B Bn n，重量分别为，重量分别为W W1 1，W W2 2，W Wn n。若两两比较物体的重量，其比值可。若两两比较物体的重量，其比值可构成构成n nn n的矩阵的矩阵P P。若用向量。若用向量W=WW=W1 1，W W
12、2 2，W Wn n T T右乘矩阵右乘矩阵P P，可得：（，可得：（P P n n I I）W=0W=0由矩阵理论可知，由矩阵理论可知，n n 即为即为P P的特征值，且是最大的特征值，且是最大特征值，特征值，W W则是对应于最大特征值则是对应于最大特征值n n 的特征向量。的特征向量。不难看出，特征向量法应首先求出判断矩阵的最不难看出，特征向量法应首先求出判断矩阵的最大特征值；然后计算对应于的特征向量大特征值；然后计算对应于的特征向量W W；再对；再对W W作归一化处理，即得到权重向量。当判断矩阵阶作归一化处理，即得到权重向量。当判断矩阵阶数较高时，可采用迭代算法编程计算特征值。数较高时，
13、可采用迭代算法编程计算特征值。29 判断一致性检验判断一致性检验完全一致性根据矩阵理论，若正互反矩阵根据矩阵理论，若正互反矩阵P=bP=bijij n nn n对于所有的对于所有的i,ji,j=1,2,=1,2,n n，均有，均有b bij ij=b bik ik/b/bjk jk 成立，则称成立，则称P P具有完全一致性。具有完全一致性。此时，正互反矩阵此时，正互反矩阵P P具有唯一非零的最大具有唯一非零的最大特征值，且特征值，且=n n。实际上，由于正互反矩。实际上，由于正互反矩阵的阵的b bii ii=1(=1(i i=1,2,=1,2,n n)30一致性检验指标一致性检验指标max.1
14、nC Inmax1iiiAWnw对于任意的判断矩阵，对于任意的判断矩阵，C.I.的值越大，判断矩阵的值越大，判断矩阵的估计偏差也就越大，偏离一致性的程度就越大。的估计偏差也就越大，偏离一致性的程度就越大。C.I.0.1时，判断矩阵的一致性可以接受时，判断矩阵的一致性可以接受31综合权重计算综合权重计算ijijjWw v设设C级有级有m个要素个要素c1,c2,cm，其对目，其对目标层的重要度为标层的重要度为w1,w2,wm；它的下；它的下级有级有n个要素个要素p1,p2,pi关于关于cj的相对的相对重要度为重要度为vij，则，则P级的要素级的要素pi的综合权重为的综合权重为32层次分析法应用举例
15、层次分析法应用举例某企业欲投资生产轻工产品，现拟定了三个投某企业欲投资生产轻工产品，现拟定了三个投资方案：资方案：P P1 1生产某种家用电器，生产某种家用电器，P P2 2生生产某紧俏产品，产某紧俏产品，P P3 3生产本地的传统产品。生产本地的传统产品。评价准则有：评价准则有：I I1 1风险程度，风险程度，I I2 2资金利资金利润率，润率，I I3 3转产难易。经初步分析认为：转产难易。经初步分析认为：P P1 1资金利润率高，竞争风险大；资金利润率高，竞争风险大；P P2 2利润稍低一些，利润稍低一些，但风险小，易转产；但风险小，易转产；P P3 3则高利润，高风险，很则高利润，高风
16、险，很难转产。现应用难转产。现应用AHPAHP选择方案选择方案步骤步骤 （1 1）建立层次结构模型。该选择型问题的层）建立层次结构模型。该选择型问题的层次结构模型如下图所示，该模型是完全相关结次结构模型如下图所示，该模型是完全相关结构。构。（2 2）建立判断矩阵，计算相对权重。判断矩建立判断矩阵，计算相对权重。判断矩阵有阵有P PT-I T-I，P PP1 IP1 I，P PP2-IP2-I，P PP3-IP3-I 等等4 4个，分别是个，分别是G G对对C C层，以及层，以及P P1 1，P P2 2，P P3 3对对I I层的判断矩阵，用层的判断矩阵，用1919标度法确定矩阵元素值，计算各
17、矩阵的相标度法确定矩阵元素值，计算各矩阵的相对权重，结果见以下各表。对权重，结果见以下各表。（3）一致性检验。检验结果显示）一致性检验。检验结果显示4 4个判断矩阵个判断矩阵均满足一致性要求。均满足一致性要求。（4 4）计算组合权重，选择投资方案。）计算组合权重，选择投资方案。投资效果好（投资效果好（T）风险程度（风险程度（I1）资金利润率（资金利润率（I2）转产难易程度（转产难易程度（I3）产品产品1（P1）产品产品2（P2）产品产品3（P3）（目的层）（目的层）（准则层）（准则层）（方案层）（方案层）判断矩阵及其分析处理判断矩阵及其分析处理TI1I2I3ViWioI111/320.8740
18、.230I23152.4660.648I31/21/510.4640.122注注 Wi的求取采用方根法（几何平均值法）的求取采用方根法（几何平均值法）I1P1P2P3ViWioP111/31/50.4060.105P2311/31.0000.258P35312.4660.637I2P1P2P3ViWioP11272.4100.592P21/2151.3570.333P31/71/510.3060.075I3P1P2P3ViWioP111/31/70.3620.081P2311/50.8430.188P37513.2710.73137综合权重综合权重38结论结论从组合权重的计算结果来看，三个方案
19、从组合权重的计算结果来看，三个方案的优劣顺序为的优劣顺序为P1，P2，P3，所以应以投，所以应以投资生产家电产品（资生产家电产品（P1）为实施方）为实施方案。案。39案例：科技综合实力评价1 评价的必要性2 因素选择3 指标选择4 评价指标体系5 计算40因素选择科技综合实力研究成果表明，科技投入是科技发展的前提和基础，科技活动过程是科技工作的实践阶段，科技产出是科技活动成败的重要标志，投入活动产出三个方面代表了科学技术过程中三个有机联系的不同阶段，每个阶段的评价指标应当不同，三个方面综合起来进行评价可以合理反映科学技术发展全过程的水平和实力。因此，我们也从投入活动产出三个方面研究科技综合实力
20、评价指标。由于影响科技综合实力的因素很多，经济基础、自然资源、人口结构、基础设施、社会环境、地理位置等各方面因素都对其起着不同的作用，41指标选择由于有些因素很难计量，有些因素的内涵不很明确，因此，我们选择如下评价指标：科技投入方面：科技投入包括科技人员投入和资金投入指标。科技活动方面：科技活动单位数量、各类科研课题(项目)数量、在校大学生数量指标科技产出方面：科技论文、专利、技术贸易额和科技进步指标42指标选择原因科技人员是第一生产力的开拓者和代表者，是科技创新的主体，开展科学技术进步活动的核心力量。科技人员数量和素质是衡量科技综合实力的重要基础指标，用科技人员总数和每万人中科技人员数作为重
21、要的评价指标.科学家工程师是指具有大学本科及以上学历和虽不具备上述学历但有高、中级职称的人员。科学家工程师担负着科学发现、知识进步和科技创新的重任，是科技活动的主要人力因素，其人数的总量和相对量是表征科技人力的一个重要指标。43资金投入是进行科技活动的基础。科技要获得新的发展，资金投入为重要的支撑条件，资金投入的总量和相对量是表征科技实力的重要指标。资金投入包括资金投入总量、科技人员人均经费数量和研究与开发经费研究与试验发展(R&D)是为了增进知识以及利用这些知识去开创新的用途而进行的系统的创造性工作。研究与发展经费是指投入基础研究、应用研究和试验发展3类科技活动的经费，R&D经费直接反映区域
22、科技活动的能力及其活动状况，直接影响到科技成果的获得。故R&D经费总量和R&D经费占国内生产总值的比重也是衡量区域投入规模和科技实力的重要指标。44指标选择原因科技活动是科技工作的实践阶段，是与科技知识的产生、发展、传播和应用密切相关的活动。科技活动的深度和广度在一定程度上揭示科技实力的强弱。科研机构、高等院校和大中型企业是从事科学研究和技术开发的主体，是进行科技攻关的基层单位，科技活动的主要承担者。科学研究和技术开发、推广是科技活动的主要内容。科技活动单位数量、各类科研课题(项目)数量是反映区域科技实力的重要指标。任何一个经济大国，科技强国，无不是教育强盛的国家，综合分析和评价一个国家或地区
23、科技实力水平，不仅应看到科学技术水平发展的现状，而且也应注重其未来发展潜力。在校大学生数量是未来科学家和工程师的后备力量，是科技人力资源的组成部分，因而也是衡量科技实力的一项重要的潜在指标。45指标选择原因科技产出反映区域科技创新能力和科技活动的活跃程度，科技产出多少反映科技实力的大小。科技论文是在科技刊物上发表的最初的科学研究成果。科技论文的数量和质量是科技产出(尤其是基础研究和应用研究产出)度量的重要指标之一。专利数是获得专利权的创造发明的数量、反映技术水平，表明区域的技术创新能力。专利数包括专利申请数和专利授权数。技术贸易是科技转化为生产力的有效途径，技术贸易额反映技术的创新和消化吸收能
24、力，也是衡量区域科技综合实力的重要指标。科学技术对社会发展和经济增长有巨大的推动作用，技术进步的速度、技术进步对经济增长的贡献率也是对科技综合实力水平的一个反映。46数据无量纲化处理为确保测评数据可比，在具体指数计算中，必须对原始数据进行同趋化处理和无量纲化处理。数据同趋化处理主要解决不同趋向的数据加总问题，主要是指现有的各种综合测评中的“逆指标”处理；数据无量纲化处理主要是解决不同性质的数据可比问题。数据同趋化处理较简单，一般可采取取倒数或赋负值的方法。数据无量纲化处理相对较复杂，最常用的方法有二种：标准化和指数化。数据的标准化处理，主要是以指标的总体平均值为标准进行的数学处理，其结果是以0
25、为中心的数据。47科技综合实力评价指标体系与权重系数科技综合实力评价指标体系与权重系数 48 科技综合实力评价指标权重的确定科技综合实力评价指标权重的确定 1 主观赋权。主观赋权法是根据各个指标的主主观赋权。主观赋权法是根据各个指标的主观重视程度进行赋权的一种方法，包括排序法、观重视程度进行赋权的一种方法，包括排序法、专家调查法、环比评分法、层次分析法专家调查法、环比评分法、层次分析法(AHP)等。等。如专家赋权，是指通过一定方法综合多位专家对如专家赋权，是指通过一定方法综合多位专家对各指标给出的权重进行赋权。这种方法的缺点是各指标给出的权重进行赋权。这种方法的缺点是受人为因素的影响较大。受人
26、为因素的影响较大。2 客观赋权。是指从原始数据出发，通过一定客观赋权。是指从原始数据出发，通过一定的数学转换，运用数理统计方法取得指标权重的的数学转换，运用数理统计方法取得指标权重的一种赋权方法，主要有主成分分析法、熵值赋权一种赋权方法，主要有主成分分析法、熵值赋权法等。这种方法客观性强，不易受到人为因素的法等。这种方法客观性强，不易受到人为因素的影响，如主成分分析法等影响，如主成分分析法等49 系统工程今后发展系统工程今后发展方向方向 1 1、复杂系统的一般性质和行为规律复杂系统的一般性质和行为规律复杂系统演化规律的研究，复杂系统研究的方法论，非线复杂系统演化规律的研究，复杂系统研究的方法论
27、，非线性动力学系统、不确定性、突变、分叉、混沌、稳定性。性动力学系统、不确定性、突变、分叉、混沌、稳定性。2 2、复杂系统的建模和描述方法复杂系统的建模和描述方法面向对象的方法，形式化方法，数学模型面向对象的方法，形式化方法，数学模型3 3、复杂性科学应用研究复杂性科学应用研究金融系统的复杂性，社会经济系统的复杂性，生物系统的金融系统的复杂性，社会经济系统的复杂性，生物系统的复杂性，资源环境系统的复杂性。复杂性，资源环境系统的复杂性。4 4、复杂性科学理论研究复杂性科学理论研究复杂系统的演化、复杂系统研究的方法论等。复杂系统的演化、复杂系统研究的方法论等。5 5、复杂系统的模拟与行为预则计算机
28、模拟方法、数值计复杂系统的模拟与行为预则计算机模拟方法、数值计算算 6 6、特定类型复杂系统的研究特定类型复杂系统的研究7 7、对系统生长、演化的组织以及人工生命进行深入研究，建对系统生长、演化的组织以及人工生命进行深入研究，建立适应社会、经济、生态、军事等系统的自创性、自适应、自立适应社会、经济、生态、军事等系统的自创性、自适应、自复制、自瓦解的理论体系。复制、自瓦解的理论体系。8 8、在开放的复杂原系统概念的基础上，建立开放的复杂原在开放的复杂原系统概念的基础上，建立开放的复杂原系统的方法论，结合具体应用、实现真正意义上定性与定量的系统的方法论，结合具体应用、实现真正意义上定性与定量的综合
29、集成。综合集成。9 9、系统科学与人工智能的相互交叉系统科学与人工智能的相互交叉开放的复杂原系统与人工智能相结合，建立人机智能系统。开放的复杂原系统与人工智能相结合，建立人机智能系统。1010、有关工具、平台、软件的研究、有关工具、平台、软件的研究1111、系统哲学分支、系统哲学分支认识的界限问题，复杂性属于本体论还是认识论认识的界限问题，复杂性属于本体论还是认识论1212、建立适合所有层次的一般系统的数学理论，对一般系统的、建立适合所有层次的一般系统的数学理论，对一般系统的层次结构进行统一描述。层次结构进行统一描述。1313、对一般系统论、耗散结构、协调学等广泛学科成就进行全、对一般系统论、耗散结构、协调学等广泛学科成就进行全面总结，发展系统工程理论。面总结，发展系统工程理论。
