1、第八章第八章 研究工具性能的测定研究工具性能的测定教学目的和要求教学目的和要求掌握信度的概念和分类掌握信度的概念和分类掌握效度的概念和分类掌握效度的概念和分类掌握信度与效度的关系掌握信度与效度的关系熟悉信度和效度的测量方法熟悉信度和效度的测量方法了解国外量表翻译的基本步骤了解国外量表翻译的基本步骤l做任何研究之前，首先要想好选用什么样的研究工做任何研究之前，首先要想好选用什么样的研究工具？具？l这个研究工具到底在不在测量你想要测量的概念？这个研究工具到底在不在测量你想要测量的概念？l用什么来测量，准不准确？用什么来测量，准不准确？凡是通过测量工具得到的结果凡是通过测量工具得到的结果, ,无论是
2、通过测定仪器得到无论是通过测定仪器得到的硬数据的硬数据( (如物理测定如物理测定),),还是通过测定量表、问卷得到的还是通过测定量表、问卷得到的软数据软数据( (如心理测定、考试等如心理测定、考试等) )均需均需进行信度和效度分析；进行信度和效度分析；信度与效度评价的对象可以是整个测定量表信度与效度评价的对象可以是整个测定量表( (对整个量表对整个量表评价评价),),也可以是各个方面或领域也可以是各个方面或领域( (对领域评价对领域评价), ), 还可以是还可以是具体的条目具体的条目( (对条目评价对条目评价) )【1 1】【1】倪宗瓒倪宗瓒. . 医学统计学医学统计学M M. . 北京：北京
3、： 高等教育出版社，高等教育出版社， 2003. 230-239.2003. 230-239. 信度和效度是用来反映研究工具质量高信度和效度是用来反映研究工具质量高低的两个指标，高信度和高效度的研究工具低的两个指标，高信度和高效度的研究工具是良好科研的必需条件。是良好科研的必需条件。We cant study well what we cant measure well.第一节、信度第一节、信度一、概念一、概念信度信度（reliability）是指使用某研究工具是指使用某研究工具所获得结果的所获得结果的一致程度一致程度或或准确程度。准确程度。 一个体重一个体重70公斤的患者在公斤的患者在15分
4、分钟内称了三次体重，结果为：钟内称了三次体重，结果为：60kg70kg80kg二、信度的三个主要特征二、信度的三个主要特征 稳定性稳定性内在一致性内在一致性等同性等同性稳定性稳定性 内在一致性内在一致性 等同性等同性三、信度的计算方法三、信度的计算方法稳定性测量稳定性测量 内在一致性测量内在一致性测量 等同性测量等同性测量三、信度的计算方法三、信度的计算方法（一）重测信度（一）重测信度 （稳定性）（稳定性）1.1.定义：是用同一测量工具在不同的时间对同定义：是用同一测量工具在不同的时间对同一群受试者前后测量两次，然后计算两次测量分数一群受试者前后测量两次，然后计算两次测量分数的相关系数，相关系
5、数越大说明两次测量的一致性的相关系数，相关系数越大说明两次测量的一致性越高。越高。 一一重测信度重测信度(test-retest reliability)(test-retest reliability)l重测信度的具体做法是先进行第一次测试，隔一重测信度的具体做法是先进行第一次测试，隔一段时间后进行重测，然后计算两次测试结果的相段时间后进行重测，然后计算两次测试结果的相关系数。重测对象一般要达到总研究数目的关系数。重测对象一般要达到总研究数目的1/101/10。l相关系数在相关系数在0 01 1之间，越接近之间，越接近1 1，说明重测信，说明重测信度越高。度越高。一般而言一般而言, ,重测信
6、度系数能达到重测信度系数能达到0.70 0.70 以上即可以上即可. .l不足之处在于计算结果会受多种因素影响。例如不足之处在于计算结果会受多种因素影响。例如时间、受测对象第二次反应、态度和记忆力等时间、受测对象第二次反应、态度和记忆力等 研究对象第一次测试（X） 第二次测试（Y）123272443833537453495444662628732348282593834103936例：例： 人格问卷重测数值表人格问卷重测数值表 3.3.使用重测信度需考虑的问题使用重测信度需考虑的问题（1 1）两次测量之间的间隔时间）两次测量之间的间隔时间 第一次的测量对第二次的测量不会产生影响；第一次的测量对
7、第二次的测量不会产生影响；在客观情况未发生改变时进行；在客观情况未发生改变时进行；1-2W1-2W颇为常用。颇为常用。（2 2）研究工具所测量的变量的性质：）研究工具所测量的变量的性质： 评估性质相对稳定问题，如个性、价值观、生活质量等；而评估性质相对稳定问题，如个性、价值观、生活质量等；而诸如诸如情感、态度、知识不稳定的变量，则不宜使用情感、态度、知识不稳定的变量，则不宜使用（3 3）测量环境的一致性）测量环境的一致性 相同的测试者，相同的程序，相同的测量时间及相似的周围相同的测试者，相同的程序，相同的测量时间及相似的周围环境环境（二）折半信度、（二）折半信度、CronbachCronbac
8、h 系数与系数与KRKR值值n此三种方法用来反映工具的内在一致性。此三种方法用来反映工具的内在一致性。n当研究工具包含多条项目时，需要对各项目之间的关当研究工具包含多条项目时，需要对各项目之间的关系进行评定。系进行评定。n内在一致性（内在一致性（internal consistencyinternal consistency）指各项目之间指各项目之间的同质性或内在相关性的同质性或内在相关性, , 内在相关性越好，说明组成内在相关性越好，说明组成研究工具的各项目都在一致地测量同一个问题或指标，研究工具的各项目都在一致地测量同一个问题或指标，也就是说明工具的内在一致性越好，信度越高也就是说明工具的
9、内在一致性越好，信度越高. . 例如：例如： 一个量表，有12个条目，旨在测量乳腺癌放疗术后的疲乏程度。这些题目之间不仅存在着相关性，更能互相这些题目之间不仅存在着相关性，更能互相补充。补充。n(1)(1)折半系数：折半系数：折半系数是测定内在一致性的最古折半系数是测定内在一致性的最古老方法，具体方法是将项目分成两部分，分别记分，老方法，具体方法是将项目分成两部分，分别记分，对两个部分进行相关分析，然后采用对两个部分进行相关分析，然后采用Spearman-Spearman-Brown Brown 公式计算信度公式计算信度 方法方法: : 只用一个测量工具对同一群受试者实施一次只用一个测量工具对
10、同一群受试者实施一次测量，但将奇数题和偶数题分开计分，再计测量，但将奇数题和偶数题分开计分，再计算奇数试题和偶数试题分数之间的相关系数。算奇数试题和偶数试题分数之间的相关系数。缺点缺点: :折折半半信信度度(2)Cronbach (2)Cronbach 相关系数与相关系数与KR-20KR-20值：值：lCronbach Cronbach 与与KR20KR20值所计算的是工具中所值所计算的是工具中所有项目的平均相关程度，避免了折半信度计算有项目的平均相关程度，避免了折半信度计算的缺点。的缺点。l与与Cronbach Cronbach 不同的是不同的是KR-20KR-20值适用于二分值适用于二分制
11、的研究工具（包含两种反应，例如回答制的研究工具（包含两种反应，例如回答“是是”或或“不是不是”）的一种方法。）的一种方法。 CronbachCronbach是描述一个研究工具信度时最常是描述一个研究工具信度时最常用的一种方法。用的一种方法。系数越大表示条目间相关性越好，系数越大表示条目间相关性越好， 一般而一般而言，言，大于大于0.8 0.8 表示内部一致性极好，表示内部一致性极好， 在在0.7 0.7 到到0.8 0.8 表示较好，而低于表示较好，而低于0.70.7表示内部一表示内部一致性较差。致性较差。（三）、评定者间信度和复本信度（三）、评定者间信度和复本信度评定者间信度测量方法：评定者
12、间信度测量方法：不同评定者使用相同工具同时观察，计算观察不同评定者使用相同工具同时观察，计算观察者们的观察结果之间的相关系数。者们的观察结果之间的相关系数。如：为调查如：为调查ICUICU护士的压力，观察她们工作的紧张程度。护士的压力，观察她们工作的紧张程度。复本信度测量方法：复本信度测量方法： 将两种不同形式的工具同时对一群对象测试，将两种不同形式的工具同时对一群对象测试，然后计算两次工具得分的相关系数。相关系数越然后计算两次工具得分的相关系数。相关系数越大说明两个复本构成带来的变异越小。比较少见大说明两个复本构成带来的变异越小。比较少见 研究工具信度的基本要求研究工具信度的基本要求n在进行
13、预试验时，一般选取在进行预试验时，一般选取10-2010-20例样本进行信度例样本进行信度测量。测量。Q：自己制作的问卷里面的一般资料问卷需不：自己制作的问卷里面的一般资料问卷需不需要信度的检测呢？需要信度的检测呢？A A：信度是针对概念的，人口统计学内容（如年龄、：信度是针对概念的，人口统计学内容（如年龄、性别、出生地、教育程度、婚姻状况、收入、家庭性别、出生地、教育程度、婚姻状况、收入、家庭成员数量等）一般不必进行信度检验，成员数量等）一般不必进行信度检验， 因为测量因为测量这些内容不太可能有测量误差。这些内容不太可能有测量误差。第二节效度第二节效度效度效度是指某一研究工具能真正反映它所期
14、望是指某一研究工具能真正反映它所期望研究的概念的程度。反映研究概念的程度越好，效度越高研究的概念的程度。反映研究概念的程度越好，效度越高 。效度效度(Validity) (Validity) 即有效性，即有效性，指此测验测查到所要测查的没指此测验测查到所要测查的没有？测查到何种程度？如一个智力测验，若测验结果所表有？测查到何种程度？如一个智力测验，若测验结果所表明的确实是受试的智力，而且量准了智力水平，那么这一明的确实是受试的智力，而且量准了智力水平，那么这一智力测验的效度好；反之则不好智力测验的效度好；反之则不好。一、表面效度一、表面效度二、内容效度二、内容效度三、效标关联效度三、效标关联效
15、度四、结构效度四、结构效度一、表面效度一、表面效度 表面效度是最浅层次上的效度，它指的是从表面效度是最浅层次上的效度，它指的是从表现上看起来，测验题目是否与测验目的一致。表现上看起来，测验题目是否与测验目的一致。 对工具的效度用对工具的效度用“有或无有或无”反映，未体现程反映，未体现程度。度。表面效度一般不能作为工具质量的有力证据。表面效度一般不能作为工具质量的有力证据。表表面面效效度度二、内容效度二、内容效度定义：定义：是根据理论基础及实际经验来对工具是根据理论基础及实际经验来对工具是否包括足够的项目而且有恰当的内容比例是否包括足够的项目而且有恰当的内容比例分配所做出的判断。分配所做出的判断
16、。方法：方法：二、内容效度二、内容效度二、内容效度一个测验要具备较好的内容效度必须满足两个条件。一个测验要具备较好的内容效度必须满足两个条件。 要确定好内容范围，并使测验的全部项目均在此范要确定好内容范围，并使测验的全部项目均在此范围内。所谓内容范围可以是具体知识或技能，也可围内。所谓内容范围可以是具体知识或技能，也可以是复杂行为。以是复杂行为。测验项目应是已界定的内容范围的代表性样本。换测验项目应是已界定的内容范围的代表性样本。换句话说，就是选出的项目能包含所测的内容范围的句话说，就是选出的项目能包含所测的内容范围的主要方面，并且使各部分项目所占比例适当。主要方面，并且使各部分项目所占比例适
17、当。内内容容效效度度计算方法：计算方法： CVR：内容效度比内容效度比三、效标关联效度三、效标关联效度定义：定义： 反映研究工作与其他测量标准之间的关系。反映研究工作与其他测量标准之间的关系。分类分类: 同时效度同时效度 预测效度预测效度同时效度和预测效度的主要区别：同时效度和预测效度的主要区别： 时间差异时间差异效效标标效效度度同时效度：同时效度： 判断腋温是否是测量体温的有效方法判断腋温是否是测量体温的有效方法预测效度：预测效度： 推测病人压疮发生的机率推测病人压疮发生的机率四、四、 结构效度结构效度l定义：定义：l重点是了解工具的内在属性，而不是使用工具测得重点是了解工具的内在属性，而不
18、是使用工具测得的分数。的分数。l它主要回答它主要回答“该工具到底在测量什么？该工具到底在测量什么？”，“使用使用该工具能否测量出被研究的抽象概念？该工具能否测量出被研究的抽象概念？”这类问题，这类问题，反映工具所依据理论或概念构架的程度。反映工具所依据理论或概念构架的程度。方法方法. 探索性因素分析因素分析法因素分析法验证性因素分析结结构构效效度度结结构构效效度度信度与效度信度与效度l信度和效度都不是信度和效度都不是“有或无有或无”，而是表示一，而是表示一个程度的问题。个程度的问题。l对一个研究工具来说，信度和效度并非是截对一个研究工具来说，信度和效度并非是截然孤立的。然孤立的。信度与效度的关
19、系n信度是效度的必要条件，但不是充分条件。信度是效度的必要条件，但不是充分条件。一个测量一个测量工具要有效度必须有信度，没有信度就没有效度；但工具要有效度必须有信度，没有信度就没有效度；但是有了信度不一定有效度。是有了信度不一定有效度。n信度低，效度不可能高。信度低，效度不可能高。因为如果测量的数据不准确，因为如果测量的数据不准确，也并不能有效地说明所研究的对象也并不能有效地说明所研究的对象 。n信度高，效度未必高。信度高，效度未必高。例如，量了错误的概念。例如，量了错误的概念。n有效度必定有信度；效度高，信度也必然高。有效度必定有信度；效度高，信度也必然高。高信度、低效度高信度、低效度高信度
20、、高效度高信度、高效度 低信度、低效度低信度、低效度 第三节第三节 国外量表的翻译和应用过程的性能测定国外量表的翻译和应用过程的性能测定 翻译和应用国外量表的原则：翻译和应用国外量表的原则： 1 1、不偏离原文的原意、不偏离原文的原意 2 2、适合中国的文化特点、适合中国的文化特点 3 3、译后的量表具有较好的信度和效度、译后的量表具有较好的信度和效度翻译国外量表的步骤翻译国外量表的步骤翻译回译检译1 1、翻译、翻译两个或多个既熟悉原量表语言又有较好汉语两个或多个既熟悉原量表语言又有较好汉语功底的翻译者将国外量表翻译成中文；功底的翻译者将国外量表翻译成中文；注意直译与意译结合，使更适合中国文化
21、特注意直译与意译结合，使更适合中国文化特点；点；多个翻译版本进行集体讨论后形成中文版本多个翻译版本进行集体讨论后形成中文版本的量表。的量表。2 2、回译回译请语言功底好、对源量表不知情的一位或多位翻请语言功底好、对源量表不知情的一位或多位翻译者将翻译成中文的量表再翻译回去；译者将翻译成中文的量表再翻译回去；将原量表与回译后的量表进行细致比较和分析，将原量表与回译后的量表进行细致比较和分析，找出不同的部分，并对中文版的相应内容进行修找出不同的部分，并对中文版的相应内容进行修改；改；修改后的中文版进行表面效度检验。修改后的中文版进行表面效度检验。3 3、检译、检译寻找一定数量的既懂中文又懂源语言的
22、样本对两寻找一定数量的既懂中文又懂源语言的样本对两种语言版本的量表进行作答，计算不同语言版本种语言版本的量表进行作答，计算不同语言版本的量表得分的相关性。相关程度越高，表示两种的量表得分的相关性。相关程度越高，表示两种版本的等同性越好。版本的等同性越好。使用中文版本进行预试验，检测中文版量表的内使用中文版本进行预试验，检测中文版量表的内在一致性，并了解量表文字是否易于理解和符合在一致性，并了解量表文字是否易于理解和符合中国人的表达习惯。中国人的表达习惯。教学目的回顾教学目的回顾l掌握效度的概念和分类掌握效度的概念和分类l掌握信度的概念和分类掌握信度的概念和分类l掌握信度与效度的关系掌握信度与效度的关系l熟悉信度和效度的测量方法熟悉信度和效度的测量方法l了解国外量表翻译的基本步骤了解国外量表翻译的基本步骤
