1、问卷(量表)设计的理论和方法一、问卷调查法概述v是指调查者根据研究目的和研究内容,就调是指调查者根据研究目的和研究内容,就调查项目编制相应的问题序列,按一定的原则查项目编制相应的问题序列,按一定的原则排列,编成书面试卷,分发给调查对象,请排列,编成书面试卷,分发给调查对象,请求书面回答,然后对问卷回收整理,并进行求书面回答,然后对问卷回收整理,并进行统计分析,从而得出研究结果的研究方法。统计分析,从而得出研究结果的研究方法。v间卷调查法具有简便易行、省时省力、调查间卷调查法具有简便易行、省时省力、调查面广、信息量大、结果真实等特点面广、信息量大、结果真实等特点问卷调查成功实施的两个方面问卷调查
2、成功实施的两个方面v高质量的问卷(或量表)v样本的正确抽取和问卷发放问卷设计的要求v1问卷要明确、具体、简洁,语言要通俗易懂v2避免双向问题v3防止使用导向性问题v4避免“社会认可效应”v5尽量避免使用否定性问题v6题目要尽量简单v7题目的选择答案应当是可以穷尽的,选择应具有排他性问卷格式(构成)v1 1、调查标题、调查标题v2 2、调查者和调查对象的基本情况、调查者和调查对象的基本情况v3 3、指导语(前言)、指导语(前言)v4 4、问卷的正文、问卷的正文v5 5、调查问卷的提问与回答方式、调查问卷的提问与回答方式问卷设计的步骤v1、问卷的初步设计v2、问卷的预试与修订v3、形成问卷与打印二
3、、问卷(量表)的项目分析二、问卷(量表)的项目分析 主要目的在于检验编制的量表或测验主要目的在于检验编制的量表或测验个别题项的适切度或可靠程度。个别题项的适切度或可靠程度。它与信度检验的差异在于信度检验时它与信度检验的差异在于信度检验时捡核整份量表或包含数个题项的层面或构捡核整份量表或包含数个题项的层面或构念的可靠程度。念的可靠程度。v先根据被试的测验总分把他们由高到低排序,然先根据被试的测验总分把他们由高到低排序,然后在两端分别截取人数比例相等的(一般取后在两端分别截取人数比例相等的(一般取27%27%的的比例)高分组和低分组,分别计算两组被试在某比例)高分组和低分组,分别计算两组被试在某个
4、项目上的通过率,求其平均数作为该题目的难个项目上的通过率,求其平均数作为该题目的难度指标:度指标:2PPPLH 难度P:表示题目的难度(一般0.2P 0.8为佳)PH:表示高分组在某个题项答对人数的百分比,PL:表示低分组在摸个题项答对人数的百分比。区分度v又叫做项目的项目鉴别力。它是指项目对不同水平又叫做项目的项目鉴别力。它是指项目对不同水平的被试反应的区分程度和鉴别能力。的被试反应的区分程度和鉴别能力。v将被试按总分高低排列,把得分最高的将被试按总分高低排列,把得分最高的27%27%的被试作的被试作为高分组,得分最低的为高分组,得分最低的27%27%的被试作为低分组,计算的被试作为低分组,
5、计算高分组该题答对的人数的比例与低分组该题答对的高分组该题答对的人数的比例与低分组该题答对的人数比例。人数比例。LHPPDD:表示题目的区分度(一般0.3D为佳)PH:表示高分组在某个题项答对人数的百分比,PL:表示低分组在摸个题项答对人数的百分比。项目分析-临界比值法(critical ration)是项目分析的判别指标中最常采用的方法。是项目分析的判别指标中最常采用的方法。又称为极端值法。主要目的在求出问个别题项的又称为极端值法。主要目的在求出问个别题项的决断值决断值-CR-CR值(临界比值)。它的理念与测验值(临界比值)。它的理念与测验编制中区分度的观念类似,它是根据测验总分区编制中区分
6、度的观念类似,它是根据测验总分区分出高分组受试者与低分组受试者后,再求高、分出高分组受试者与低分组受试者后,再求高、低两组在每个题项的平均数差异的显著性,其低两组在每个题项的平均数差异的显著性,其原理与独立样本的原理与独立样本的T T检验相同,然后进行分析后检验相同,然后进行分析后将未达到显著性水平的题项删除。将未达到显著性水平的题项删除。项目分析CR法的操作步骤v1 1、求出量表的总分、求出量表的总分v2 2、量表总分高低排序、量表总分高低排序v3 3、找出高低分组上下、找出高低分组上下27%27%处的分数处的分数v4 4、依临界分数将量表得分分成两组、依临界分数将量表得分分成两组v5 5、
7、以、以t t检验检验高低分组在每个题项的差异检验检验高低分组在每个题项的差异v6 6、将、将t t检验结构检验结构未达显著未达显著的题项删除的题项删除分析(分析(analyze)比较平均值(比较平均值(compare means)独立样本独立样本t检验(检验(independent-samples T-test)v在项目分析中,除了采用CR法外,也可采用同质性检验作为个别题项筛选的另一指标,如果个别题项与总分的相关度愈高,表示题项与整体量表的同质性愈高,所要测量的心理特质或潜在行为就更加接近。若个别题项与总分的相关系数未达到显著的,或两者为低度相关,表示题项与整体量表的同质性不高,建议删除。项
8、目分析的量表项目与总分相关法v1 1、求出量表的总分、求出量表的总分v2 2、进行相关性分析、进行相关性分析v3 3、将相关系数、将相关系数未达显著或者相关性很低未达显著或者相关性很低的题项删除的题项删除v分析分析(analyze)相关(相关(correlate)-双变量双变量(bivariate)三、问卷的信度检验三、问卷的信度检验v一份测量工具的好坏,出了要难度适中和较高的区分度外,最重要的是要有信度和效度。v信度代表量表的一致性和稳定性。v根据其关注的重心的不同分为:内在信度:是量表中的一组项目(item)(或整个表)是否测量的同一个概念,即这些项目的之间的内在一致性如何。(克朗巴赫系数
9、和折半信度)外在信度:指在不同时间进行测量时对同一对象进行测量时所得结果的一致性程度。(重测信度)克朗巴赫系数v以克朗巴赫系数来判断一组项目(或整个量表)的信度的判别标准:基础研究中,信度至少要达到0.8以上探索性研究中,信度只要达到0.7就可接受而在实务中,0.6以上也可以勉强接受,但最好对问卷做一些修订v 分析(analyze)-度量(scale)-信度分析(Reliability Analysis)四、问卷的效度检验四、问卷的效度检验v效度也称为正确性,是表示一份量表能真正测量到该量表所要测量的特质或概念的程度。效标关联效度(criterion-related validity)内容效度
10、(content validity)结构效度(construct validity)v效度具有以下特点:效度是指测验结果的正确性或可靠性,而非指测验工具本身效度并非全有全无,只是程度上有高低不同的差别效度有其目标功能性,是针对某一特殊功能或某种特殊用途而言,不具有普遍性,一份高效度的测验工具实测于不同的受试者,可能会导致测验结果的不正确效度无法实际测量,只能从现有信息做逻辑推论或从实证资料中做统计检验分析 (Gronlund&Linn,1990;王宝进,2002)建构效度(construct validity)v是指能够测量出理论的特质或概念的程度。亦即实际的测验分数能够解释多少某一心里特质。
11、v我们根据理论的假设架构,编制一份量表,经实际测试结果,受试者所得实际分数经过统计检验能有效解释受试者的心理特质,则此量表具有良好的建构效度。v统计学上,检验建构效度的方法是采用因素分析。即以因素分析法去检验量表的效度,并有效抽取共同因素,此共同因素与理论架构的心理特质更为接近,则可以说此量表具有建构效度。因而使用者在量表项目分析完成后进行因素分析,以求得量表的建构效度。因素分析的基本概念v因素分析是通过研究多个研究变量间相关系数矩阵(或协方差矩阵)的内部依赖关系,找出能够综合所有变量的少数几个随机变量,这几个随机变量是不可能测量的(也叫潜变量latent),通常就称为因素(因子factor)
12、。v它是一种相关分析技术,它包含许多减少维度(即因素的个数)以简化数据的技巧,主要目的在于以较少的维度来表现原先的数据结构,而又能保存原数据结构所提供的大部分信息。v从另外一个角度说,因素分析是将具有错综复杂关系的变量(项目)综合成为数量较少的几个因素,一在线原始变量与因素之间的相互关系,探讨多个能够直接测量,且具有一定相关性的实测指标是如何受少数几个内在的独立因素支配的,并根据不同因素对变量进行分类。使得同组内的变量之间的相关性较高,但不同组的变量相关性较低。v获得因子后,还可以用回归估计等方法求出因子得分的数学模型,将各因子表示成变量的线性形式,进一步算出各因子的得分,从而可以进行进一步的
13、分析。因素分析的注意事项v样本量不能太小。一般而言,要求样本量样本量是项目项目数(item)的5倍以上,如果要获得比较理想的结果,则应该在10倍以上。另外,除了比例以外,样本总量也不能太少,按理论要求应该在100以上。v因素数目的确定。一般根据学者Kaiser所提的标准:选取特征值大于1的因素。v各变量间应该具有相关性,采用Bartlett球形检验来判断。v因子分析中各因素应该具有实际意义,即能够进行有意义的重新命名。vKMO检验。其用于检验个变量间的偏相关性,取值范围在01之间。具体判断标准如下:0.9以上极适合做因素分析0.8以上适合做因素分析0.7以上尚可做因素分析0.6以上勉强可做因素分析0.6以下不适合做因素分析分析(analyze)-降维(Data Reduction)-因子分析(factor)共同性和因素负荷量v共同性(communalities)表示该项目(item)能解释共同概念或属性的变异量。如果共同性的数值越高,表示能测量到该概念的程度愈多,相反,则表示该项目与量表的共同量较少,因而该题项可以考虑删除。v因素负荷量(factor loading)表示项目(item)与因子(factor)关系的密切程度,该项目在共同因素(或总量表)的因素负荷越高,表示该项目与共同因素的关系密切,也就是具有较高的同质性。相反,则表示不密切,可以考虑删除该项目。