1、编写和评价编写和评价测验题目测验题目人才测评人才测评第三讲第三讲主讲人：陈灿主讲人：陈灿华南农业大学华南农业大学经济管理学院经济管理学院 测验编制程序在一定程度上因测验目的而异 成就测验 智力测验 特殊能力倾向测验 人格问卷测验编制程序测验编制程序 筛选一项特定工作的应聘者 1、任务分析：详细分析工作所包含的活动 2、制定任务分析细目表：关键事件 3、按一般测验编制操作筛选测验筛选测验能力倾向测验能力倾向测验 1、弄清楚你想要测什么？2、建立一个题库 3、杜绝特别长的题目 4、题目要易于理解 5、避免同时表述了两重或多重意思的题目。6、注意交错编排措词积极或消极的题目题目编写的指导方针题目编写
2、的指导方针 1、双选项形式（dichotomous format）正误判断测验(true/false examination)优点:简单明了,容易施测,评分便捷,必须明确指出对错.缺点:记忆资料;猜测;因此需要较大题量 对人格测验而言题目形式（题目形式（1/41/4）2、多选项形式（polytomous/polychotomous format）多重选择测验 干扰项（distractors）:不正确的选项 增加干扰项可以提高信度 3-4个最为合适 例子:警官资格考试题目形式（题目形式（2/42/4）计分:对猜测进行校正的公式 其中:R表示正确回答的题目数 W表示错误回答的题目数 N表示题目中的
3、选项数要求被试给选项所代表的特征确定数值要求被试给选项所代表的特征确定数值:3、利克特形式（Likert Format）要求被试表明他对一个特定态度问题的赞成程度 5点、6点和7点；Likert Scale题目形式（题目形式（3/43/4）1nWR正确得分 适用范围：人格量表、态度量表、因素分析 4、分类形式（category format）（评分形式）类似于LIKERT形式，但提供了更多选项。如：10点量表 对于给定的一组目标进行评估时，评定者一般倾向于在10个等级上平均地分配这些目标。如果清晰定义量表的两个端点并经常提醒评定者注意端点的定义就可以避免这种倾向。题目形式（题目形式（4/44/
4、4）视觉模拟量表（visual analogue scale）完全没有痛苦 非常痛苦标记距起点34毫米100毫米价值评定中context的影响 在不允许穿着暴露的街上穿着暴露 1.59 侵占前面的顾客留给侍者的小费 3.32 随心所欲地利用他人的同情心 2.90 教唆青少年成为吸毒 4.51 侵占前面的顾客留给侍者的小费 2.46 让别人顶替你参加民事服务考试 3.39 5、检核表和Q分类 形容词检核表（adjective chechlist）适用于人格测量 要求被试从两个形容词中选择认可某一个 Q分类（Q-sort）适用于描述自我或评定他人 要求被试把一些陈述分为9类题目形式（题目形式（3/
5、43/4）6、其他 最常用的:迫选形式（forced-choice format）Likert形式 容易出错的：检核表题目形式（题目形式（4/44/4）1、题目难度（item difficulty）:在一个特定题目上做出正确回答的人数 最佳难度水平：（猜测概率+1）/2 大多数测验题目中应该有多种难度水平：0.3-07项目分析（项目分析（1/41/4）2、项目区分度（item discriminability）在特定题目上表现良好的人是否在整个测验上也同样表现良好。估计方法：1、极端分组法（extreme group method）：通过比较那些在测验上表现很好的被试与表现不好的被试在题目通过
6、率上的差异来估计区分度。第一步，找出前1/3与后1/3 第二步，算出各组每题答对的比例。辨别力指数（di,discrimination index）项目分析（项目分析（2/42/4）专栏6-1题目序号高分组通过率（P1）低分组通过率（P2）辨别力指数（di=P1-P2）1.89.34.552.76.36.403.97.45.524.98.95.035.56.74-.18 2、点二列相关法（point biserial method）计算题目成绩和整个测验成绩之间的相关。项目分析（项目分析（3/43/4）xxypbisPPSYYr11区分度指标答对第一题的被试在测验上的平均得分所有被试在测验上的
7、平均得分所有被试测验得分的标准差所有被试中答对了第x题的被试的比例 3、项目特征曲线（item characteristics curve）X轴：测验总分 Y轴：正确回答某一题目的被试的比例项目分析（项目分析（4/44/4）一个一个“好好”题目的项目特征曲线：题目的项目特征曲线：答对该答对该题的被试比例是测验总分的增函数题的被试比例是测验总分的增函数一个在低水平被试中区分得很好但不能一个在低水平被试中区分得很好但不能区分高水平被试的测验题目区分高水平被试的测验题目一个质量不高的题目的项目特征曲线一个质量不高的题目的项目特征曲线多个题目的项目特征曲线多个题目的项目特征曲线一个有问题的项目特征曲线
8、一个有问题的项目特征曲线 测验的每一个题目都有自己的项目特征曲线，描述了每一个特定能力水平的被试答对或答错该题目的概率。借助计算机，不需要被试做完所有题目主试就可以确定他的能力水平。项目反应理论项目反应理论(item response theory,IRT)(item response theory,IRT)测验特征曲线:综合各题目的项目特征曲线加以平均 用以说明各种能力水平的被试在测验上得到某个分数的预期比例.计算机施测:迅速挑选出适用于评估特定能力水平的被试的具体题目 传统测验与计算机适应性测验 尽管测验编制者知道哪个题目能够很好地把学生区分开，但无助于学生的学习。诊断与评价并重的测验计划：使学生知道自己的等级，同时也知道自己有哪些弱点或缺陷。项目分析的局限性项目分析的局限性*恭喜大家！最枯燥的部分结束了
