1、1人人 员员 测测 评评 理理 论论 与与 技技 术术在职研究生班专用在职研究生班专用2010孙健敏孙健敏 博士博士中国人民大学中国人民大学 教授教授.2教学目的与要求教学目的与要求:通过本课程的学习，你应该通过本课程的学习，你应该 了解测评的基本理论与原理；了解测评的基本理论与原理；理解和领会测评的基本概念；理解和领会测评的基本概念；熟悉和掌握测评的基本技术；熟悉和掌握测评的基本技术；弄清楚测评的必要性、重要性和局限性；弄清楚测评的必要性、重要性和局限性；能够把基本理论和技术应用于实际环境中；能够把基本理论和技术应用于实际环境中；能够判断测评手段的信度和效度并知道如何证能够判断测评手段的信度
2、和效度并知道如何证明其有效性；明其有效性；学会用人员测评的观点看待问题、分析问题和学会用人员测评的观点看待问题、分析问题和解决问题。解决问题。.3目的与要求目的与要求 本课程将以讲授为主，本课程将以讲授为主，辅助以案例分析、模拟演练、个人作业。辅助以案例分析、模拟演练、个人作业。通过互动式的教学，旨在引导学生掌握通过互动式的教学，旨在引导学生掌握基本的概念、理论和方法，基本的概念、理论和方法，学会分析问题和解决问题的角度和思路，学会分析问题和解决问题的角度和思路，特别是实际操作能力。特别是实际操作能力。.4指定教材指定教材 必读教材：孙健敏主编必读教材：孙健敏主编人员测人员测评理论与技术评理论
3、与技术，湖南师范大学，湖南师范大学出版社，出版社，2008年年.5引导案例引导案例 请思考并回答下面的问题：请思考并回答下面的问题：你看了上海世博会开幕式吗？有什么感你看了上海世博会开幕式吗？有什么感受？如何评价？受？如何评价？你选择读劳人院的在职研究生是否后悔？你选择读劳人院的在职研究生是否后悔？理由是什么？理由是什么？2 一个合格的大学教师应具备什么条件一个合格的大学教师应具备什么条件（请列出（请列出5条最重要的）？条最重要的）？.6讨论题讨论题 1 这三个问题的回答难度一样吗？为这三个问题的回答难度一样吗？为什么？什么？2 如何衡量一个概念？如何衡量一个概念？3 测评要解决什么问题？测评
4、要解决什么问题？.7第一章第一章 测评的一般原理测评的一般原理 一一 为什么要测评？为什么要测评？二二 测评什么？测评什么？三三 测评的含义与特性测评的含义与特性 四四 测评的一般原则测评的一般原则 五五 测评的主要类型测评的主要类型 六六 测评的尺度与量表测评的尺度与量表.8为什么要测评为什么要测评 工作特性工作特性 个人特点（个性差异）个人特点（个性差异）人与工作的匹配人与工作的匹配 是否需要测评（效用）？是否需要测评（效用）？.9测评什么测评什么 素质素质 行为行为 心理心理.10素质分析素质分析 心理素质心理素质 身体素质身体素质 文化素质文化素质 个性素质（品德素质）个性素质（品德素
5、质）.11行为分析行为分析 行为的特点行为的特点 行为分析的维度行为分析的维度.12行为的特点行为的特点 人的行为是动态的人的行为是动态的 人的行为是可控制的、可改变的人的行为是可控制的、可改变的 人的行为是多样的人的行为是多样的 人的行为是有原因（动机）的人的行为是有原因（动机）的 人的行为受环境的制约人的行为受环境的制约 B=F（P，E）.13行为的分析维度行为的分析维度 发生的频率发生的频率 反应的强度反应的强度 持续的时间持续的时间 发生的数目发生的数目 意义或影响意义或影响 可改变程度可改变程度.14测评的含义与特性测评的含义与特性 测评是测量与评价的简称测评是测量与评价的简称 测量
6、是用数字或符号对人的特点测量是用数字或符号对人的特点进行进行描述描述，而不论其价值的大小，而不论其价值的大小 评价是依据定量描述或直觉经验评价是依据定量描述或直觉经验来确定某种特点的来确定某种特点的价值价值。测量和评价都要依赖某种法则测量和评价都要依赖某种法则.15测量测量 测量的三个要素：法则（参照点与测量的三个要素：法则（参照点与单位）；数字或符号；事物单位）；数字或符号；事物 物质测量物质测量直接测量直接测量 人员测量人员测量间接测量（对抽象概间接测量（对抽象概念的测量）念的测量）测量与测验测量与测验.16评价（评定）评价（评定）评价是一种价值判断评价是一种价值判断 评价的三个要素：定量
7、描述；评价的三个要素：定量描述；加权；价值判断加权；价值判断.17测评的原理测评的原理 刺激刺激-反应，反应，投射，投射，典型反应典型反应难度反应难度反应 心理反应心理反应行为反应行为反应 情境反应情境反应惯常反应惯常反应 内在反应内在反应外在反应外在反应.18测评原理的实用性测评原理的实用性 是否能够测评？是否能够测评？是否有预测价值？是否有预测价值？Predictor 的含义的含义 效用如何？（产出效用如何？（产出/投入）投入）.19测评的主要类型测评的主要类型 选拔型测评（差异性）选拔型测评（差异性）配置型测评（合适性）配置型测评（合适性）诊断型测评（准确性）诊断型测评（准确性）预测型测
8、评（有效性）预测型测评（有效性）开发型测评（实用性）开发型测评（实用性）考核型测评（公正性）考核型测评（公正性）.20第二章第二章 测评的基本概念测评的基本概念 测量尺度测量尺度 误差误差 信度与效度信度与效度 项目分析项目分析 常模与样本常模与样本 效用效用 测量理论简介测量理论简介.21测评的尺度与量表测评的尺度与量表 名义尺度名义尺度（Nominal scale）顺序尺度顺序尺度(Ordinal scale)间距尺度（间距尺度（Interval scale）比率尺度比率尺度(Ratio scale).22名义（类别）尺度名义（类别）尺度 归类时用归类时用 要求：一个集合中所有成员都应要求
9、：一个集合中所有成员都应分派到相同的数字，且没有两个分派到相同的数字，且没有两个集合被分派到相同的数字；标准集合被分派到相同的数字；标准必须明确。必须明确。适用的统计方法：分布次数检验；适用的统计方法：分布次数检验；百分比；列联相关；百分比；列联相关；X 检验检验.23顺序（等级）尺度顺序（等级）尺度 对一个集合中的成员排列顺序对一个集合中的成员排列顺序 没有相等的单位，没有绝对零点没有相等的单位，没有绝对零点 不提供等级间的距离或差距不提供等级间的距离或差距 统计分析：中位数；百分位数；统计分析：中位数；百分位数；等级相关系数等级相关系数.24间距（区间）尺度间距（区间）尺度 有相等的单位，
10、但无绝对零点有相等的单位，但无绝对零点 只能做加减运算，不能做乘除运算只能做加减运算，不能做乘除运算 统计分析：平均数、标准差、积差统计分析：平均数、标准差、积差相关、相关、F检验；检验；T检验；方差分析；检验；方差分析；方差分析等方差分析等.25比率（等比）尺度比率（等比）尺度 有绝对零点，是最高级别的测量有绝对零点，是最高级别的测量尺度尺度 具有所有其他尺度的特征具有所有其他尺度的特征 统计分析：全部适用统计分析：全部适用.26什么是误差什么是误差 误差是在测量中与目的无关的变误差是在测量中与目的无关的变量（原因）所产生的不准确或不量（原因）所产生的不准确或不一致效应。一致效应。任何测量都
11、不是绝对准确的，不任何测量都不是绝对准确的，不准确的数据就是误差。准确的数据就是误差。.27误差的两层含义误差的两层含义 由与测量目的无关的变因引起由与测量目的无关的变因引起 是不准确或不一致的测量结果是不准确或不一致的测量结果.28准确性与一致性的关系准确性与一致性的关系 不准，不一致不准，不一致 不准，一致不准，一致 准，一准，一致致.29随机误差（可变误差）随机误差（可变误差）又与测量目的无关的偶然因素引又与测量目的无关的偶然因素引起，又不易控制，使多次测量产起，又不易控制，使多次测量产生了不一致的结果。生了不一致的结果。例如：称重量的时候，不同人对例如：称重量的时候，不同人对秤杆高度的
12、掌握不同。秤杆高度的掌握不同。.30系统误差（恒定误差）系统误差（恒定误差）由与测量无关的变量引起的一重恒由与测量无关的变量引起的一重恒定而有规律的误差，稳定地存在于定而有规律的误差，稳定地存在于每一次测量中，测值一致，但不准。每一次测量中，测值一致，但不准。在秤砣上搞鬼，就形成了系统误差。在秤砣上搞鬼，就形成了系统误差。.31不同误差的影响不同误差的影响 系统误差只影响测值的准确性，系统误差只影响测值的准确性，与效度有关与效度有关 随机误差既影响准确性，又影响随机误差既影响准确性，又影响一致性。与效度和信度都有关。一致性。与效度和信度都有关。.32真分数真分数 定义：一个测量工具在测量没有误
13、定义：一个测量工具在测量没有误差时所得到的纯正值。差时所得到的纯正值。操作定义：经过无数次测量所得到操作定义：经过无数次测量所得到的平均值。的平均值。真分数是构想出来的一个概念，实真分数是构想出来的一个概念，实际上得不到。际上得不到。.33真分数的意义真分数的意义 一个人在某测验上的分数，是其一个人在某测验上的分数，是其真分数和误差之和。真分数和误差之和。X=T+E 这里的误差指随机误差，因为系这里的误差指随机误差，因为系统误差不影响分数的改变。统误差不影响分数的改变。.34关于误差的假设关于误差的假设 如果对一个人接受无数次测量，如果对一个人接受无数次测量，其平均误差为零。其平均误差为零。真
14、分数和测量误差是相互独立的。真分数和测量误差是相互独立的。误差分数和实得分数的相关为零。误差分数和实得分数的相关为零。当测量团体足够大时，误差会相当测量团体足够大时，误差会相互抵消。互抵消。.35误差的来源误差的来源 测验内部（测量工具本身）引起测验内部（测量工具本身）引起的误差的误差 实测过程引起的误差实测过程引起的误差 抽样误差抽样误差 被试本身引起的误差被试本身引起的误差.36测量的效度测量的效度 效度的含义效度的含义 效度的特性效度的特性 效度的种类效度的种类.37效度的含义效度的含义 效度是指测量的正确性，即一个效度是指测量的正确性，即一个测量能够测出所要测的东西的程测量能够测出所要
15、测的东西的程度。度。能够回答：一个工具测评什么东能够回答：一个工具测评什么东西？对于所要测评的东西测得有西？对于所要测评的东西测得有多准？多准？.38效度的操作定义效度的操作定义 在一系列测量中，与测量目的有关在一系列测量中，与测量目的有关的真实变异数（与测量目的有关的的真实变异数（与测量目的有关的有效变异）与总变异数（实得变异有效变异）与总变异数（实得变异数）的比率数）的比率 一组测验分数的总变异包括：真实一组测验分数的总变异包括：真实的、与测量目的有关的变异；真实的、与测量目的有关的变异；真实的、出自无关来源的变异；随机误的、出自无关来源的变异；随机误差的变异差的变异.39效度的特性效度的
16、特性 相对性：只对一定的样本有效，相对性：只对一定的样本有效，不是全或无的关系。不是全或无的关系。目的性：只对一定的目的有效目的性：只对一定的目的有效.40效度的类型效度的类型 内容效度内容效度 构想效度构想效度 效标关联效度效标关联效度 聚合效度聚合效度 辨别效度辨别效度.41效标效度效标效度 一个测验对处于特定情境中的个体一个测验对处于特定情境中的个体行为进行预测时的有效性（准确行为进行预测时的有效性（准确性）。性）。被预测的行为是检验测验效度的标被预测的行为是检验测验效度的标准，就是效标。准，就是效标。实证（效标）效度强调的是效标行实证（效标）效度强调的是效标行为，因此，测验内容是次要的
17、，测为，因此，测验内容是次要的，测验题目不需要与效标有明显关系，验题目不需要与效标有明显关系，只要测验分数能预测效标行为。只要测验分数能预测效标行为。.42效标效度的种类效标效度的种类 同时效度与预测效度同时效度与预测效度 区分的标准不是时间，而是测验区分的标准不是时间，而是测验目的目的 效标与效标测量：参照标准及其效标与效标测量：参照标准及其测量测量.43效标的特性效标的特性 多样性多样性 复杂性复杂性 特殊性特殊性 时间性时间性.44确定实证效度的方法确定实证效度的方法 相关法（积差相关）。问题：相相关法（积差相关）。问题：相关系数的平方表示什么？关系数的平方表示什么？区分度：预测源分数是
18、否能区分区分度：预测源分数是否能区分由效标测量所定义的群体。由效标测量所定义的群体。命中率：根据测验所做的正确决命中率：根据测验所做的正确决定的比率。定的比率。.45命中率的含义命中率的含义 效标成绩效标成绩 失败失败 成功成功 测验预测测验预测 成功成功 失误失误A 命中命中B 失败失败 命中命中C 失误失误D.46命中率种类命中率种类 总命中率总命中率 B+C A+B+C+D B 正命中率正命中率 A+B.47测验效果分析测验效果分析 录取线录取线 工工 作作 错误拒绝错误拒绝 正确录取正确录取 成成 成成 功功 绩绩 合格线合格线 正确拒绝正确拒绝 错误录取错误录取 失败失败 测测 验验
19、 分分 数数.48聚合效度与辨别效度聚合效度与辨别效度 相同的特质用不同的方法实测所相同的特质用不同的方法实测所得结果的相关程度。得结果的相关程度。不同特质用相同方法实测所得结不同特质用相同方法实测所得结果的相关程度。果的相关程度。MTMM（Multi-trait-multi-methods）.49信度的含义信度的含义 测量结果的一致性程度测量结果的一致性程度 能够回答：测量工具是否稳定；能够回答：测量工具是否稳定；测量结果是否可以推论（概化测量结果是否可以推论（概化能力），即从一次测量来推论能力），即从一次测量来推论总体的正确程度。总体的正确程度。信度只受随机误差的影响信度只受随机误差的影响
20、.50操作定义操作定义 在测量理论中，信度是指一组测在测量理论中，信度是指一组测验分数的真变异数与总变异数的验分数的真变异数与总变异数的比率。比率。在实际应用中，通常以同一样本在实际应用中，通常以同一样本所得的两组资料的相关作为测量所得的两组资料的相关作为测量一致性的指标一致性的指标.51信度系数信度系数 同一被试样本所得的两组资料的同一被试样本所得的两组资料的相关相关 信度系数表示真分数与实得分数信度系数表示真分数与实得分数之间的决定系数，可以解释为在之间的决定系数，可以解释为在实得分数的变异数中有多大比例实得分数的变异数中有多大比例是又真分数的变异引起的。是又真分数的变异引起的。.52信度
21、系数的意义信度系数的意义 一般能力和学绩测验一般能力和学绩测验 0.9 个性、价值观个性、价值观 .75-.85 .75时，可用于团体间的比较。时，可用于团体间的比较。.85时，可用于鉴别个人。时，可用于鉴别个人。.53信度的种类信度的种类 再测信度再测信度（稳定性系数）（稳定性系数）复本信度复本信度（等值性系数）（等值性系数）分半信度分半信度（内部一致性系数）（内部一致性系数）同质性信度同质性信度（同质性系数）（同质性系数）评分者信度评分者信度（肯德尔和谐系数）（肯德尔和谐系数）.54问题：问题：什么是构想效度？如何确定构想什么是构想效度？如何确定构想效度？效度？内容效度容易与什么效度混淆？
22、内容效度容易与什么效度混淆？什么是效标关联效度？什么是效标关联效度？副本信度与分半信度有什么差异？副本信度与分半信度有什么差异？.55项目分析项目分析 难度：通过（答对）某个题目的难度：通过（答对）某个题目的人数占总人数的百分比。人数占总人数的百分比。区分度区分度.56常模与样本常模与样本 标准参照与常模参照标准参照与常模参照 样本的重要性样本的重要性 常模的含义常模的含义.57常模群体常模群体 群体的构成必须明确界定群体的构成必须明确界定 常模群体必须是所要测量的群体常模群体必须是所要测量的群体的一个代表性取样的一个代表性取样 取样的过程必须详尽地描述取样的过程必须详尽地描述 样本的大小要适当样本的大小要适当 注意常模的时间性注意常模的时间性 将一般常模与特殊常模结合起来将一般常模与特殊常模结合起来.58测验分数的解释测验分数的解释 原始分数原始分数 转换分数转换分数 标准分数标准分数T，Z 百分等级数百分等级数.
