1、标准化的调查访问标准化的调查访问第1页，共83页。何谓标准化访问第2页，共83页。前言前言目的：目的：为改进调查数据的质量调查：调查：指设计来对某些母群体获取量化资料的调查本书探讨重点：本书探讨重点：大多数靠访员询问问题并记录答案的调查形式如何将访员引起的误差减到最低第3页，共83页。访问的本质访问的本质访问：访问：带有目的的会谈（Kahn&Cannell,1958）两大部分：两大部分：访问会谈的主体主要由问题及回答所组成参与会谈的角色清楚界定一提问题（访员）、一答问题（受访者）抽样调查的特征：抽样调查的特征：个别受访者会成为研究对象，是因他们是被描述母体的一部份，所提供答案有助于研究者描述其
2、所代表的母群体调查结果呈现是对母体定量或数学性的描述测量所得结果、用来分析的资料，都是根据受访者回答而来。1.成功调查的标准：所得资料是否能测量到研究者所欲描述母群体的真实面貌，及得到正确的数据。第4页，共83页。调查中误差的来源调查中误差的来源抽样方面误差：抽样方面误差：当样本并未包含所有母体所描述的特性时，就会有某类别样本被遗漏当样本并未包含所有母体所描述的特性时，就会有某类别样本被遗漏样本比例未充分反应母体比例样本比例未充分反应母体比例部分样本拒绝参与调查，拒绝提供答案，或拒答部分敏感性问题部分样本拒绝参与调查，拒绝提供答案，或拒答部分敏感性问题问卷方面误差：问卷方面误差：当题目被误解当
3、题目被误解当题目不能表达研究者真正想得到的信息当题目不能表达研究者真正想得到的信息受访者不愿正确回答题目受访者不愿正确回答题目访员方面的误差：访员方面的误差：当访员没有逐字念出题目当访员没有逐字念出题目当访员作引导性追问当访员作引导性追问当访员对受访者答案加入自己的偏见当访员对受访者答案加入自己的偏见当访员记录不正确当访员记录不正确资料削减的误差：资料削减的误差：当过录员使用不一致的过录原则，或对所示用的过录码判断错误当过录员使用不一致的过录原则，或对所示用的过录码判断错误数据键入错误数据键入错误第5页，共83页。访员的角色访员的角色l忠实呈现问题l避免访问过程中对受访者的影响力l遵循标准化的
4、流程第6页，共83页。调查调查 测量测量 标准化是必须的标准化是必须的l测量-在一个标准之下，找出或估计出任何事物的程度、面向等（韦氏大字典，Guralk，1976）l调查中，标准化测量的程序是访员提出问题后，访员记录受访者答案的测量程序l标准化目的就在使每一受访者都经历相同的答题经验，每项答案被纪录的方式也相同，答案中所显现的差异可被正确解释为受访者之间的差异，而非因资料搜集过程的差异l举例：您对于您最大孩子所上的学校评价如何？l标准化访问与晚间脱口秀访问及医生对病患医疗史访问的比较都符合访问的定义，但都不是标准化访问脱口秀目的是娱乐，有时主持人基于制造娱乐效果，反而削减 受访者在意见交流中
5、的用心医生询问医疗史目的在对特殊病例作详细了解，而非概推到其 他病患，因此访问方式、语句可能会随病患而不同；医生也引 导病人说出真正的感觉第7页，共83页。调查调查 测量测量 标准化是必须的标准化是必须的(续续)标准化访问的关键争论-当受访者有问题时，访员该如何作？【思考】：如果访员发现受访者对题意不确定或有疑惑，而自行改变或修正题目-可能导致有些受访者被 问了这个问题，而另外一些则被问了另一个问题，会导致资料分析时严重困扰【结论】：当研究目标是要取得量化资料时，标准化、非引 导式的访问是必须的第8页，共83页。标准化访问非适用于所有搜集资料的过程标准化访问非适用于所有搜集资料的过程探索性研究
6、：在研究的探索阶段，目的是要找出该问的探索性研究：在研究的探索阶段，目的是要找出该问的 问题问题个案研究：研究者只需将问题涵盖范围界定清楚，后续个案研究：研究者只需将问题涵盖范围界定清楚，后续 则由受访者自由发挥。访问不被视为一种测则由受访者自由发挥。访问不被视为一种测 量，而是资料搜集过程量，而是资料搜集过程第9页，共83页。何谓访员相关误差何谓访员相关误差第10页，共83页。前言前言l误差：调查所得答案与研究者所要测量的真实数据 之间的差异。l访员相关误差：所得答案中的变异与访问的人有所关 联l与访员无关的误差来源：题目的用字遣词会影响到回答和所预测量无关的受访者特质会影响回答访问所进行的
7、环境也会影响回答问题在访问中出现的时机也会影响回答受访者自行填答和访员在访问现场会影响回答第11页，共83页。访员效应分析访员效应分析从心理测定的研究（psychometric approach）观点*信度：重复测量相同特征和状况产生一致结果的程度。当访员之间对不同受访者会造成某种程度的影响，则结果就会不一致*效度：一个测量能与研究者所欲测量者相符的程度。可以用调查所得答案和另一个测量相同或相似现象 测量结果之间的相关程度，来作为评定标准 （Cronbach&Meehl，1955）1.真实答案访员误差其它反应的误差 记录下来的答案2.信度1-（误差变异/观察到的变异）3.效度（y）=y和标准x
8、之相关 访员所造成误差会降低一个测量的信度，进而限制了其反应有效相关性的能力第12页，共83页。访员效应分析（续）访员效应分析（续）从抽样统计的观点从抽样统计的观点*偏差（bias）：所有访问结果的平均值和母群体真正数据的差异程 度。*精确度：根据调查所得的推估值，如平均数百分比，和假设从同一 母体重复所做的调查结果，或没有抽样的情形所得结果的 相似程度 -统计学家称此推估的精准度为标准误*非标准化访谈的重要意义在其对于推估值标准误的增加第13页，共83页。访员效应分析（续）访员效应分析（续）层内相关系数（intraclass correlation）-Kish，1962rho的概念就是访员所
9、造成的变异占一个估计值其总变异的比例因此，可反应某个推估值的变异量跟访员关系有多少Rho=访员变异量/(抽样变异量访员变异量)Rho的显著值在.01-.02之间，表示有1-2的变异量是归因于访员，当访员所访问的受访者愈多时，对数据的影响愈可观在将访员视为随机变量而作出来的变异数分析中，rho可以利用模式的平均变异、误差项的平均变异及每个访员的平均 访问次数计算出来Rho=(模式的平均变异误差项的平均变异)模式的平均变异（访问数模式的平均变异（访问数1）（误差项的平均变异）（误差项的平均变异）第14页，共83页。访员效应分析（续）访员效应分析（续）DEFT（the square root of
10、the design effect，设计效应的平方根）是在对母体抽样所造成的标准误之外的膨胀效应，其导因于访员对答案造成影响的事实。它决定于Rho的大小及每个访员的平均访问次数设计的效应=1+（访员数1）（Rho）访员相关误差显著性上，还可加上依标准化访问程序的重要价值：可复制性。极少有研究者设计研究来估计其资料中的访员效应，然而，提高访员搜集资料的标准化程度及其一致性非常重要，如此，也才能提供他人重复研究结果的基础第15页，共83页。侦查访员的误差侦查访员的误差方法方法优点优点缺点缺点对访员的直接观察对访员的直接观察可从现场观察或录音带侦察访员每一步骤执行是否正确无法得知访员误差程度，将访员
11、及其所得答案将访员及其所得答案关连起来关连起来大部分受访者无法从资料结果发现访员的显著影响验证调查所得答案验证调查所得答案可弥补缺乏想要信息的不足常受限于可检验信息的稀少性第16页，共83页。结论结论研究机构或研究者很容易忽略访员相关的误差。相对于其它减少误差的策略，如增加样本数，减低访员相关误差显然成本低多了。第17页，共83页。标准化访问技巧标准化访问技巧第18页，共83页。以标准化方式处理问答过程的程序以标准化方式处理问答过程的程序逐字念出题目受访者对原始题目的回答不完整或不恰当，继续以非引导式的方式追问不以访员判断记录答案，答案只能记录受访者所陈述的访员对访问所涵盖主题不应提出自己私人
12、的意见，以影射个人特别价值观及好恶；也不应对受访者回答内容表示正反意见第19页，共83页。标准化访问的困难标准化访问的困难不适当的调查工具如设计不良的问卷受访者不清楚自己该扮演的角色第20页，共83页。访员无法达到标准化的原因访员无法达到标准化的原因正确性的目标与标准化的目标不一致与受访者保持融洽关系与标准化的要求冲突第21页，共83页。逐字念出题目逐字念出题目研究发现，访员变更用自比例在研究发现，访员变更用自比例在2020-40-40之间，且这些研究都是由很严谨的研究机构所执之间，且这些研究都是由很严谨的研究机构所执行的（行的（Bradburn&SudmanBradburn&Sudman，1
13、9791979；CannellCannell，Fowler&MarquisFowler&Marquis，19681968；Fowler&Fowler&MangioneMangione，19861986；Cannell&OksenbergCannell&Oksenberg，19881988）访员变更题目的原因访员变更题目的原因1.1.题目念起来很拗口题目念起来很拗口2.2.访员希望营造一种会话式、非正式的互动访员希望营造一种会话式、非正式的互动-在题目中加入个人的提示在题目中加入个人的提示-有经验的访员较新访员在读题时，容易采取非正式的方式有经验的访员较新访员在读题时，容易采取非正式的方式检验题
14、目字句更动是否影响测量质量检验题目字句更动是否影响测量质量1.1.以层内关系来测量最易被访员误读的题目，是否产生巨大的访员效应以层内关系来测量最易被访员误读的题目，是否产生巨大的访员效应 【结果：结果：】2.2.看那些特别会用非正式方法读题的访员，会不会导致特别偏差的数据看那些特别会用非正式方法读题的访员，会不会导致特别偏差的数据 【结果：结果：】相关程度不显著，且只肯定，被评为有较佳访问技巧的访员，相关程度不显著，且只肯定，被评为有较佳访问技巧的访员，其所得资料较无偏误其所得资料较无偏误3.3.检视有关题目字句的研究（检视有关题目字句的研究（Schuman&PresserSchuman&Pr
15、esser，19811981）【结果：、结果：、】例：例：Q1Q1：是不是应该禁止共产党员在美国的公开场合演说？：是不是应该禁止共产党员在美国的公开场合演说？Q2Q2：是不是应该不允许共产党员在美国的公开场合演：是不是应该不允许共产党员在美国的公开场合演?第22页，共83页。追问不适当的回答追问不适当的回答-非引导式的追非引导式的追问问运用时机及解决方式运用时机及解决方式为受访者澄清题意重念一遍题目或名词定义（其余为研究者的责任）激发受访者对原来不完整的答案作加强、澄清或修正，以达题目目标追问第23页，共83页。追问方法追问方法问题类型问题类型作法作法注意事项注意事项封闭性问题训练受访者从中挑
16、出一个答案，并重念题目访员接受一个与选项不甚契合的答案，并 将其过录到该类别访员可能没有确实重念全题数字性问题逐步缩小答案范围，获取精确答案（集中瞄准）很容易落入引导式追问的陷阱-可以用是、否来回答的答案-追问中只列举某些可能的答案，而排除其 他答案开放式问题追问你意指什么？（是否回答问题）再告诉我多一些你所提及的（清楚）还有没有其它的（完整）书上例证p.5658不知道的回答先辨识问题来源1.受访者思考时的开场白2.受访者之前未想过此问题，但答 案呼之欲出3.受访者知道答案，却不知研究者 对正确及详尽的标准当不知道是一个正确、周详的答案 时，直接记下1.给时间思考2.鼓励受访者去想，并强调其特
17、别适合 对该主题提供讯息3.告诉受访者，答案无所谓对错，受访 者自己的估计为佳第24页，共83页。关于追问误差关于追问误差追问是访员技巧中最难学的部分追问是问答过程中无法完全被标准化的一部份调查测量中，追问是一项重要的误差来源（Hyman；Groves&Magilavy，1980）开放性问题的访员追问误差更明显访员最常犯的追问误差：引导性追问、该追问而未追问追问时特别容易有访员差异的三种情况：1.访员的期望会影响其追问的行为（Hyman，1954）2.对于可能有多重答案的题目，访员差异可能导致答案数 量上的差别3.在处理不知道或同类问题时，访员差异会使结果有 差异解决追问误差最有效的方法：改进
18、题目质量，使访员追问机率减少第25页，共83页。记录答案记录答案访员的任务问题类型问题类型访员任务访员任务可能误差或原因可能误差或原因封闭性问题让受访者挑选一个答案，并忠实记录文书上的误差、记录不实开放式、感觉性逐字记下答案，不总结、不删减主观性答案的纪录高依赖其措辞方式及某些重点是否被提及封闭性、事实性勾选受访者所选答案当受访者不确定答案选项时，先将所有信息写下，过录时再决定如何处理事实性题目要问的是某种特定信息，受访者措辞并非关键，访员应该把受访者答案中与题目呼应的讯息写下（包括多选项的情况）误差来源即访员自行作决定封闭性、意见型勾选受访者所选答案追问到受访者选择一个答案止除非受访者作选择
19、，否则不将答案归于任一项【小结】访员在记录封闭性问题时，犯错机率相当少；但对开放性的问题，逐字记录的质量差异较多。第26页，共83页。立场保持中立立场保持中立需包含之重要因素需包含之重要因素：访员不应该主动提供受访者有关个人对于生活状况、观感、或价值的讯息【原因】主动提供讯息可能破坏以搜集数据为先的专业性谈论个人观感只会使其差距加大有关个人观感和背景的信息可能会直接影响答案在提供给受访者的回馈中，应避免对受访者答案提供评估和判断【原因】大多数受访者在意访员如何看待其答案第27页，共83页。训练受访者训练受访者方法访问开始时，作一些开场的介绍【用意】跟受访者说明，这是一种特殊的互动，有其特别的游
20、戏规则让访问易于进行增加访员自身遵守标准化的规范访问过程中遇到问题时，再解释标准化访问的特色【例如】受访者已提及下一问题的答案时受访者觉得题目中有含糊或定义不清楚的名词时在封闭式的题目中，受访者不想选出答案选项中的一项受访者给的答案不明确，因为可能只是一个估计或预测受访者讲得太快，访员无法逐字记录下来时当受访者的家人想要帮忙答复意见性的题目当受访者在访问中询问访员意见第28页，共83页。建立标准化访问的脉络建立标准化访问的脉络第29页，共83页。要执行标准化访问的一个先决条件是要建立起一种关系，使受访者有其要执行标准化访问的一个先决条件是要建立起一种关系，使受访者有其意愿，访员有其能力，可以使
21、其个别角色在测量过程中得以发挥。意愿，访员有其能力，可以使其个别角色在测量过程中得以发挥。Charles Cannell指出：访员在建立访问为一种测量经验中扮演指出：访员在建立访问为一种测量经验中扮演着重要的角色。访员所建立的访问互动模式，与受访者发生问着重要的角色。访员所建立的访问互动模式，与受访者发生问答过程的关系，也对资料结果扮演关键性的角色。根据发现，答过程的关系，也对资料结果扮演关键性的角色。根据发现，这也是访员的做法最不一致的工作。这也是访员的做法最不一致的工作。建立访员与受访者互动的三个重点：建立访员与受访者互动的三个重点：一、解释访问的目的及原因一、解释访问的目的及原因二、建立
22、访员与受访者之间关系的良好趋势二、建立访员与受访者之间关系的良好趋势三、传递访问的目标和要使用的规则三、传递访问的目标和要使用的规则第30页，共83页。Kelman 的访员类型说的访员类型说要思考受访者对访员的定位问题，要思考受访者对访员的定位问题，Kelman指出有三种产生影指出有三种产生影响关系之类型。响关系之类型。顺从性（顺从性（compliance）：其特色是在该关系中，影响的管控是）：其特色是在该关系中，影响的管控是按行为来进行奖惩操控。如受访者要避免访问中不愉快的按行为来进行奖惩操控。如受访者要避免访问中不愉快的互动，获得访员的赞赏、愉悦，但结果不一定理想。互动，获得访员的赞赏、愉
23、悦，但结果不一定理想。角色认同（角色认同（identification）：这类的影响根源于一个人在该）：这类的影响根源于一个人在该关系中对其角色的接受，因此，所表现出来的就如同该关系中对其角色的接受，因此，所表现出来的就如同该角色所预期的一样。如，调查中探讨所谓好市民，就以角色所预期的一样。如，调查中探讨所谓好市民，就以社会所认知、期待的好市民角色来响应问题，事实上，社会所认知、期待的好市民角色来响应问题，事实上，对研究结果无益。对研究结果无益。内化性（内化性（internalization）：影响之所以发生是因为某种行为和一）：影响之所以发生是因为某种行为和一个人的自我价值产生连结。如，受访
24、者是访问为一种达成个个人的自我价值产生连结。如，受访者是访问为一种达成个人目标的方式，或是学习更多重要的社会议题，和角色认同人目标的方式，或是学习更多重要的社会议题，和角色认同有些接近。有些接近。第31页，共83页。受访者对于访问的定位受访者对于访问的定位要评估Kelman的三种类型是否对访问有帮助，则应先知道有关受访者对访问的定位，有两大法则。法则一：受访者对调查信息了解的多寡有很大的差异有很多人士在对调查资助者极其目的了解有限的情况下参与调查。法则二：在受访者的生活中，访问工作不是件很重要的事件。因此，常轻忽调查者所给予的相关资料。受访者是否感觉到、想到或知道访问对数据质量会造成任何差异？
25、关键在于，受访者对扮演其角色最好的方式，就是对作正确的报告有较清楚的认识。第32页，共83页。访员与受访者的关系访员与受访者的关系在信息程度不均的情况下，大部分受访者对调查的背景和目的的了解有差别，而对访员的反应大概是绝大多数的受访者接受访问意愿最重要的关键。除此之外，和访员的关系也会对他在测量过程的表现上有主要的效应。访员和受访者理想的角色关系有很多不同，如信任、尊敬、专业、权威甚至是对立。对很多受访者而言访员是他们参与访问最重要的原因。访员和受访者间的互动，基本上应该还是一种专业型态。主要的焦点放在访问工作，而且受访者对人际吸引的关心应减到最低。归纳起来，较希望的是和善、专业的关系，访员在
26、此关系中受到信任与尊敬，却也是能够接受而不加批判的专业性（有心理治疗师或谘商人员的影像）。第33页，共83页。为受访者设定标准为受访者设定标准 证据显示，访员对受访者传达他们该如何在访问中表现的标准，对访问所得的数据有主要的影响。受访者表现的标准也是个问题，是严肃的测量过程？还是只简单填个问卷？要精确的答案？还是一般的想法？是一般谈话？还是严谨的社会科学研究，讲求精准？若访员表现出要求确切的答案，则调查质量较一般的想法为佳。访问过程中访员进行的速度的快慢，会影响受访者提供确切的答案。第34页，共83页。Cannell四种改善报告质量的策略四种改善报告质量的策略增强：如，答的理想，访员说正面、鼓
27、励的话。反之，访员就不增强：如，答的理想，访员说正面、鼓励的话。反之，访员就不予以积极的响应。经过设定的增强程序，比访员自行的增强行为予以积极的响应。经过设定的增强程序，比访员自行的增强行为佳。佳。模型示范（模型示范（modeling）：）：Hensen（1973）认为要向受访者）认为要向受访者传达他们被期望的表现方式，最好的方法就是做一个示范。如，传达他们被期望的表现方式，最好的方法就是做一个示范。如，以录音带告诉受访者，一个希望达成的访问是什么样子。以录音带告诉受访者，一个希望达成的访问是什么样子。标准化指导（标准化指导（standardized unstruction）：让访员在访问）：
28、让访员在访问之前先对受访者念一份指导说明，这大概是最直接的方之前先对受访者念一份指导说明，这大概是最直接的方法，来确定访员对所有受访者设定了同等的高标准，这法，来确定访员对所有受访者设定了同等的高标准，这对教育程度较高者特别有用。对教育程度较高者特别有用。承诺（承诺（commitment）：访员要求受访者给一个承诺，若）：访员要求受访者给一个承诺，若不，访问就结束。事实上不承诺者少，且回答质量提高。不，访问就结束。事实上不承诺者少，且回答质量提高。第35页，共83页。结结 论论最直接可帮助访员设定标准的三个方法一、标准化的指导说明二、要求口头承诺三、坚持访员要放慢速度访问第36页，共83页。标
29、准化访问中标准化访问中题目设计的角色题目设计的角色第37页，共83页。一个研究者若要确保标准化的访问，最重要的方法之一，就是给访员容易问也容易答的题目。访问的明细做的越好，访问的工作也就会越好。最会产生访员效应的题目，就是那些必须由访员辨识、判断才会得到适当答案的题目。第38页，共83页。题目内容题目内容影响访员的题目内容有两类一、题目的敏感性二、题目是询问态度、意见或是事实性的答案 Kish（1962）：态度或意见性的题目，比事实性的题目较容易受访员的影响。因事实性的题目（可以被独立检验的过去事件或是现在的状况）是根源于某种客观的现实，相对的，有关态度和意见的题目，除了受访者之外，没人可以去
30、验证或观察到。意见性的题目较难回答，是因受访者对该主题较不可能有已发展成熟的意见，结果就会显著受到访员的影响。第39页，共83页。题目型式题目型式题目型式最明显的差别是在受访者是否给于一组答案，从中挑选（封闭式或固定响应题目），或是要求用自己的话来回答（开放式题目）。后者较可能产生访员效应。第40页，共83页。提问提问-答题的过程答题的过程八种与测量过程有关联的行为一、题目是否逐字被念出二、访员是否正确的追问以获得适当的答案三、访员是否引导追问的方向四、当需要去追问适当的答案时访员是否没有去做追问五、（只针对开放式题目）访员是否逐字纪录答案六、访员是否对受访者的答案给予不当的回应七、访员是否涉
31、及不妥当的交际行为八、在问答的过程中是否有谈笑第41页，共83页。访员特定行为之发生与访员特定行为之发生与Rho间之影响关间之影响关系排序系排序一、没有去追问二、没有完整或正确的逐字纪录开放性问题三、正确的追问四、引导性的追问 另一影响原因是访员纪录误差的可能性第42页，共83页。追问的相关因素追问的相关因素开放性题目比封闭式题目更需要追问意见性的题目比事实性的题目更需要追问困难度高的题目及意见性的题目易引起引导性的追问第43页，共83页。标准化测量的特定威胁标准化测量的特定威胁一、所涉及的要点数目：较易发生在开放性题目。例，从您的观点看，住在这附近您最喜欢的一些事情是什么。具多重回答性。二、
32、隐藏性筛选题目：例，您去年读过最好的一本书是什么？至少含两个题目。三、在题目中不清楚的名词：在题目中含有定义不清的名词，特别容易产生访员效应。四、不清楚的响应期望：题目的措词中，无法确定什么是构成适当响应的内容。例，您从什么来源得到最主要的健康信息。何谓来源？交谈、阅读、电视？若是阅读，是哪一类书？杂志、书籍、报纸.。五、田野中过录的答案：也就是题目用开放的型式来询问，但是访员被要求用过录码来作纪录。真正的问题在于，受访者不知道访员判别的标准是什么？访员也未被给予标准化的策略来提供受访者一些答题的线索。目前对此法采较保守的态度。第44页，共83页。设计调查工具以减低访员效应设计调查工具以减低访
33、员效应要降低访员效应，可将受访者答题所需要知道的放到题目里，也就是在拟写题目时，提供访员完整的脚本。四个指导方针：一、一个好的题目设计，对关键名词要确示其定义二、对于隐藏性筛选题目，要特别留意，使之更明确，将会有更标准更好的测量。三、研究者拟写题目时将对答案的期望更明确表示出来，以减低访员相关的误差。四、在回答开放性问题时，访员和受访者在所涉及的重点数目上的变异性应该要控制，也就是明示答案需要几个重点。第45页，共83页。指认题目问题的策略指认题目问题的策略一、焦点讨论团体（focused discussion groups）：最古老、也是最好的方法之一。藉由小组讨论的过程在调查涵盖的范围内，
34、讨论每个人的经验或意见。二、认知研究技术（cognitive research techniques）：受访者在调查的前测版本中，被要求将其思考过程大声的讲出来。研究者从人们对其题目的理解及思考方式中，可以确认一些题意不清或在回答上会遭遇困难之处。另一方式是进行两次，比较两次之差异。三、使用前测访问（use of pretest interviews）：给访员更多的训练，目标是培养他们对题目的敏感度，包括不容易逐字念出的题目，以及通常需要追问、澄清题意，以取得适当答案的题目。四、录音纪录并过录（tape recording and coding）：将至少25次（以取得测量的稳定性）的前测录音，
35、寻求访谈过程与追问之关联行为。第46页，共83页。结结 论论Bradburn 和Sudman（1979）：要减低访员效应，最好的方法就是写更好的题目。写更好题目的关键步骤，就是要小心仔细、酝酿完全后在调查之前并先预试所有的程序。第47页，共83页。访员的选择与访员的选择与访员的相关误差访员的相关误差第48页，共83页。访员的特性应从三方面思考：访员的特性应从三方面思考：一、有些访员会比其它人更胜任问答的过程二、某些特定的访员特性可能会改变题目的意义或脉络三、访员特性可能会影响访员与受访者关系的质量访员特性及其表现访员特性及其表现 一个良好的访员，有些特性是必要的 起码要有良好的读写能力 具专业
36、领域知识的访员未必是最恰当，因一个普通的访员，不必去维持专业之能的假象，可以尽量去做非引导性的追问，直到答案清楚为止。第49页，共83页。访员特性及访问脉络访员特性及访问脉络 访员特性：年龄、性别、种族、教育程度、社会阶级、族群及宗教背景 较有影响者：宗教信仰或族群，种族访员与受访者的关系访员与受访者的关系 比受访者社会地位与教育程度较高的访员，会有较好的报告品质。Weiss的研究中，两项重要的结论：一、人口特征的相似性，对测量质量并非是一个正数。二、人际关系与人际吸引也未必是正数，对调查资料反而可能会有负面的影响。第50页，共83页。访员的年龄访员的年龄目前数据显示，没有影响。访员的性别访员
37、的性别 普遍对女性访员的评价较高（但目前男性访员较少，会影响统计）。但无证据显示女性访员的报告较好或资料较不一样。第51页，共83页。结结 论论访员特性和访员相关误差之间的关系，很少能建立起来。但是，如果调查的主题是直接和访员的某些特性是相关的，可能会导致受访者会顾虑到某些答案的选项对访员会是一种直接的侮辱，侵犯或令之尴尬。那研究者就要认真的考虑要控制这些特性。关心如何减低访员的相关误差，与其把重心放在访员的选择，不如将重点放在访员的训练和督导上面。第52页，共83页。访员的训练访员的训练程馥慧程馥慧第53页，共83页。训练的选择训练的选择访员的工作有：1.接触受访者，请求合作2.与受访者建立
38、关系3.处理问答的过程4.记录答案督导员的训练有：1.访员手册2.演讲3.示范4.模拟练习5.训练后，监督其访问表现并给予评量和回馈所有在做第一次正式访问之前的指导活动都算是训练训练时间的长短-和训练的内容、技巧、成本有关训练方式对访问工作的影响：1.访员对其工作的认知2.访员的技能3.访员与受访者的关系、受访者对访员的反应4.所搜集数据的质量?第54页，共83页。对训练访员价值的研究对训练访员价值的研究研究案例研究案例研究对象：招募五十七名没有专业访问经验的访员，分别安排在四场训练小组(为期一天、二天、五天、十天)研究条件：训练前皆先给予手册自行研读，每场所教导的访问技巧一致、传递的讯息一致
39、，差别在访问程序的练习、对程序背景的了解程度，随天数增加而更广泛研究目标：检视是否较长、较密集的训练经验有其价值第55页，共83页。训练在访员对其工作认识上的效果训练在访员对其工作认识上的效果研究结果：访员对训练经验的感想-*训练时间越长-访员越会将训练评定为重要讯息来源*训练时间越短-访员越会将访问手册评定为重要讯息来源访员自觉准备充分的程度-*受训练最少的访员，自己感觉准备程度和他人相同*受训练最少的访员，最困扰的是如何去追问访员对处理事情优先级的认知-*各组皆认为得到正确、完整的答案是最优先的原则；但接受长时间训练者比训练时间短者，将标准化的优先程度评定的更高*接受二天训练者，最不愿当访
40、员第56页，共83页。访问技巧访问技巧可由以下的方式去了解访员的访问的技巧：1.要求访员回答受访者可能会问的问题2.和受访者的访谈3.在训练完成后所做访问练习的录音记录?第57页，共83页。受访者对访员的感觉受访者对访员的感觉访员对工作越熟练，访问时就越有自信，表现上亦越被评为专业访员训练强调工作取向(避免与受访者产生私人性关系，而导致偏差)受访者对训练时间不同的访员(一、二、五、十天)的评分：1.访员要求确切的答案2.访员有杰出的工作表现*评分上无显著差异受访者对于访员的行为并不敏感第58页，共83页。训练对数据质量的影响训练对数据质量的影响在此研究中对于数据质量有两方面的测量-(1)层内相
41、关系数(测量访员和所得数据的相关程度，即访员标准化程度)(2)偏误测量(访员受训程度和所得答案偏误多寡的相关程度)*在标准化方面-最标准化的是二天训练，一天和十天训练者比起二天和五天者差十天的训练并不能改进访员标准化程度*在偏误改进方面-训练十天者偏误最少，一天和五天者相同关联性难下定论第59页，共83页。结结 论论访员对一般访问技巧有模拟练习，才能成为可胜任的访员。处理人际互动：访员训练时间的长短，对人际互动上没有很大差异处理问答过程上：训练短者自觉准备不充分追问技巧上：训练短者在追问技巧上表现不佳标准化无偏误：以接受二天训练表现最佳第60页，共83页。结结 论论(续续)以此研究案例而言，接
42、受二天训练的访员，自认为准备不够，对访问工作的喜爱程度最低(自信心不足)。接受十天训练的访员，搜集资料上比二天、五天者更不标准化，访问质量也较差(长时间导致疲乏、反效果)。访问训练最佳时间长度，应视其小组大小、研究计划类型的复杂度、训练后所接受的督导类型而决定。第61页，共83页。对访员的督导对访员的督导第62页，共83页。調查機構對訪員工作進行督導的事項調查機構對訪員工作進行督導的事項1.工作量2.工作时数3.得到的回答率(成功完成访问的百分比)4.完成访问的质量5.处理访问过程的方式6.与受访者互动情形第63页，共83页。督导的信息督导的信息电话督导(监听)有效的电话监督：1.必须固定且经
43、常性的监督每个访员完整的一次访问2.监督的工作应由经过训练者担任3.监督的同时须填写有系统的量表4.监督后立即与访员会谈，提供实时的回馈面访督导(陪同访问、录音)原则上应让督导员陪访员做一二次的访问，但碍于时间和经费，现多要求访员将所有或部分样本的访问录音。录音监督的建议：1.要求访员将某段时间的所有访问都录音(督导选择性较高)2.(同上2.3.)对访员行为的各个面向做评分3.须使访员追忆当时情况，提供实时的回馈第64页，共83页。监督表格监督表格访员姓名：_ 监督员：_题号从_到_ 回馈日期：_ 评分：_A)介绍：求证电话号码【】是否为住宅电话【】B)陈述：姓名【】资助者【】目的【】C)解释
44、：保密性【】自愿性【】可跳题【】?1.确实的按照问卷所写的问题 20【】完全正确不正确的问法不正确的问法_ 15【】1-2题不正确题不正确10【】3-5题不正确5【】5题以上不正确?2.适当且非引导性追问 20【】完全正确引导性或不适当引导性或不适当(列举题目及列举题目及 15【】1-2题不正确题不正确追问方式)_ 10【】3-5题不正确5【】4题以上不正确?3.在须要时未能做追问 20【】完全没有题号题号_ 10【】1-2次失败次失败0【】3次以上失败4.不正确跳题 20【】完全没有题目题目_ 10【】1-2个错误个错误0【】3个以上错误5.对答案做不当的个人或评断性回馈 20【】完全没有题
45、目题目/评论评论_ 10【】1-2次次0【】3次以上6.速度 20【】适中10【】普通普通0【】快或慢_第65页，共83页。监督访员的效果之研究监督访员的效果之研究督导效应：l?访员对工作的认识l?受访者的效应l?访问的技巧l?所得数据的质量第66页，共83页。在延续上一章节的研究个案，将督导分为三级：第一级督导第二级督导第三级督导访员所收到的回馈仅限于对访员的生产力、开销、投入的时数、获得的回答率。同前(对访员的生产力、开销、投入的时数、获得的回答率。)再加上一份对已完成访问明细的评量结果。同前两级之外，再要求访员将所有访问录音，每周至少有系统的评量一份被录下的访问。第67页，共83页。访员
46、对工作的认识访员对工作的认识究竟访员是否会注意到他们在不同程级的督导下，所收到的回馈内容是否会有差别呢？答案是有差别的，接受第一级督导的访员对督导回馈的评定较不重要。访员接受不同回馈程度，会影响他们对研究机构所在意事项的认知。第68页，共83页。录音对受访者的效应录音对受访者的效应假设1.受访者不喜欢被录音，录音会对受访经验产生负面影响假设2.录音会影响访员的行为*从受访者的访谈中，没有证据显示录音会产生负面影响；唯一有显著差异的是，受访者认为：接受训练时间短、及被录音的访员 表现较为紧张。*录音对于访员质量的控制是可行的。第69页，共83页。对访员技巧监督的效应对访员技巧监督的效应监督和回馈
47、并不能改善访问的技巧，访员在训练结束时所表现的能力水平就是他们的最佳状况。监督仅能确认技巧有被使用-JUST KEEP IT(NOT CHANGE IT)第70页，共83页。对数据质量监督的效应对数据质量监督的效应被判为可能有系统性偏误的所有项目及平均标准分数(X1000)的层内相关-依督导级数分督导级数督导级数数据指针的质量数据指针的质量一二三1.层内的相关层内的相关.012.010.008*2.标准分数标准分数(偏误偏误)所有训练小组所有训练小组4520*标准分数标准分数(偏误偏误)不包括训练少于一天不包括训练少于一天的的0434*注：*t=1.6，第三级vs.第一、二级，P.05，单尾检
48、定，分数低表访员效应小*t=1.0，第三级vs.第一、二级，P值不显着，分数高表偏误小*t=1.8，第三级或.第一、二级，P.04，单尾检定，较大值表偏误小第71页，共83页。P值p值（p值小于0.05）的意义：有显著差异研究设立成立主任在讨论区中对值的解释：话说在计算机的报表中常会出现p值这个统计考验量数，它指的是虚无假设（null hypothesis，常以H0表示）被接受（或说为真）的情况下，所得到的一个不小于此统计数值的机率值。若检定结果接受虚无假设（p值显著水平），则推翻原本真正要检定的研究假设（research hypothesis，常以H1表示）而如果经检定是拒绝虚无假设的话（p
49、值显著水平），则原本的研究假设得以成立。注：在统计学理上有一个叫做显著水平（level of significance）的，在统计分析的报表上往往以?第72页，共83页。测量方式测量方式(1)层内相关系数(rho)：访员对数据的影响程度(某个推估值之变异量和访员的关系程度)，如果rho系数很小，那表示变异量并非由访员所引起，此时访员的质量便获得证实。rho（层内相关系数）在三个督导层级分别是 0.0120.0100.008，且经检定后发现 p值小于0.05，所以各层级间存在差异，亦即依层级的改变，访员效应有显著减少现象这个命题是可成立的，故可得出督导级数越高越严谨越细致执行考虑因素越多，则访员
50、效应引发对数据正确性之影响就越小，亦即rho会随督导层级而逐渐改善第73页，共83页。测量方式（续）测量方式（续）(2)偏误测量：访员受训程度和所得答案偏误多寡的相关程度。密集式的问卷检阅和访问录音效果对于所有训练类组上的影响是代表下方提及的t=1.0，第三级vs.第一，第二，p值不显著可判断在各督导层级间并未有明显差异。在标准分数（不包括训练天数少于一天的）这个项目，可参见表下方提及的t=1.8，第三级或第一，第二，p值小于0.04 可判断在各督导层级间有明显差异，且是较大值表偏误小，亦即访员的偏误大都来自接受训练少于一天但被录音者去除训练少于一天者为34所有训练小组的20，3420，偏误变
