1、新闻传播学量化研究方法 第五讲 实验法2同学报告同学报告老师点评老师点评 Zhu&He的论文中关于 adoption&use的问卷设计2.请根据你围绕着你感兴趣的研究选题 设计一份只有10个问题的问卷 但是，要麻雀虽小，五脏俱全 尽可能地操练我们所学习到的各种量表 并且，对问卷的信度与效度进行自我评估3什么叫实验？什么叫实验？现实生活现实生活中我们每天都在做实验/试验，我们许多技能都是通过实验习得自然科学自然科学研究中实验习以为常社会科学社会科学研究中的实验是我们确定变量之间因果关系最直接、最有效的方法在传播效果研究中应用最为普遍：说服、电视暴力、priming&framing 4实验的相关概
2、念实验的相关概念社会科学实验：社会科学实验：研究者有目的地通过操纵自变量自变量，控制无关变量控制无关变量，引起因变量因变量的改变自变量自变量：又称实验变量、刺激变量（stimulus）、解释变量 即，被实验者操纵变换的那个东东控制变量控制变量：那些和实验目的无关，但是又有可能影响实验结果的东东 所以必须控制起来，即，在实验过程中尽量保持不变因变量因变量：实验者希望通过导入不同的刺激而引起其变化 （有的时候也不会变化）的那个东东。5实验实验法能法能一锤定音地一锤定音地证明因果关系证明因果关系必要条件一：时序上，先有因后有果。必要条件一：时序上，先有因后有果。实验法可以做到：先给与刺激，后观察结果
3、必要条件二：两個变量之间具有实证相关性。必要条件二：两個变量之间具有实证相关性。实验法可以做到：比较前后之间的差别必要条件三：两個变量间的实证相关不是因为第三个变量的存在而存在。必要条件三：两個变量间的实证相关不是因为第三个变量的存在而存在。实验法可以做到：除了实验组，还有控制组6课堂讨论：课堂讨论：如果你要研究媒介暴力对儿童的影响什么是自变量？什么是控制变量？什么是因变量？7实验法的分类实验法的分类根据实验环境的不同，分为根据实验环境的不同，分为：1.实验室实验法：一个严格可控的环境内 比如：把实验对象召集到一个多媒体教室来 请他们看不同版本的耐克广告，看完才可以走 2.准实验室实验法：一个
4、相对自由但又非绝对自然的环境 比如：在校园行政楼的大屏幕电视上播放不同的广告 3.现场实验法：一个完全自然的环境，发生在现实生活中 比如：在电视节目中播放不同的广告8实验法的分类实验法的分类根据实验对象的分组，分为：根据实验对象的分组，分为：1.单组实验法：从头到尾只有同一个组的人参与实验 比如，在A、B、C、D四个商场，检查耐克广告的促销效果实验商场广告播放前销售额广告播放后销售额变动A20002400+400B13002200+900C26003400+800D59008000+2100思考：思考：单组实验法的弊端？！上述表格数据的不足？9实验法的分类实验法的分类根据实验对象的分组，分为：
5、根据实验对象的分组，分为：2.对照实验法：将实验对象分为实验组和控制组 仅对实验组予以刺激（改变自变量）根据不同的目的，可以有多个实验组组别广告播放前一个月销量广告播放后一个月销量变动量实验组（A、B、C）X1=1000Y1=1600600控制组（E、F、W）X2=1000Y2=120020010经典的传播学实验设计经典的传播学实验设计实验组实验组控制组控制组2.招募志愿者3.进行分组：随机/配额/匹配分组4.展开前测：问卷/观察5.给予刺激：接触媒介内容/信息实验组实验组O1控制组控制组O1实验组实验组O2控制组控制组O26.展开后测：问卷/观察7.前后比较，验证效果1.在文献综述的基础上，
6、进行概念化，提出实验假设11以王晓华老师来源可信度实验为例以王晓华老师来源可信度实验为例1.1.假设的提出：假设的提出：根据文献回顾，同样的信息由不同的媒体发布 在受众中获得的信任度也会不同2.2.招募志愿者：招募志愿者：在某天晚上来到文科楼的6个教室 征得任课老师同意，在课间十分钟进行实验3.3.进行分组：进行分组：6个教室中，随机抽取1个为控制组，另外5个为实验组4.4.展开前测：展开前测：通过问卷调查，测量参与者对不同媒介的接触情况 对来源可信度和内容可信度的评价 参见问卷一12以王晓华老师来源可信度实验为例以王晓华老师来源可信度实验为例5.5.给予刺激：给予刺激：针对5个实验组 分别发
7、放内容相同但来源不同的材料 针对1个控制组 发放只有内容没有来源的材料6.6.展开后测：展开后测：通过问卷调查，测量参与者对所看到的材料中 各条新闻和广告的可信度的评价 参见问卷7.7.利用统计工具，展开前后比较及组间比较利用统计工具，展开前后比较及组间比较请观看实验的相关视频请观看实验的相关视频13课堂讨论：课堂讨论：这项实验的各个环节设计是否完美？可能存在哪些问题？你觉得可以怎样弥补？14社会科学实验可能面临的巨大风险社会科学实验可能面临的巨大风险伦理道德风险：伦理道德风险：实验对象是“人”！一旦造成破坏，将无法弥补！比如：媒介暴力对儿童的影响对策：实验后的debreifing外在无效度：
8、外在无效度：实验室环境下的发现 往往不能推广到现实世界而且传播效果研究的实验往往考察短期效果从长期来看，是否还能有这样的效果？对策：对策：“自然”实验法、拉长实验周期15延长实验周期给实验结果带来的改变延长实验周期给实验结果带来的改变娱乐明星Kate Smith在二战期间通过广播节目18小时内推销出3900万战争债券霍夫兰等人研究表明，她的成功是因为“她被视作是值得信赖的人”受此启发，他们设计了一项实验：1.给每个参与者一本小册子里面有4个主题2.前测：前测：测量他们对4个主题的看法3.刺激：刺激：告诉一部分人消息的来源可信度高 告诉另一部分人消息的来源可信度低4.后测后测1：立即测量他们对4
9、个主题的看法5.后测后测2：4周之后再测量他们的看法16延长实验周期给实验结果带来的改变延长实验周期给实验结果带来的改变02468101112141618202224高可信度低可信度立刻测量4周之后测量实验发现：1.即时说服效果：高可信度来源所带来的态度改变明显高于低可信度来源2.但是，4周之后再测量，发现两组之间的差别不大3.睡眠者效果/sleeper effect：低可信度来源所带来的改变在4周之后会显著增加因为随着时间的流逝，人们会忘记消息源，仅记住观点本身17可能影响实验内在效度的因素可能影响实验内在效度的因素1.控制变量没有被控制起来控制变量没有被控制起来实验过程中发生了重大事件、实
10、验参与者自身发生了改变实验参与者敏感地觉察到研究者的目的，主动迎合或主动抵抗前测对后测产生了影响2.测量工具或测量方法效度不高测量工具或测量方法效度不高无论是使用观察法还是问卷调查法来测量实验的结果都有可能存在效度问题以媒介暴力的影响为例，你打算用什么手段做前测？什么手段做后测？它们的效度有保证吗？18可能影响实验内在效度的因素可能影响实验内在效度的因素3.分组的问题分组的问题选择偏见选择偏见selection biases:无论是随机、配对还是配额方法进行分组作为实验者，我们无法保证实验组和控制组之间完全可比实验死亡率实验死亡率experimental mortality：实验参与者可能中途
11、退出4.实验进行过程中的问题实验进行过程中的问题控制组对实验组的模仿：控制组对实验组的模仿：使得实验效果被拉平补偿：补偿：出于对控制组的“亏欠”人们不自觉地对他们进行补偿，从而干扰实验效果补偿性竞争：补偿性竞争：控制组的人发现实验组受到特别关照 内心不平，额外努力自暴自弃：自暴自弃：控制组发现自己被忽视，自感堕落19可能影响实验内在效度的因素可能影响实验内在效度的因素5.统计上的问题统计上的问题统计上，存在向平均数回归的趋势向平均数回归的趋势即，已经很差的小组，不可能再差了，即便不受到实验刺激，他们都有可能变得更好同理，已经很好的小组，不可能更好了，即便受到实验刺激，他们都有可能变差或不变在知
12、识沟研究中，如果选取极端组（特别差或特别好）作为实验对象就很有可能被误导，得到错误的结论当两类儿童收看当两类儿童收看芝麻街芝麻街的次数的次数都非常多的时候，两者之间差异会缩小都非常多的时候，两者之间差异会缩小1601208040最少较少较多最多优势儿童弱势儿童20霍桑效应霍桑效应&皮格马利翁效应皮格马利翁效应霍桑效应：霍桑效应：1930年代，研究者试图通过实验发现工作条件与生产量之间的关系他们先改善车间照明，生产量显著提高但是，当他们把照明调低之后，生产量还是显著提高！WHY？皮格马利翁效应：皮格马利翁效应：1960年代，研究者到美国西部一所学校，对学生进行了一次测试“Harvard test
13、 of inflected acquisition”将成绩告诉给老师，并说成绩高的同学学习能力强，进步潜力大结果，半年后，这些学生果然突飞猛进事实上，所谓的测试是一个骗局，研究者只是随机给分！WHY？21为弥补实验中可能存在的缺陷：所罗门四组实验设计为弥补实验中可能存在的缺陷：所罗门四组实验设计第第1组组 前测 刺激 后测第第2组组 前测 后测第第3组组 刺激 后测第第4组组 后测1234数值1显示出自变量的影响，2显示出控制变量的影响3显示出考虑到控制变量的影响后自变量的影响3-4显示出前测对后侧的影响22课堂讨论：以媒介暴力对儿童的影响为例课堂讨论：以媒介暴力对儿童的影响为例 所罗门四组设
14、计的数据应该是怎样的？所罗门四组设计的数据应该是怎样的？第第1组组 前测 刺激 后测第第2组组 前测 后测第第3组组 刺激 后测第第4组组 后测4013936125212134812周老师的研究个案互联网研究中实验法的应用初探1.搜索引擎是使人变傻还是变聪明？2.新媒体传播的谣言有人信吗？24搜索引擎研究之缘起搜索引擎研究之缘起课堂提问的尴尬场景：课堂提问的尴尬场景：老师，等我搜一下十一岁侄子的上网习惯：十一岁侄子的上网习惯：记不住任何网址，直接百度之2008年，IT评论家尼古拉斯卡尔（Nicholas Carr）在大西洋杂志（The Atlantic）发表Google让我们变傻了吗？互联网正
15、在对我们的大脑做什么 25争鸣争鸣学界忧心忡忡：学界忧心忡忡：Sven Birkerts（1994）从文化历史学角度批判了电子阅读方式，指出它可能导致“短期记忆库的扩张和相应的长期记忆的萎缩”发展心理学家Maryanne Wolf（2007）也撰书从科学角度论证了这种可能性 业界普遍乐观：业界普遍乐观：维基百科的创始人之一Larry Sanger认为个人意志可以决定我们在阅读和思考时候的认知能力(2008)计算机学家Jaron Lanier则指出科技会朝着它自主选择的方向独立发展（2008）实证研究刚刚起步：实证研究刚刚起步：互联网对年轻一代的大脑（认知：信息的获取/编码/储存/提取/使用）产
16、生什么影响？26从传播学角度展开研究从传播学角度展开研究将搜索引擎视作一种媒介将搜索引擎视作一种媒介，而不是信息工具麦克卢汉：媒介即讯息媒介即讯息相对于其他互联网服务，人们对搜索引擎的使用更加积极主动、目标明确、需求导向更加积极主动、目标明确、需求导向使用与满足理论对媒介效果的假设（Rubin,1994)：需求越强烈的媒介使用，越容易产生媒介效果需求越强烈的媒介使用，越容易产生媒介效果27研究框架研究框架问卷调查法问卷调查法RQ1：大学生群体是如何使用搜索引擎的？RQ2：使用搜索引擎可能给大学生的认知能力带来哪些方面的影响？控制实验法控制实验法H1：使用搜索引擎的小组所获得的认知效果不如使用书
17、籍的小组。H2：当人们的信息需求强烈的时候，使用搜索引擎和使用书籍所产生的认知效果差异最为显著。信息需求搜索引擎使用认知影响研究对象：大学生研究对象：大学生在搜索引擎环境下成长起来的新一代28问卷调查问卷调查The Center for Media&Social Changes在深入访谈基础上，设计一份在深入访谈基础上，设计一份大学生搜索引擎使用调查问卷大学生搜索引擎使用调查问卷内容涵盖大学生的搜索引擎使用历史、使用习惯、对搜索引擎的评价由16个小问题组成的量表，测量搜索引擎对认知的影响在深圳大学进行调查，回收在深圳大学进行调查，回收203份有效问卷份有效问卷男：女=45%：55%大一、大二、
18、大三、大四同学各占30%、29%、26%、15%专业分布则涵盖了文、理、工、商、法等各个学院 29调查发现调查发现1The Center for Media&Social Changes100%80%60%40%20%0%搜索引擎陪伴着他们度过了认知能力发展的关键时期有理由相信搜索引擎可能对他们的认知产生深远影响 30调查发现调查发现2The Center for Media&Social Changes搜索引擎成为信息获取的首选方法：搜索引擎成为信息获取的首选方法：需要学习信息时：68%的学生将搜索引擎作为首选方法需要生活资讯时：47%的学生将搜索引擎作为首选方法但是大学生未能对搜索来的信息
19、进行充分的消化整理，融会贯通但是大学生未能对搜索来的信息进行充分的消化整理，融会贯通31调查发现调查发现3The Center for Media&Social Changes对16个小问题组成的认知影响量表的因子分析显示，搜素引擎会从五个维度五个维度影响大学生的认知能力：渗透到认知的各个环节：从信息获取（求知维度和探索维度求知维度和探索维度）到信息编码、贮存（记忆维度记忆维度）再到信息提取和应用（思维维度和习惯维度思维维度和习惯维度）最终，由14项问题组成的影响指标（14-56），平均值39.36（SD=5.83）求知维度尽管知道书上有相关知识，还是更愿意上网搜而不是翻书找 .513在课堂上
20、被老师提问的时候，恨不得可以上网搜一下 .649无论什么问题，上网一搜准能找到答案 .596既然什么都可以搜到，就不必费神去死记硬背太多东西了 .740探索维度去一个陌生的地方之前，先上网搜一下 .737和朋友讨论一个不熟悉的话题之前，先上网搜一下 .648思维维度写作业之前，先搜一下 .733写作业对个别字句没有把握的时候，用搜索引擎搜一下 .782用惯了搜索引擎，越来越难写出自己的观点 .517 习惯维度电脑的默认主页是搜索引擎/上网的第一件事是打开搜索引擎.648挂在网上无所事事的时候，会随便想个词条上网搜一搜 .706会用搜索引擎搜一下自己或同学老师的名字 .523记忆维度要上某网站，
21、不是凭记忆输入网址，而是用搜索引擎搜出来 .789这次用搜索引擎搜来的信息，下次还是记不住，还得再搜 .78332实验设计实验设计小样本的问卷调查小样本的问卷调查让我们初步相信搜索引擎会对大学生产生认知效果到底效果如何？可通过控制实验控制实验来予以检验针对同一年级同一专业同一课程的针对同一年级同一专业同一课程的113名学生进行实验名学生进行实验2（使用搜索引擎vs使用书籍）2（信息需求强烈vs信息需求不强烈）布置学习任务并告知半小时后考试考试得分计入计入期末成绩布置学习任务并告知半小时后练习练习得分不不计入期末成绩使用搜索引擎组使用书籍组闭卷完成考试使用搜索引擎组使用书籍组闭卷完成练习一周前完
22、成前测问卷甲班48人乙班55人33实验发现实验发现1H1被拒绝被拒绝汇总两班级数据，使用搜索引擎的同学（n=51）的认知效果为7.18（满分为12分），使用书籍的同学（n=52）的认知效果为7.71两组之间的认知效果差异为两组之间的认知效果差异为-0.53，p=.11，不具有统计显著性，不具有统计显著性 但但H2获支持获支持在信息需求强烈的情况下（考试班），使用搜索引擎的认知效果显著低于使用书籍的认知效果（差距差距=-1.34，p=.03*）在信息需求不强烈的情况下（练习班），两组之间无显著差异34实验发现实验发现26.737.648.067.2666.577.588.5考试班练习班搜索引擎组
23、书籍组35实验发现实验发现3信息获取：学生未能充分深入地使用搜索引擎信息获取：学生未能充分深入地使用搜索引擎实验中通过抓屏软件抓屏软件对搜索引擎小组打开的所有网页进行了记录，发现：大多数学生只是使用关键词（抽样、抽样方法）在百度上搜索一两次就满足了，而且，在查看搜索结果的时候，大部分学生只看了排名最靠前的几个网页 信息加工影响书籍组的认知效果，但不影响搜索引擎组的认知效果信息加工影响书籍组的认知效果，但不影响搜索引擎组的认知效果书籍组中，做笔记的同学成绩比不做笔记的同学成绩高1.71，p=.01*搜索引擎组中，不存在显著差异面对考试，女生通过搜索引擎获得认知的能力强于男生面对考试，女生通过搜索
24、引擎获得认知的能力强于男生信息需求强烈时，男生使用搜索引擎的认知效果比女生低2.48，p=.02*看书组中，男女之间并无显著差异 36实验发现实验发现4The Center for Media&Social Changes信息加工对练习班两组认知差异的影响信息加工对练习班两组认知差异的影响搜索引擎组（n=25）看书组（看书组（n=23）做笔记（n=12）不做笔记（n=13）做笔记（做笔记（n=8）不做笔记（不做笔记（n=15）均值7.587.698.386.67方差1.621.541.192.02组内差异0.11,n.s.1.71*搜索引擎组（搜索引擎组（n=26）看书组（n=29）男（男（n
25、=13)女（女（n=13)男（n=8)女（n=21)均值5.468.007.128.42方差2.502.702.412.11组内差异-2.48*-1.30,n.s.性别对考试班级两组认知差异的影响性别对考试班级两组认知差异的影响37结论与讨论结论与讨论问卷调查揭示了长期趋势：问卷调查揭示了长期趋势：搜索引擎的确有可能对大学生产生负面的认知影响五个维度：求知、探索、记忆、思维、习惯控制实验验证了短期效果：控制实验验证了短期效果：搜索引擎的确弱化了大学生（尤其是男生）的认知能力，而且这种弱化不因大学生的主观努力而改观：即便使用搜索引擎的小组具有较强的学习意愿（面临考试）并运用常见的学习方法（做笔记
26、），最终的认知效果还是比不过使用书籍的小组。38新媒体传播的谣言有人相信吗？新媒体传播的谣言有人相信吗？The Center for Media&Social Changes传统谣言多在熟人之间通过口耳相传：传统谣言多在熟人之间通过口耳相传：可信度高而现在，谣言多在陌生人之间通过而现在，谣言多在陌生人之间通过QQQQ群、手机短信传播：群、手机短信传播：可信度是否会受到影响：信源可信度？媒介可信度？媒介可信度？验证传播效果的最佳办法：实验法验证传播效果的最佳办法：实验法39实验设计的之天时、地利、人和实验设计的之天时、地利、人和地利：做谣言实验，万一弄假成真可能获罪，要利用校园相对封闭的独特优势
27、地利：做谣言实验，万一弄假成真可能获罪，要利用校园相对封闭的独特优势我在自己教授的两个班级内进行了一次谣言的控制实验控制组（不传播谣言）在周三上午上课实验组（传播谣言）在周四上午上课实验结束后，立刻进行了解释天时：要想谣言有效，不能完全凭空而来，要与时事接轨天时：要想谣言有效，不能完全凭空而来，要与时事接轨2008年12月，我们结合当时“四川柑橘生蛆”的新闻捏造了一则深大学生在买到生蛆橘子的谣言人和：实施实验团队、内应、能够匹配分组的参与者人和：实施实验团队、内应、能够匹配分组的参与者团队：编造谣言、实施实验、现场录像内应：两位知情的班长帮助我们发送QQ谣言、短信谣言参与者：实验组控制组同学都
28、来自同一学院同一年级40实验设计之控制组实验设计之控制组控制组记录吃橘记录吃橘子的数量子的数量为何选周三作为控制组（不传播谣言）？为何选周三作为控制组（不传播谣言）？周三班级没有传谣言，不会影响周四班级的实验反之，如果周三班级做实验组（传播谣言），则周四班级不可能做控制组上课好端端地发水果，如何让学生不起疑心？上课好端端地发水果，如何让学生不起疑心？先故意发放问卷A：内容毫不涉及谣言，仅与新媒体使用有关然后，发放水果表示感谢，顺理成章为什么要香蕉橘子一起发？为什么要香蕉橘子一起发？问卷A41实验刺激物实验刺激物实验刺激一：手机短信谣言实验刺激一：手机短信谣言“啊，中招了！昨天在西门外面水果摊买
29、到的橘子竟然有两条活生生的“蛆虫”，差点把他们吃掉！不久前听说深圳的超市里查出“蛆虫”，自己没太注意，如今却发生在自己身上。涉及安全，事关重大，所以特别向大家提醒。以后吃橘子一定要多注意！”实验刺激二：实验刺激二：QQ群谣言群谣言大家看看之前南都的报道：（标题）“掰开橘肉，虫子在蠕动！”来源：南方都市报 2008-11-07 09:11:00 本报讯(记者 叶淑萍)继上周南山区罗女士买到生虫的橘子后,昨日,家住福田区赤尾村的林小姐致电本报,反映她在人人乐超市购买的橘子中发现了几条白色的蛆。深圳市农业植物检疫站已将生虫的橘子进行采样检疫,是否柑橘大实蝇将在两周后得出结论42实验设计之实验组实验设
30、计之实验组The Center for Media&Social Changes实验组问卷B实验刺激1短信谣言实验刺激2QQ谣言问卷C记录吃橘记录吃橘子的数量子的数量深入访谈公布真相43实验现场照片与视频实验现场照片与视频我们故意在实验当天安排了一场课堂辩论赛然后以拍摄辩论赛为由将整堂课都记录下来了包括进行实验的全过程44实验发现：控制组与实验组之对比实验发现：控制组与实验组之对比吃橘子不吃橘子控制组：31人吃橘子、20人不吃实验组：14人吃橘子、38人不吃45实验发现：为什么相信谣言实验发现：为什么相信谣言对班长发送的短信谣言的相信程度相信谣言的依据46实验发现：不同媒介之间相互转发谣言的过
31、程实验发现：不同媒介之间相互转发谣言的过程短信谣言发送短信谣言发送给了给了5252位同学位同学2424位同学参位同学参与与QQQQ群讨论群讨论在参与在参与QQQQ群讨论之后群讨论之后有有1717位同学相信位同学相信短信谣言的真实性短信谣言的真实性3 3位实验对象将位实验对象将短信谣言转发出去短信谣言转发出去47总结与讨论：互联网研究中的实验法总结与讨论：互联网研究中的实验法在互联网环境下进行实验，不可控因素更多，难度更大在互联网环境下进行实验，不可控因素更多，难度更大实验法必须与其它研究方法有机结合实验法必须与其它研究方法有机结合实验前：问卷调查、内容分析实验中：观察法实验后：问卷调查、深入访谈、焦点小组失败是不可避免的失败是不可避免的失败能否成为失败能否成为“成功之母成功之母”则只有尽人事而听天命了！则只有尽人事而听天命了！48课后作业1这是祝老师做的一个关于电视辩论的影响的实验研究请报告他的实验过程中每一步是怎么做的提出假设招募志愿者分组前测给予刺激后测统计分析为什么祝老师称自己这个实验是“mother of all experiments”？你认为这个实验设计中有哪些天才的做法？从中得到了什么启发？49课后作业2结合你的研究选题，如果你要进行实验法打算怎么做？提出假设招募志愿者分组前测给予刺激后测统计分析可能遭遇哪些困难？打算这么解决？
