传播学社会研究方法-CH2测量、概念化与操作化课件.ppt

1、M.X.Zhang1测量、概念化与操作化：测量、概念化与操作化：在研究者抽象的设想与经验现实之间建立起清晰的联系在研究者抽象的设想与经验现实之间建立起清晰的联系 测测 量量(measure)概念化概念化(conceptualization)操作化操作化(operationalization)M.X.Zhang2你认为这些说法正确吗？你认为这些说法正确吗？现代社会恋人之间爱情的成分越多，物质的成分就越少；现代社会恋人之间爱情的成分越多，物质的成分就越少；反之亦然。反之亦然。当个人的受教育程度提高，其对他人的偏见会显著减少。当个人的受教育程度提高，其对他人的偏见会显著减少。网民的网络技能越高则其从

2、互联网上获益越多。网民的网络技能越高则其从互联网上获益越多。越赞同越赞同“党的新闻事业党的新闻事业”理念的新闻工作者，越可能在理念的新闻工作者，越可能在其报道中为民说话。其报道中为民说话。Outline of this class An outline of conceptualization and operationalization in researchConcept 1 TheorizationConcept 2 Validity ValidityMeasure 1 Empirical Analysis Measure 2&ReliabilityReliability&抽象建构抽象建

3、构抽象建构抽象建构概念定义概念定义概念定义概念定义指标或测量指标或测量指标或测量指标或测量概念化概念化概念化概念化操作化操作化操作化操作化假设因果关系假设因果关系验证经验假设验证经验假设理论层面理论层面操作层面操作层面经验层面经验层面理论、概念与测量理论、概念与测量 实施一个研究之时必须考虑实施一个研究之时必须考虑/询问以下问题：询问以下问题：该研究涵该了哪些关键概念？该研究涵该了哪些关键概念？研究者是如何界定关键概念？研究者是如何界定关键概念？概念化的挑战概念化的挑战关键概念发源于何处？由既有理论生发？既有的理论关键概念发源于何处？由既有理论生发？既有的理论/研究如何对该概念和其他概念间的关

4、系予以阐明？研究如何对该概念和其他概念间的关系予以阐明？理论化的挑战理论化的挑战该研究在如何测量这些关键概念？该研究在如何测量这些关键概念？操作化的挑战操作化的挑战Perceived Popularity of the InternetAdoption of the InternetUse of the InternetIndividual CharacteristicsPerceived Characteristic of the InternetPerceived Need for the InternetZhu,J.J.H.,&He,Z.(2002).Perceived characte

5、ristics,perceived needs,and perceived popularity:Adoption and use of the Internet in China.Communication Research,29(4):466-495.测量测量 当社会研究者检验假设、评估解释、为理论提供经验支当社会研究者检验假设、评估解释、为理论提供经验支持或系统的研究某个应用议题或社会世界的某些领域时，持或系统的研究某个应用议题或社会世界的某些领域时，他们将测量概念和变量，如智力、社会孤独感、网络依他们将测量概念和变量，如智力、社会孤独感、网络依赖、网络成瘾、广告信息卷入度、媒介色情信息

6、限制支赖、网络成瘾、广告信息卷入度、媒介色情信息限制支持度、关于媒介暴力内容的态度等。持度、关于媒介暴力内容的态度等。定量研究者远远比定性研究者更为关心测量。测量是资定量研究者远远比定性研究者更为关心测量。测量是资料采集前的独立步骤，为此发展出一系列专门的术语和料采集前的独立步骤，为此发展出一系列专门的术语和技巧。定量研究者采用演绎取向而不是归纳路径：技巧。定量研究者采用演绎取向而不是归纳路径：M.X.Zhang8测量、概念化和操作化测量、概念化和操作化 日常生活中人们有意无意的测量非物质世界，但通常是日常生活中人们有意无意的测量非物质世界，但通常是用并不太精确的术语；而在物质世界中科学家的测

7、量延用并不太精确的术语；而在物质世界中科学家的测量延展了人类的感觉。展了人类的感觉。定量和定性研究者在测量中，都适用两个过程：定量和定性研究者在测量中，都适用两个过程：M.X.Zhang9测量层次测量层次测量有四个层次测量有四个层次：定类：定类(nominal)、定序、定序(ordinal)、定距、定距(interval)和定比和定比(ratio)。测量层次。测量层次(level of measurement)，说明了连续和，说明了连续和离散变量之间的差异。一个变量在何种层次上被测量，直接取决离散变量之间的差异。一个变量在何种层次上被测量，直接取决于其被概念化的过程以及研究者所采用的资料采集方

8、法的类型。于其被概念化的过程以及研究者所采用的资料采集方法的类型。层次层次不同的类型不同的类型排列等级排列等级 受测类别间的距离受测类别间的距离 真正的零点真正的零点定类定类是定序定序是是定距定距是是是定比定比是是是是M.X.Zhang10观念、概念化和概念观念、概念化和概念 由于每个人头脑中的印象并不能直接用来交流，因此人由于每个人头脑中的印象并不能直接用来交流，因此人们用每份资料的标签来交流彼此观察到的事物和代表事们用每份资料的标签来交流彼此观察到的事物和代表事物的观念。物的观念。和观念和观念(conception)有关的标签使人们可以相互交流，有关的标签使人们可以相互交流，且使人们可就标

9、签的含义达成共识。且使人们可就标签的含义达成共识。达成共识的过程达成共识的过程被被称为称为(广义的广义的)“概念化概念化”(conceptualization)，达成共识，达成共识的结果就是概念的结果就是概念(concept)。概念是一组观念。概念是一组观念。M.X.Zhang11概念化概念化 Conceptualization 概念化概念化Refers to the process through which we specify precisely what we mean when we use particular terms 概念化是捕捉一个构想并通过赋予它一个概念或理论定义的方式概

10、念化是捕捉一个构想并通过赋予它一个概念或理论定义的方式来提炼它，即来提炼它，即概念化是彻底想通想透构想概念化是彻底想通想透构想/概念的意义的过程概念的意义的过程Relatively abstractM.X.Zhang12操作化操作化 Operationalization 操作化操作化Refers to the specification of research procedures that will result in empirical observations representing those concepts in the real world连接概念定义与一套特别的测量技术或程序

11、连接概念定义与一套特别的测量技术或程序Has to be concrete and precise 操作定义操作定义，即通过研究者执行的特定操作行为产生的定即通过研究者执行的特定操作行为产生的定义，可以是一份调查问卷、在实地场景中观察事件的方义，可以是一份调查问卷、在实地场景中观察事件的方法、在大量媒体中测量信息内容的方法等。法、在大量媒体中测量信息内容的方法等。M.X.Zhang13概念化与操作化的衔接概念化与操作化的衔接 Operationalization should follow and match conceptualizationWe measure a thing in a s

12、pecific manner because we have defined the thing in a specific wayM.X.Zhang14对对“大学质量大学质量”的概念化与操作化的概念化与操作化Example 1:Quality of UniversityIs Wuhan University a good university?Is it better than or not as good as HUST?Conceptual definition:As an educational institution,a university is good to the exten

13、t that it successfully transmits advanced level knowledge to people in a societyOperationalization:%of faculty members with Ph.D.s Teacher-to-student ratio Availability of advanced teaching facilitiesThe size of the libraryM.X.Zhang15对对“大学质量大学质量”的概念化与操作化的概念化与操作化Conceptual definition:As a research in

14、stitution,a university is good to the extent that it successfully produces advanced knowledgeOperationalization:%of faculty members with Ph.D.s Size of graduate schoolResearch output of faculty membersAvailability of research funding Advanced research facilitiesThe size of the libraryM.X.Zhang16“广播收

15、听广播收听”的概念化与操作化的概念化与操作化 Example 2:Frequency of radio listeningWhat counts as“listening”?E.g.,amount of time spent listening to the radio,including when radio serves as backgroundM.X.Zhang17“媒介可信度媒介可信度”的概念化与操作化的概念化与操作化 媒介可信度媒介可信度(Media credibility):概念定义：概念定义：可信度是为受传者所感受到的信源或传播媒介的一种品质，即不论其传播的内容为何而能令受传者

16、无可争辩的信赖(West,1994)。一个向公众提供了准确及公正无偏的信息的信源，可被认为是可信的(Hass,1981)。操作定义：操作定义：构建基于5级李克特量表的以下四个题项(items)：“整体上来看，电视(报纸/广播)新闻(1)个人感觉值得信赖；(2)基本上是真实的；(3)立场公正，不试图以主观意志影响人；(4)解释得比较全面、完整”。M.X.Zhang18“物质主义倾向物质主义倾向”的操作化的操作化贝尔克的物质主义量表贝尔克的物质主义量表1.租一辆车比买一辆车对我更有吸引力；租一辆车比买一辆车对我更有吸引力；（R）2.我对那些也许应当扔掉的东西总是恋恋不忘；我对那些也许应当扔掉的东西

17、总是恋恋不忘；3.即使是价值很小的东西被偷了，我也会非常不安；即使是价值很小的东西被偷了，我也会非常不安；4.我掉了东西之后不会特别不安；我掉了东西之后不会特别不安；（R）5.较之于大多数人，我较少把自己的东西锁起来；较之于大多数人，我较少把自己的东西锁起来；6.我宁愿买某间东西而不愿从朋友处借来一用；我宁愿买某间东西而不愿从朋友处借来一用；7.我很担心别人把我拥有的东西借走；我很担心别人把我拥有的东西借走；8.旅游时我喜欢照很多照片；旅游时我喜欢照很多照片；9.我从不丢弃东西。我从不丢弃东西。“互联网采纳互联网采纳”的操作化的操作化Internet adoption.As described

18、 above,we conceptualize the adoption of the Internet as a nominal variable of four categories that are mutually exclusive at a given point in time but dynamically transitory over time.To measure it,we asked two questions in the survey:“Are you currently using the Internet?”and“If not,how likely will

19、 you be using it in the next 12 months?”The respondents were explicitly told that“using the Internet”includes not only surfing the Web but also receiving and sending e-mail messages,online chatting,shopping,trading stocks,and other online activities.Based on their answers to the two questions,respon

20、dents were each assigned to one of the four categories:(a)Continuous Adopters(who are currently using the Internet),(b)Discontinued Adopters(who had used the Internet but stopped using it),(c)Potential Adopters(who have not used but are likely to use the Internet within a year),and(d)Unlikely Adopte

21、rs(who have not used and are not likely to use the Internet any time soon).Journalistic roles.These variables were measured by asking the respondents to indicate on a 5-point Likert-type scale,from 1(not at all important)to 5(very important),how important each function described in a statement was.B

22、ased on our conceptual analysis of how media roles were being discussed among Chinas journalists,a battery of 18 statements was developed.Some of them were adapted from Weaver and Wilhoit(1996),and others were created based on the unique situation in China.Five of the items were designed to assess t

23、he media entertainment role.But they did not group into a single factor,nor did they load cleanly on any of the other four factors.These were eliminated from the subsequent analysis.The remaining 13 formed four clean factors in an exploratory factor analysis.The four factors correspond to the four r

24、oles specified in Weaver and Wilhoit:interpretive,disseminator,adversarial,and popular advocacy.12 Based on this result,four indices were created by averaging across the items in each factor.Each index yielded an acceptable level of reliability(see Appendix B for details).Measurement of Journalistic

25、 rolesM.X.Zhang21M.X.Zhang22测量测量 并非所有概念都可以被测量，如潜意识、虚假意识、文并非所有概念都可以被测量，如潜意识、虚假意识、文学价值等，但是这些概念有助于人们思考问题。学价值等，但是这些概念有助于人们思考问题。测量无所谓对错，但有好坏之分，好的测量具有以下特测量无所谓对错，但有好坏之分，好的测量具有以下特征：征：概念化的阐述清晰、意义明确概念化的阐述清晰、意义明确易于被操作化易于被操作化与研究中的理论设想具有连惯性与研究中的理论设想具有连惯性符合研究的目的与具体情景符合研究的目的与具体情景“没有任何神奇的手法可以把建构转变为精确的概念定义，这需要仔细的思考、

26、直接的观察和与其他人交换意见、阅读其他人所思所言，以及尝试各种可能的定义。”单独的一个构想可能同时有数个定义，人们对于这些定义不一定会有完全相同的看法。概念定义常常会与理论架构/范式，以及研究的目的相关，譬如如何界定“社会阶级”？如何界定“好的大学”？“媒介暴力”、“传播攻击性”？某些概念极为抽象和复杂，本身包含了许多次级概念或不同的维度/层面，此种概念常常被称为“构念”(construct)。如何概念化？如何概念化？如何概念化？如何概念化？尽可能多的在既有文献和研究中寻找自己所关注的那个概念，当搜集到不同的定义、不同层面的定义与相关的概不同的定义、不同层面的定义与相关的概念念之后，就可以看到

27、这个核心观念的界限范围。在此基础上，可以自己为某一个概念下定义，尤其是，需要列出这个概念所需要表达的外延或外在表征，尤其是当这个构想所表达的是一种态度/感觉/心理状态，这些外延的变化范围，如自高到低等，它们有助于实现操作化。测量品质测量品质两个标准：信度两个标准：信度(reliability)和效度和效度(validity)。信度：在不同的时点上多次测量，产生一致结果的可能性。譬如，同一份问卷，同一个受访者填写两次结果会一样么？它涉及到测量的稳定性、内在一致性和等价性稳定性、内在一致性和等价性。你喜欢看武侠片么？“喜欢”、“不喜欢”、“说不清楚”。请在0-100之间标出你喜欢看武侠片的程度？陈

28、述(statement/item)愈是具体实在，则测量的信度愈高 客观的观察一般会产生更有信度的结果看恐怖片受到惊吓的程度：询问vs皮肤测试问受访者的年龄vs查验其身份证改善测量信度改善测量信度清晰概念化所有构想：清晰概念化所有构想：尤其对复杂的概念或构念必须如此前测后测法前测后测法：同样的受访者施以两次测量，将测量的结果算术平均多指标测量多指标测量：将各个指标的分值加总E.g.,Attention to news mediaDo you pay attention to news on television?Do you pay attention to news in the newspa

29、pers?Do you pay attention to news on the Internet?Do you pay attention to news on radio?使用成熟量表使用成熟量表：少用自建量表，但在借鉴成熟量表时需要对其加以改造，尤其要注意文化差异问题提高测量层次提高测量层次：尽可能用最精确的等级来测量构想Research-worker reliabilityInterviewer training in surveySupervising interviewers in a survey and random checking of completed intervie

30、wsInter-coder reliability in content analysis多指标测量多指标测量自变量测量因变量测量经验关联？经验关联？a1a2a3b2b1b3AB题号题号项目项目均值均值标准差标准差I-T r*因子载荷因子载荷Alpha网络知识.75IK1我知道“蠕虫”这种网络病毒？.39.49.46.54IK2我知道怎么去对付“蠕虫”这种网络病毒？.20.40.49.58IK3我知道什么是“置顶”？.57.50.46.46*IK4我知道如何将帖子“置顶”？.37.48.38.39*IK5我知道什么是Cookies？.46.50.44.55IK6我知道如何使用Cookies？.

31、23.42.49.60IK7我知道什么是“代理服务器”？.52.50.49.59IK8我知道如何设置“代理服务器”？.26.44.47.58IK9我知道什么是网络视频中的“缓冲”？.91.29.21.20*IK10我知道怎么应付网络视频中的“缓冲”这一现象？.53.50.29.31*网络经历EX1您使用网络大约有多少个月？44.9527.57网络自我效能感.78SE1我有信心能在网上搜索到自己所需的信息3.76.82.52.65SE2我有信心通过网络来解决实际问题3.38.83.65.79SE3我有把握通过网络与人较好的交流3.36.86.43.48*SE4我有信心通过网络来完成需要做的事情3

32、.37.79.53.61SE5我觉得自己可较好的使用网络设备3.25.87.57.62SE6即使身边没有人帮助，我也能通过网络完成相关工作3.21.88.53.57复合测量复合测量M.X.Zhang30研究效度研究效度研究的效度研究的效度主要有两个：内在效度(internal validity)vs.外在效度(external validity)。统计效度。统计效度。内在效度：某一个研究设计是否严谨(能排除任何可能混淆的变项)。外在效度：某一个研究结果能否概化(generalize)至现实情境，或更大现实世界范围中，也称之生态效度(ecology validity)。研究最好能兼顾内外在效度，

33、不过通常此二效度很难兼顾。内在效度愈强，其外在效度愈弱；外在效度愈强，其内在效度愈弱。M.X.Zhang32测量效度测量效度Validity refers tothe extent to which an empirical measure adequately reflects the meaning of the concept under consideration,or in other words,the extent to which the operational definition follows the conceptual definition,or in other w

34、ords,Whether you are measuring what you want to measure 所有的效度都在试图回答一个问题：我们是否测量到了我们想测的东西Examples of measures with problematic validityAttitude towards American cultureWhether one likes McDonalds or notM.X.Zhang33测量效度测量效度Familiarity with new media technologiesNumber of hours using the Internet per day

35、Willingness to express an opinionThe number of dont know answers given in a survey settingDeference to governmental authorityMeasured by peoples attitude towards governmental regulation regarding wearing of seat belt效度效度 就其核心，测量效度是构想与其指标间的吻合程度，触及的是概念与操作定义两者之间有多契合的问题。然而，“我们永远无法得到绝对效度的原因，是因为构想都是抽象的概念，

36、而指标则是具体的观察。在我们对于这个世界的精神图画与我们在特定时空下所做的特定事物之间，是存在一定距离的。”效度是程度问题(validity can be considered as a matter of degree)。效度是动态过程的一部分，会随着证据的积累与时俱增。如果没有效度，所有的测量会变得毫无疑义。M.X.Zhang35效度类别效度类别 表面效度 内容效度内容效度 效标效度并发效度预测效度 建构效度建构效度收敛效度收敛效度互斥效度互斥效度M.X.Zhang36表面效度表面效度(face validity)涵义：表面上来看，人们会相信定义与测量方法是相符的么？用最简单的也是最基本的

37、主观判断的方法，一般根据测量量表所选的题项来判断，仅从表面上来观察判断其是否能够代表想要测量的构想/构念。也有人认为表面效度与内容效度不同。M.X.Zhang37内容效度内容效度(content validity)涵义：测量工具将定义下的所有内容都代表出来了么？一个概念定义含有数个观念：它是包含观念与概念的一个“空间”，测量工具应该是概念空间中所有观念或区域的样本或代表。The degree to which the measure has captured the range of meanings represented by the concept.效标效度效标效度(criterion

38、validity)亦称效标关联效度、独立标准效度、准则效度、参照物效度，逻辑：效标是一个与量表有密切关联的独立标准，将量表所测特性看成因变量，将效标看成自变量，所测特性与效标密切相关的量表才是有效的量表。效标效度的分析方法：考察所测特性(因变量)与效标(自变量)是否有显著的相关(相关分析)或是对效标的不同取值，特性的值是否表，现出显著的差异。难处：效标的确定并不是一件容易的事，择效标一般要根据某种已知的理论、或某种已经得到肯定的结论。M.X.Zhang39效标效度效标效度 台湾的“兰屿民众传播行为与现代化程度之研究”，用离岛经验作为测量雅美族人现代化程度的效标。再如：员工士气与工作满意度、电视

39、广告收看与物质主义。依效标取得时间的不同，效标关联效度又区分为“同时(并发)效度”(concurrent validity)与“预测效度”(predicative validity)二种。建构效度建构效度(construct validity)针对多重指标的测量工具针对多重指标的测量工具。关注的是：如果这个测量工具有效，不同的指标产生的是一致结果么？不同的指标产生的是一致结果么？尤其是，当众多指标测量的是一个构念的不同维度/层面，测量的结果与预想的情形是否一样？建构效度分为：收敛效度或趋同效度(convergent validity)和区分效度/互斥效度/歧异效度(discriminant v

40、alidity)。同一个构想的多个测量指标，产生相同的测量结果或类似的模式；不同构想的多个测量指标产生不同甚至相反的结果或负相关。相对优越性相对不利性形 象可察性易用性公众的移动电话创新特征感知理论构想相对优越性-易用性-可察性相对不利性形 象公众的移动电话创新特征感知真实世界建构效度的例子建构效度的例子题题 项项因子一因子一因子二因子二因子三因子三移动电话可以让我随时随地联系我想要联系的人.119.026移动电话让我的工作更有效率、生活更加便利.033.050移动电话用起来很简单.396.300我很快就学会了怎样用移动电话.472.242用移动电话的好处是很明显的.056.193我觉得很容易

41、向别人介绍用移动电话的好处.314.200用移动电话是时尚的标志.091.163.904如果不用移动电话，我会觉得很没有面子.227.163.867买移动电话要花钱，还增大了月开支.156.870.128移动电话有时限制了我的自由，辐射对身体也不好.106.867.150特征值4.641.511.10解释的变异量（%）46.4015.1110.98Cronbach Alpha值.88.79.82续上页续上页-经验数据经验数据M.X.Zhang43改善测量效度改善测量效度 对于过于抽象或复杂的概念采用替代性变量(surrogate measure)予以测量：用教育程度来替代“政治成熟度”构建复合

42、指标来最大限度捕捉抽象概念的内涵，尤其是用单一指标捕捉不到的单一指标捕捉不到的：欲对“喜欢美国文化”(liking American culture)，用“喜欢吃麦当劳”来测量，可改为：Whether you like or dislike:A)Sex and the CityB)Hollywood moviesC)McDonalds D)Coca-colaE)American footballF)NBAG)Disneyland H)NikeM.X.Zhang44改善测量效度改善测量效度 使用多个具有相同内涵的指标，使得采用单一指标测量时所多出来多出来的那部分涵义变得无足轻重：如用“公众对政府

43、要求驾驶时系上安全带的态度”来测量“遵从政府管制”，可扩展为多个指标，如 Attitude towards seat belt law,Attitude towards media regulation,Attitude towards the rights of the police to monitor phone calls,Attitude towards the smoking ban,etc.实用建议：实用建议：尽量收集和阅读与测量内容有关的资料，以最大限度的在测量中尽量收集和阅读与测量内容有关的资料，以最大限度的在测量中囊括相关现象囊括相关现象除了研究人员的主观判断之外除了研究人

44、员的主观判断之外,最好再请一些专家来帮助判断最好再请一些专家来帮助判断效度和信度的关系效度和信度的关系 毫无信度的测量不可能有效度，因为它未测量任何事物；但毫无效度可言的测量可能信度极高。效度与信度需要平衡，因为概念是抽象的，直接询问人们这个抽象的概念似乎最为有效，但却往往没有信度，E.g.,measuring liking American culture simply by asking whether people like American culture or not.ABC课外作业课外作业(不用上交不用上交)在自己感兴趣的领域，在中外学术期刊上查找2-3篇量化实证的学术论文，了解其研究的意义和目的，揣摩其文献综述的写法和逻辑；重点阅读其研究问题的提出与研究假设的发展，并思考其概念化与操作化的过程；重点了解其变量测量的准备、过程与信度和效度检验；请尝试阅读其研究方法部分对受访者抽样和数据分析方法的叙述。M.X.Zhang47The End