1、烏鴉眼中的教學意見調查烏鴉眼中的教學意見調查:嘆十聲嘆十聲 邱文彬邱文彬師資培育中心師資培育中心意見調查的本質意見調查的本質烏鴉眼中的嘆十聲烏鴉眼中的嘆十聲結語結語教學意見調查表的本質教學意見調查表的本質以目前所使用的李克特式量表為例，由於本質上為一種態度測量，屬於學生對於教師整體教學表現的總結性評鑑，也是一種評價性感受。績效考核抑或受歡迎度(popularity)?因此，評量時的干擾因素或偏誤來源可從印象形成與態度評量的範疇思考。第一聲：自陳式測量的問題第一聲：自陳式測量的問題西方應用評定量表的假定：西方應用評定量表的假定：受測者在填答時會全力以赴；受測者認為量表中所問題的問題，或所說的事情
2、對，對自己而言是有意義的；受測在填答量表時，會真情流露，並適當地、恰如其份地，反映在量表的尺度上；量表上所反映的情感或看法，與受測者的實際行為或未來行為有高度關聯。第二聲：典型表現第二聲：典型表現 vs.最佳表現最佳表現 典型表現典型表現(Typical Performance)：適合採用長：適合採用長期縱貫性資料期縱貫性資料最佳表現最佳表現(Maximum Performance)：能力評量；：能力評量；應用於預測未來表現；適合受評者清楚知道將應用於預測未來表現；適合受評者清楚知道將受評鑑，有外顯或內隱的指導語要求其盡力表受評鑑，有外顯或內隱的指導語要求其盡力表現，短 時 間 下 高 度 注
3、 意 力 運 作 下 的 表 現現，短 時 間 下 高 度 注 意 力 運 作 下 的 表 現是否混淆教師的典型表現與最佳表現？教師上課的準備度為典型表現，但是熱情與投入似乎較偏向最佳表現。督導評量(supervisory rating)是否可行：它與典型表現相關較高。第三聲：可提取性第三聲：可提取性可提取性（可提取性（availability）：如果我能夠想起某件事，它一定是重要的、經常發生的或真實的！（McKelvie,1997;MacLeod&Campbell,1992;Tversky&Kahneman,1982）。Bias due to search set：學期中的顯著事件（sali
4、ent events）可能有過度影響；特殊事例（較令人印象深刻）較容易從回憶中提取，這些顯著事件便可能干擾教學評量的評定。第四聲：定錨效應第四聲：定錨效應(anchoring)因為始參照點不同而對後來判斷或決策所產生的調整或遷移效應，就是定錨效應（e.g.,Block&Harper,1991;Jacowitz&Kahneman,1995;Lovallo&Kahneman,2003;Tversky&Kahneman,1974）。特定科目的教學評量與該學期修習科目的其他教師表現有關；若其他科目的教學較差時，一個教學普通的科目容易被評量地較好(高估)，反之，若其他科目的教學較佳時，一個教學普通的科目
5、容易被評地較差(低估)。第五聲：評估連續與分散事件的偏誤第五聲：評估連續與分散事件的偏誤人們在進行決策時的認知偏誤，還會有傾向高估連續事件而低估分散事件（Fisk,2005;Fisk&Slattery,2005;Frederick&Libby,1986;Tversky&Kahneman,1983倘若某位老師連續幾個禮拜遲到或請假或調課時，這些教學表現的連鎖狀結構（chain-like structure;Tversky&Kahneman,1974）會產生高估此事件的結果；但倘若相同的請假次數平均分散在一學期時，漏斗狀結構的分散性（funnel-like structure of disjunc
6、tions）將使得遲到或請假的訊息作用被低估。若連續請假事件若發生在期末教學評量之前，近時效應更可能與連續事件起交互作用而更加強此事件的負向印象。因此，一個老師如果在一個學期連續請三次假，跟三次請假平均分散在學期當中對於教學評量的影響應是不同的，分散請假的效果容易被時間間距稀釋。第六聲：第六聲：效度錯覺效度錯覺效度錯覺（效度錯覺（the illusion of validity）：）：人們在判斷或預測一件事的發生機率時，倘若給定的訊息與預測的結果較為一致時，通常對於該判斷或預測的信心會過份自信（Tversky&Kahneman,1982）。對於一位第一學年科目成績都是B的學生，人們對其最終GP
7、A預信的信心顯著高於對另一位第一學年科目有A、C參半的學生，然而這二位學生第一學年的平圴表現皆為B。人們對於變異性的訊息組合較為敏感也較不看重，對於一致性的訊息則賦予較多判斷與信心的比重。因此，倘若甲教師在一學期當中的授課表現較為起伏，假設四個月的表現組合依序A、C、A、C，另一位乙教師的教學表現則相當平均與一致B、B、B、B，基於一致性的訊息組合較佔優勢，乙教師的教學評量可能會比甲教師要佳。教學評量反應組型的解讀。第七聲：錯覺相關第七聲：錯覺相關錯覺相關（錯覺相關（illusory correlation）：）：人們傾向將同時發生的事件（co-occurrence events）誤以為存在因
8、果關係，或高估這些事件伴隨出現的機率（e.g.,MacDonald,2000;Yates,2000），這即是所謂的錯覺相關。Chapman and Chapman（1967）的經典實驗發現，當呈現一些假想性患者的臨床診斷與臉孔畫像，要求一般人判斷那些臉部特徵與臨床診斷（例如，妄想或猜疑）有相關，受試很明顯地高估共同出現的關聯性，像是獨特的眼睛與猜疑之間的相關性。倘若某位授課老師很關心學生的生活，會請學生聚餐、唱KTV，會跟學生噓寒問暖，或是老師獲得晉升、獎勵等等，上述訊息跟教學並不一定存在直接的因果關係，這些同時發生與社會期望性高的無關事件，干擾了學生的教學評量結果。會做人的老師，其教學評量結
9、果常優於只會教書不會做人的老師！第八聲：起始效應與近時效應第八聲：起始效應與近時效應 若先前的訊息經常比後來的訊時被賦予較多的比重，這即是所謂的起始效應。所謂的第一印象，它對於後來的社會思考與行動常有著持續性的顯著影響，即可看成是起始效應的一種（e.g.,Sherman&Klein,1994;Swann&Gill,1997）。若後來的訊息比先前的訊息對於判斷或決策有較大的影響，則是所謂的近時效應。在進行教學評量前的教學表現，同樣會因近時效應而對教學評量產生較大的影響。例如，在教學評量前，倘若任課教師曾經大發雷庭，把全班學生刮了一頓，或是教師突然宣佈本學期要當多少人，或是教師宣佈本學期all p
10、ass（不當人），或是期末考由筆試改為交書面報告。這些發生在教學評量前的負向或正向訊息，都可能影響學生的教學評量。第九聲：月暈效應（第九聲：月暈效應（halo effect）人們對於人判斷傾向於作好和壞的整體性評價，再據此推論其他的特質。在績效考核時，如果評量者已經對被評量者形成一般化的有利或不利的印象，後續的評量也容易跟隨這個一般化的印象（Landy,1989）。如果學生對授課教師這個人的整體印象不錯，便容易因此而擴散到對他的教學評量。再加此人有維持自我一致性的傾向（e.g.,Stone,2003;Tedeschi,Schlenker,&Bonoma,1971），學生的教學評量很可能因為月暈
11、效應與自我一致性而形成系統性偏誤。第十聲：代價或努力的辯正第十聲：代價或努力的辯正 代價或努力的辯正（代價或努力的辯正（justification of cost or effort）。）。根據認知失調論（Festinger,1957），當一個人為了某一目標付出很大的代價，若發現目標物沒有多大價值時，將產生強烈的失調感覺，消除或降低失調感覺的一個方法則是重新肯定目標物的價值（Simon,Greenberg,&Brehm,1995）。在國內的教學評量表中，通常也會包括學生自評投入或努力的項目。根據代價或努力的辯正，學生若自認在某科目的投入或付出愈多，該科目的教學評量可能會因此機制而高估。張德勝（
12、2004）也曾發現選修課的教學評量結果常優於必修課，從認知失調的觀點，由於選修課是自我意志下的抉擇結果，基於降低決策後失調（post-decision dissonance）的心理傾向，如果將選修科目的教學評的不好，便會產生認知失調的不愉快情緒。消除失調歷程的結果，對於選上目標物的評價也會因此而提高。如果再加上對於選修的科目的偏好而付出較多的努力，那麼更容易因避免失調而傾向給予較高評價。其他偏差因素：其他偏差因素：反應型態反應型態(response style)；社會期望性，害怕報復，對人不對事；社會期望性，害怕報復，對人不對事反應心向反應心向(response set)：趨中效應趨中效應(c
13、entral tendency errors)仁慈嚴厲效應仁慈嚴厲效應(leniency-severity errors)代表性代表性(representativeness)：樣本大小：不同修課人數的評量結果不適合等價觀之樣本大小：不同修課人數的評量結果不適合等價觀之起始態度：先前修課經驗，耳語，口碑起始態度：先前修課經驗，耳語，口碑結果預期的影響：期中考與平時成績的優劣，被當的可能性結果預期的影響：期中考與平時成績的優劣，被當的可能性負向因素。負向與正向事件並非等價齊觀，一般而言，負向訊息負向因素。負向與正向事件並非等價齊觀，一般而言，負向訊息或事件的效果通常大於正向訊息或事件（或事件的效果
14、通常大於正向訊息或事件（Mellers et al.,1992）。）。若其他條件保持恆定，負向訊息遠比正向訊息要具有更大的影響若其他條件保持恆定，負向訊息遠比正向訊息要具有更大的影響力，對於人們據此判斷時亦更具信心（力，對於人們據此判斷時亦更具信心（Ellsworth&Smith,1988;Lazarus,1991）。）。結語結語單一操作偏差單一操作偏差(mono-operation bias)與與單一方法差單一方法差(mono-method bias)的避免的避免外在客標效標的尋求與建立：外在客標效標的尋求與建立：口碑口碑(WOM)：要求嚴格與是否推薦的吊詭：要求嚴格與是否推薦的吊詭學習成就：短期與長期學習成就：短期與長期專家效度：同儕評量專家效度：同儕評量與相關科目學習的效標關聯效度：學習該科增進其他科目與相關科目學習的效標關聯效度：學習該科增進其他科目的學習促進效應的學習促進效應(facilitory effect)或學習遷移或學習遷移風潮與政策下挫咧等！？風潮與政策下挫咧等！？|
