1、Interpretation of Test Scores林陳涌師大生物系試題分析w試題的品質除了發展前需注意事項外,尚可在測試後藉由統計的方法來了解試題的品質.w提高試題的品質以增進測驗的信度與效度試題分析可提供的資訊w題目的功能是否如預期?NRT CRTw題目的難度是否適當?w題目是否有缺點?w題目的誘答是否有效?試題分析的功能w回饋給學生w回饋給老師w提供改進課程的依據w增進教師命題的技巧試題分析的步驟w1.根據總分的高低依序排列試卷w2.從最高分部分向下取總人數的27%為高分組(higher group),再從最低分部分向上取總人數的27%為低分組(lower group)*以27%所
2、數據的可靠性最大,一般合理的百分比在25%-33%之間.試題分析的步驟w3.分別計算高低分組在每個試題答對人數的百分比 PH PLw4.計算每題難度指數 P=(PH+PL)/2w5.計算每題鑑別度指數 D=PH-PLw6.檢查每一題所列選項的回答人數,以確定誘答力難度.難度分析w難度分析的主要目的在確定每一個試題的難度.w最簡單的是計算全體受試者答對每議題的人數的百分比.P=R/N(100)w有分高低分組則 P=(PH+PL)/2難度指數的意義w難度指數數值越大,表示題目越簡單w難度指數數值越小,表示題目越難w這種難度指數是一種順序量尺(ordinal scale),無法說明各難度之間的差異大
3、小.w這種難度指數容易計算與使用,若要發展較精確的工具,可使用等距量尺(interval scale)分析.(P.263)試題難度與測驗分數的分配w難度高的測驗,如題目的難度均落在 P.25時,其分配型態是正偏 題目難,無法區別能力較低的學生w難度低的測驗,如題目的難度均落在 P.80時,其分配型態是負偏 題目簡單,無法區別能力較高的學生 現在高中聯考的觀點試題難度與測驗分數的分佈範圍w比較 三組的 變異數(分布範圍)信度 難度集中在.5 難度分散在.1-.9之間 難度分佈在兩端.1-.3,.8左右鑑別度鑑別力的分析法 w內部一致性分析 旨在了解各個試題的功能是否和整個測驗的功能相符合一致.w
4、此分析的假設是:整個測驗的分數具有某種程度的效度,如果此假設成立,則個別的反應若和總分數之間具有一致性,就表示題目有某種程度的效度.w鑑別度指數 D=PH-PL鑑別度指數w鑑別度指數介於-1.00-+1.00之間 指數愈大,鑑別度愈高 指數愈小,鑑別度愈低w鑑別度為0的因素可能 題目太難獲太容易 題目不清楚 難度與鑑別度的關係 w圖8-4 試題選擇的標準 w評鑑試題的優劣,沒有一定的標準.通常 先選出鑑別度較高的題目 在從中選出難度指數較適中的題目 鑑別度的評鑑標準(Eble,1979)w 鑑別指數 試題評鑑 0.40以上 非常優良 0.30-0.39 優良,可能需要修改 0.20-0.29
5、尚可,通常需要修改 0.19以下 劣,淘汰或修改 難度的評鑑標準 w以接近 0.50的試題最為適宜w很難全找到 接近0.50的試題w選題仍需視測驗的目的 興趣 雙向細目表的分配,但需力求全測驗的平均難度接近0.50 選目的有效性分析-1 w組別 選目 A B*C D N D Pw高分組 2 16 1 1 0 0.4 0.6w低分組 5 8 4 3 0 選目的有效性分析-2 w組別 選目 A*B C D N D Pw高分組 14 0 0 6 0 0.1 0.65w低分組 12 0 8 0 0 選目的有效性分析-3 w組別 選目 A B C*D N D Pw高分組 9 0 10 1 0 0.2 0
6、.4w低分組 5 4 6 5 0 選目的有效性分析-4 w組別 選目 A B*C D N D Pw高分組 5 6 4 5 0 0.05 0.28w低分組 4 5 5 6 0 選目的有效性分析-5 w組別 選目 A B C D*N D Pw高分組 3 6 3 8 0 -0.2 0.50w低分組 3 1 4 12 0 選目的有效性分析-6 w組別 選目 A B*C D N D Pw高分組 0 10 10 0 0 0.1 0.45w低分組 2 8 8 2 0 標準參照評量的試題分析鑑別力分析w教學前後的差異w接受教學與未接受教學的差異w精熟組與味精熟組的差異難度分析w可用前述的方法w但因標準參照評量
7、所以選題不要只找難度0.5的測驗詮釋資料分析的階層及範圍資料分析的階層及範圍w1.試題表現試題表現(Item Performance):以學生在某一試題之表現代表該試題所評測之主概念或評測目標之學習表現。w2.主題表現主題表現(Task Performance):以學生在某些相關試題的表現代表這些試題所評測的主概念或主題之學習表現。w3.分測驗表現分測驗表現(Subtest Performance):以學生在一分測驗的表現來代表該分測驗所評測之概念次領域(Sub-domain)之學習表現。資料分析的階層及範圍資料分析的階層及範圍w4.測驗表現測驗表現(Test Performance):以學生
8、在一測驗的表現來代表該測驗所評測之概念領域(Domain)之學習表現。w5.整體表現整體表現(Total Performance):以學生在整體測驗組(Test battery)的表現來代表該整體測驗所評測之學科之學習表現。詮釋類型w敘述的解釋w溯因的解釋w預測的解釋w評斷的解釋詮釋注意原則w解釋測驗者應了解測驗的性質與功能w測驗分數應為學生保密w解釋分數應參考其他有關資料w解釋分數應避免只給數字詮釋注意原則w對低分者得解釋應更謹慎小心w解釋分數時應設法了解學生的感受w解釋分數只做建議,而勿作決定w應以一段可信賴範圍解釋 標準誤 信賴水準The End!生物學習表現之認知精熟度階層生物學習表現
9、之認知精熟度階層w3.應用基本科學資訊應用基本科學資訊(Applies,A)分析及解釋資料。應用科學知識進行推理、推論、預測。分析資料並應用資料進行推理、推論、預測。w4.統整科學資訊統整科學資訊(Integrates,I)綜合各項資訊,指出各變項之間的關係。統整實驗過程及數據,指出擬驗證之假說及提出結論。統整科學概念,提出結論。綜合各階層科學知識,以解決問題。生物學習表現之認知精熟度階層生物學習表現之認知精熟度階層(Cognitive Proficiency Levels)w1.知曉科學知識知曉科學知識(Knows,K)記憶在學校課程或日常生活經驗中所習得之科學事實或知識。區別或界定基本科學
10、名詞、術語或科學實驗器材。閱讀圖表。w2.了解基本科學原理法則了解基本科學原理法則(Understands,U)了解基本科學概念、原理、法則(Principles)。了解科學學說和定律的內容。了解科學知識間的關係。測驗結果之解釋模式測驗結果之解釋模式w1.試題中心試題中心(Item-centered):應用許多試題來評測及解釋某一內容領域的學習進展(Many test items are used to assess a large content domain.)。w2.目標中心目標中心(Objective-centered):每一項評測目標均有一定數目的試題來評測及解釋(Each objective is assessed by a number of test items.)。測驗結果之解釋模式測驗結果之解釋模式w3.分測驗中心分測驗中心(Subtest-centered):一個測驗可以分為數個分測驗，每一個分測驗分別代表一個學習內容之次領域(Sub-domain)；而每一分測驗則由相當數目的試題組成，以評測及解釋相對應之次領域評測目標(Each subtest is assessed with a moderate number of items.)。
