Lahner, Felicitas-Maria; Lörwald, Andrea Carolin; Guttormsen, Sissel; Fischer, Martin R.; Huwendiek, Sören (2017). Zuverlässigkeit von Bestehens-/Nichtbestehensentscheidungen bei Multiple Choice Prüfungen: konditionale Reliabilität vs Cronbachs Alpha. In: Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). Düsseldorf: German Medical Science GMS Publishing House 10.3205/17gma035
Bei summativen Prüfungen ist es wichtig, zuverlässige Bestehens-/Nichtbestehensentscheidungen zu treffen. Typischerweise wird als Maß hierfür Cronbachs Alpha verwendet. Dieser Index ist allerdings kein geeignetes Maß dafür. Die „Standards for Educational Measurement“ empfehlen deshalb die Verwendung konditionaler Reliabilitäten (conditional reliability) [http://www.apa.org/science/programs/testing/standards.aspx], da es mit ihrer Hilfe möglich ist, die Reliabilität für jede Prüfungsleistung (Gesamtpunktzahl) und damit auch für die Bestehensgrenze zu berechnen. Um das Potential von konditionalen Reliabilitäten zu verstehen, möchten wir diese in einer ersten Studie für verschiedene Prüfungsleistungen beschreiben und dabei einen Fokus auf die konditionale Reliabilitäten an der Bestehensgrenze legen sowie diese mit Cronbachs Alpha vergleichen.
Anhand von 35 medizinischen Prüfungen mit inhaltsbasierter Bestehensgrenze berechneten wir mithilfe eines Rasch-Modells die konditionale Reliabilitäten für verschiedene Prüfungsleistungen und verglichen die Werte an den Bestehensgrenzen mittels Varianzanalyse mit Cronbachs Alpha. Als Kontrollvariablen wurden die Fakultät sowie das Ausbildungsjahr inkludiert.
Vorläufige Ergebnisse weisen darauf hin, dass konditionale Reliabilitäten kurvenförmig mit einem Maximum im mittleren Bereich der erreichbaren Punkte und einem Minimum bei der maximal erreichten Punktzahl verlaufen. In den untersuchten Prüfungen liegen alle konditionalen Reliabilitäten an den Bestehensgrenzen nah am Kurvenmaximum und sind signifikant grösser als Cronbachs Alpha. Die Kontrollvariablen hatten keinen signifikanten Einfluss auf das Ergebnis.
Die konditionale Reliabilität an der Bestehensgrenze ist signifikant höher als Cronbachs Alpha. Dies kann wichtige Implikationen für die Prüfungsgestaltung (z.B. benötigte Itemzahl für Reliabilität von .8) haben. Zum besseren Verständnis sind weitere Studien z.B. unter Einbezug von Prüfungen ohne inhaltsbasiertem Standard Setting nötig.
Item Type: |
Conference or Workshop Item (Poster) |
|---|---|
Division/Institute: |
04 Faculty of Medicine > Medical Education > Institute for Medical Education > Assessment and Evaluation Unit (AAE) 04 Faculty of Medicine > Medical Education > Institute for Medical Education |
Graduate School: |
Graduate School for Health Sciences (GHS) |
UniBE Contributor: |
Lahner, Felicitas-Maria, Lörwald, Andrea Carolin, Guttormsen, Sissel, Huwendiek, Sören |
Subjects: |
600 Technology > 610 Medicine & health |
Publisher: |
German Medical Science GMS Publishing House |
Language: |
German |
Submitter: |
Felicitas-Maria Lahner |
Date Deposited: |
21 Mar 2018 12:42 |
Last Modified: |
05 Dec 2022 15:10 |
Publisher DOI: |
10.3205/17gma035 |
URI: |
https://boris.unibe.ch/id/eprint/111178 |
Actions (login required)
 |
Edit item |