Lahner, Felicitas-Maria; Bauer, Daniel; Lörwald, Andrea Carolin; Müller, Tjark; Guttormsen, Sissel; Fischer, Martin R; Huwendiek, Sören (21 September 2018). Der Einfluss unterschiedlicher Bewertungsschlüssel für Kprim Fragen auf die Messgenauigkeit um die Bestehensgrenze. In: Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Düsseldorf: German Medical Science GMS Publishing House 10.3205/18gma170
Problemstellung/Ziele: Kprim Aufgaben sind ein in der Medizin verbreiteter Multiple-Choice Aufgabentyp. Da für jede Antwortoption im Kontext der jeweils gestellten Aufgabenstellung eine gesonderte Richtig/Falsch-Entscheidung getroffen werden muss, stellt sich die Frage nach dem optimalen Bewertungsschlüssel. Da zuverlässige Bestehensentscheidungen ein wichtiges Gütekriterium medizinischer Prüfungen sind, untersuchen wir in dieser Studie den Einfluss unterschiedlicher Bewertungsschlüssel für Kprim Aufgaben auf die Messgenauigkeit an der Bestehensgrenze.
Methoden: Wir inkludierten 56 Prüfungen vierer Schweizer Fakultäten mit durchschnittlich 225 Kandidierenden und 29 Kprim Aufgaben. Die Messgenauigkeit an der Bestehensgrenze wurde über die konditionale Reliabilität und den konditionalen Messfehler [1] sowie über die Anzahl der Kandidierenden im Vertrauensintervall um die Bestehensgrenze (Kandidierende im Ambiguitätsbereich) operationalisiert. Es wurden drei Bewertungsschlüssel für Kprim Fragen verwendet: Ganzpunktscoring (1 Punkt, wenn alle Richtig/Falsch-Entscheidungen korrekt sind) sowie 2 Teilpunktalgorithmen, Halbpunktscoring (0,5 Punkte, wenn mehr als die Hälfte bzw. 1 Punkt, wenn alle Richtig/Falsch-Entscheidungen korrekt sind) und Viertelpunktscoring (ein Viertelpunkt für jede korrekte Richtig/Falsch-Entscheidung).
Ergebnisse: Wir fanden eine signifikant höhere konditionale Reliabilität (F(2,110)=34.9; p<0.001; η2=0.16) und einen signifikant niedrigeren konditionalen Messfehler (F(2,110)=37.3; p<0.001; η2=0.32) für Teilpunktalgorithmen. Die Zahl der Kandidierenden im Ambiguitätsbereich war signifikant kleiner für Ganzpunktscoring und Halbpunktscoring im Vergleich zu Viertelpunktscoring.
Diskussion: Wir konnten zeigen, dass unterschiedliche Bewertungsschlüssel für Kprim Aufgaben die Messgenauigkeit an der Bestehensgrenze beeinflussen. Halbpunktscoring scheint für Kprim- Aufgaben vorteilhaft zu sein, da es zu einer hohen konditionalen Reliabilität, einem kleinen konditionalen Messfehler und einer geringen Anzahl an Kandidierenden im Ambiguitätsbereich führt.
Item Type: |
Conference or Workshop Item (Abstract) |
|---|---|
Division/Institute: |
04 Faculty of Medicine > Medical Education > Institute for Medical Education > Assessment and Evaluation Unit (AAE) 04 Faculty of Medicine > Medical Education > Institute for Medical Education 04 Faculty of Medicine > Medical Education > Institute for Medical Education > Education and Media Unit (AUM) |
UniBE Contributor: |
Lahner, Felicitas-Maria, Bauer, Daniel, Lörwald, Andrea Carolin, Guttormsen, Sissel, Huwendiek, Sören |
Subjects: |
600 Technology > 610 Medicine & health |
Publisher: |
German Medical Science GMS Publishing House |
Language: |
German |
Submitter: |
Daniel Bauer |
Date Deposited: |
25 Sep 2018 11:12 |
Last Modified: |
05 Dec 2022 15:18 |
Publisher DOI: |
10.3205/18gma170 |
URI: |
https://boris.unibe.ch/id/eprint/120110 |
Actions (login required)
 |
Edit item |