Zupanic, Michaela; Ehlers, Sybille; Bauer, Daniel; Hofmann, Marzellus; Ehlers, Jan (21 September 2018). Was prüft der Modified Essay Questions Test an der Universität Witten/Herdecke? In: Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Düsseldorf: German Medical Science GMS Publishing House 10.3205/18gma116
Problemstellung/Ziele: Der zentralen Bedeutung des Problemorientierten Lernens Rechnung tragend, werden im Modellstudiengang Humanmedizin an der UW/H Äquivalenzprüfungen zum M1 u.a. durch Freitextklausuren im MEQ-Format eingesetzt. Den Vorteilen, auch höhere Wissensniveaus erfassen zu können, stehen die Herausforderungen für Prüflinge, wie potentielle Folgefehler, entgegen (Gössling & Ehlers, 2017). Diese Studie untersucht, ob die MEQ diese höheren Wissensniveaus tatsächlich erfassen, sowie das Folgefehlerpotential und die Relevanz der Vignettentexte.
Methoden: Insgesamt 326 Items aus drei MEQ-Prüfungen des Sommersemesters 2017 wurden durch vier Rater hinsichtlich des Lernzielniveaus nach Bloom (vereinfacht auf drei Level), des Fallbezugs und Folgefehlerpotential unabhängig bewertet. Die Inter-Rater-Reliabilität wurde mit Cohens Kappa ermittelt.
Ergebnisse: Die Kategorisierung der Prüfungsfragen nach Bloom mit Inter-Rater-Reliabilitäten zwischen κ=.499 bis κ=.905 streut zwischen einer schwachen und einer fast vollständigen Übereinstimmung. Insgesamt wurden 62.9-67.9% der Fragen dem Level Reproduzieren/Wiedergeben zugeordnet. Ein deutlich besseres Ergebnis mit starker bis fast vollständiger Übereinstimmung ergab sich bei der Einschätzung, dass nur 6.1-8.3% der Prüfungsfragen auf die Fallvignette Bezug nehmen (κ=.726 bis κ=.913). Auch die Identifikation der 10-19% Items mit Folgefehlerpotential erfolgte mit starker bis fast vollständiger Übereinstimmung (κ=.635 und κ=.980).
Diskussion/Schlussfolgerungen: Die Ergebnisse belegen, dass die MEQ bei genügender Schulung und Reviewaufwand auch höhere Lernzielniveaus erfassen, zeigen hier aber Verbesserungspotential, auch bei der Bezugnahme auf die Patientenvignetten. Die Identifikation von Aufgaben mit Folgefehlerpotential ist bei der Prüfungserstellung bewusst zu berücksichtigen. Identifizierte Items könnten auf zwei Fallseiten geteilt oder die Möglichkeiten eines elektronischen, fallbasierten Prüfungssystems genutzt werden.
Item Type: |
Conference or Workshop Item (Abstract) |
|---|---|
Division/Institute: |
04 Faculty of Medicine > Medical Education > Institute for Medical Education 04 Faculty of Medicine > Medical Education > Institute for Medical Education > Education and Media Unit (AUM) |
UniBE Contributor: |
Bauer, Daniel |
Subjects: |
600 Technology > 610 Medicine & health |
Publisher: |
German Medical Science GMS Publishing House |
Language: |
German |
Submitter: |
Daniel Bauer |
Date Deposited: |
25 Sep 2018 11:09 |
Last Modified: |
05 Dec 2022 15:18 |
Publisher DOI: |
10.3205/18gma116 |
URI: |
https://boris.unibe.ch/id/eprint/120109 |
Actions (login required)
 |
Edit item |