Development of a competency-based formative progress test with student-generated MCQs: Results from a multi-centre pilot study Translated title: Entwicklung eines formativen kompetenzorientierten Progresstests mit MC-Fragen von Studierenden – Ergebnisse einer multifakultären Pilotstudie

Abstract

Introduction: Progress tests provide students feedback on their level of proficiency over the course of their medical studies. Peer-assisted learning and competency-based education have become increasingly important in medical education. Although progress tests have been proven to be useful as a longitudinal feedback instrument, there are currently no progress tests that have been created in cooperation with students or that focus on competency in medical education.

In this study, we investigated the extent to which students can be included in the development of a progress test and demonstrated that aspects of knowledge related to competency can be represented on a competency-based progress test.

Methods: A two-dimensional blueprint for 144 multiple-choice questions (MCQs) covering groups of medical subjects and groups of competency areas was generated by three expert groups for developing the competency-based progress test. A total of 31 students from seven medical schools in Germany actively participated in this exercise. After completing an intensive and comprehensive training programme, the students generated and reviewed the test questions for the competency-based progress test using a separate platform of the ItemManagementSystem (IMS). This test was administered as a formative test to 469 students in a pilot study in November 2013 at eight medical schools in Germany. The scores were analysed for the overall test and differentiated according to the subject groups and competency areas.

Results: A pool of more than 200 MCQs was compiled by the students for pilot use, of which 118 student-generated MCQs were used in the progress test. University instructors supplemented this pool with 26 MCQs, which primarily addressed the area of scientific skills. The post-review showed that student-generated MCQs were of high quality with regard to test statistic criteria and content. Overall, the progress test displayed a very high reliability. When the academic years were compared, the progress test mapped out over the course of study not only by the overall test but also in terms of the subject groups and competency areas.

Outlook: Further development in cooperation with students will be continued. Focus will be on compiling additional questions and test formats that can represent competency at a higher skill level, such as key feature questions, situational judgement test questions and OSCE. In addition, the feedback formats will be successively expanded. The intention is also to offer the formative competency-based progress test online.

Zusammenfassung

Einleitung: Progresstests geben Studierenden Feedback über ihren Wissenszuwachs im Verlauf ihres Studiums. In der medizinischen Ausbildung haben Peer-assisted-learning und kompetenzbasierte Ausbildung zunehmend Bedeutung erlangt. Während Progresstests sich als longitudinales Feedback-Instrument bewährt haben, gibt es bisher keine Progresstests, die in Zusammenarbeit mit Studierenden erstellt wurden und die die Kompetenzorientierung der medizinischen Ausbildung aufgreifen.

In dieser Studie soll zum einen untersucht werden, inwieweit Studierende in die Prüfungsentwicklung eines Progresstests eingebunden werden können und zum anderen soll gezeigt werden, dass sich die Wissensaspekte von Kompetenzen in einem kompetenzorientierten Progresstest abbilden lassen.

Methoden: Für den kompetenzorientierten Progresstest wurde ein zweidimensionaler „Blueprint“ für 144 MC-Fragen mit gruppierten medizinischen Fächern und gruppierten Kompetenzbereichen von drei Expertengruppen erstellt. An der Entwicklung des kompetenzorientierten Progresstests haben sich 31 Studierende aus sieben medizinischen Fakultäten in Deutschland aktiv beteiligt. Nach einem intensiven und umfassenden Schulungsprogramm erstellen und reviewten die Studierenden unter Nutzung einer eigenständigen Plattform des ItemManagementSystems die Prüfungsfragen des kompetenzorientierten Progresstests. Der kompetenzorientierte Progresstest wurde im November 2013 an acht medizinischen Fakultäten in Deutschland als formativer Test im Rahmen einer Pilotstudie durchgeführt, an dem 469 Studierende teilnahmen. Die erzielten Punktwerte wurden für den Gesamttest sowie in differenzierter Form für die „Fächergruppen“ und „Kompetenzbereiche“ analysiert.

Ergebnisse: Für den Piloteinsatz im Jahr 2013 wurde von den Studierenden ein MC-Fragenpool von über 200 MC-Fragen entwickelt. 118 MC-Fragen von Studierenden wurden im Progresstest verwendet. 26 MC-Fragen wurden von Dozenten insbesondere im Bereich Wissenschaftskompetenz ergänzt. Es zeigte sich, dass die MC-Fragen von Studierenden hinsichtlich teststatistischer Kriterien und inhaltlicher Prüfung im Postreview von hoher Qualität waren. Der Progresstest weist insgesamt eine sehr hohe Reliabilität auf. Im Vergleich der Studienjahre bildete sich der Progress im Verlauf des Studiums sowohl in der Gesamtbetrachtung des Tests als auch hinsichtlich der „Fächergruppen“ und „Kompetenzbereiche“ ab.

Ausblick: Die Weiterentwicklung in Kooperation mit Studierenden wird fortgesetzt. Im Fokus steht dabei die Erweiterung auf zusätzliche Fragen- und Prüfungsformate, die Kompetenzorientierung auf einem höheren Kompetenzlevel abbilden können, wie z.B. Key Feature-Fragen, Situational-Judgement-Test-Fragen und OSCE. Des Weiteren werden die Feedbackformate sukzessive erweitert. Auch ist geplant, den formativen kompetenzorientierten Progresstest webbasiert anzubieten.