Usability and preference of electronic vs. paper and pencil OSCE checklists by examiners and influence of checklist type on missed ratings in the Swiss Federal Licensing Exam Translated title: Usability und Präferenz von elektronischen OSCE-Checklisten im Vergleich zu papierbasierten Checklisten gemäss Prüfenden und Einfluss des Checklisten-Typs auf fehlende Bewertungen in der Eidgenössischen Prüfung

Abstract

Background:

Only a few studies with small sample sizes have compared electronic Objective Structured Clinical Examination (OSCE) rating checklists with traditional paper-based OSCE rating checklists. In this study, the examiner-perceived usability and preference for type of OSCE checklist (electronic vs. paper based) were compared, and the influence of OSCE checklist type on missed ratings was determined, for the Swiss Federal Licensing Examination in clinical skills for human medicine.

Methods:

All examiners in the Swiss Federal Licensing Examination in clinical skills for human medicine were invited over two subsequent years to evaluate the OSCE checklist type they had worked with during the examination. This was based on a questionnaire with 14 closed questions (i.e., demographic, checklist-type experience, perceived usability, checklist type preference). Furthermore, the numbers of missed ratings for the paper-based checklist were recorded.

Results:

The data from these examiners ( n=377) with experience of both OSCE checklist types were analyzed. The electronic OSCE checklist was rated significantly higher on all usability aspects (i.e., ease of use, candidate rating and error correction, clarity, distraction using the checklist, overall satisfaction), except for the speed of registering comments (no significant difference). The majority of the examiners in both years (2014: 54.5%, n=60, 2015: 89.8%, n=230) reported preference for working with the electronic OSCE checklist in the future. Missed ratings were seen for 14.2% of the paper-based OSCE checklists, which were prevented with the electronic OSCE checklists.

Conclusions:

Electronic OSCE checklists were rated significantly more user-friendly and were preferred over paper-based OSCE checklists by a broad national sample of examiners, supporting previous results from faculty-level examinations. Furthermore, missed ratings were prevented with the electronic OSCE checklists. Overall, the use of electronic OSCE checklists is therefore advisable.

Zusammenfassung

Hintergrund:

Nur wenige Studien mit kleinen Stichprobengrößen haben elektronische OSCE-Checklisten (Objective Structured Clinical Examination) mit traditionellen OSCE-Checklisten in Papierform verglichen. In dieser Studie wurden die von Prüfenden wahrgenommene Usability und Präferenz für den OSCE-Checklisten-Typ (elektronisch vs. papierbasiert) verglichen und der Einfluss des OSCE-Checklisten-Typs auf fehlende Bewertungen ermittelt für die Eidgenössische Clinical Skills-Prüfung Humanmedizin in der Schweiz.

Methode:

Die Prüfenden der Eidgenössischen Clinical Skills-Prüfung Humanmedizin wurden in zwei aufeinanderfolgenden Jahren gebeten, den OSCE-Checklisten-Typ zu bewerten, mit dem sie während der Prüfung gearbeitet hatten. Dies geschah anhand eines Fragebogens mit 14 geschlossenen Fragen (demographische Angaben, Erfahrung mit dem Checklisten-Typ, wahrgenommene Usability, Präferenz für den Checklisten-Typ). Außerdem wurde die Anzahl der fehlenden Bewertungen bei der papierbasierten Checkliste erfasst.

Resultate:

Die Daten derjenigen Prüfenden (n=377) mit Erfahrung mit beiden OSCE-Checklisten-Typen wurden ausgewertet. Die elektronische OSCE-Checkliste wurde bei allen Aspekten der Usability (einfache Benutzung, Kandidierendenbewertung und Fehlerkorrektur, Übersichtlichkeit, Ablenkung bei der Verwendung der Checkliste, Gesamtzufriedenheit) signifikant besser bewertet, mit Ausnahme der Geschwindigkeit des Erfassens von Kommentaren (kein signifikanter Unterschied). Die Mehrheit der Prüfenden in beiden Jahren (2014: 54.5%, n=60, 2015: 89.8%, n=230) gab an, in Zukunft lieber mit der elektronischen OSCE-Checkliste arbeiten zu wollen. Bei 14.2% der papierbasierten OSCE-Checklisten wurden fehlende Bewertungen festgestellt, welche mit elektronischen OSCE-Checklisten vermieden werden konnten.

Schlussfolgerungen:

Elektronische OSCE-Checklisten wurden von einer breiten nationalen Stichprobe von Prüfenden als deutlich benutzerfreundlicher eingestuft und gegenüber OSCE-Checklisten auf Papier bevorzugt, was frühere Ergebnisse von Prüfungen auf Fakultätsebene bestätigt. Außerdem wurden mit den elektronischen OSCE-Checklisten fehlende Bewertungen vermieden. Insgesamt ist die Verwendung elektronischer OSCE-Checklisten daher empfehlenswert.