Wie können unbeaufsichtigte Prüfungen effizient online gestaltet werden? Welche Massnahmen sind erforderlich für die Qualitätskontrolle? Das Projekt «Kompetenznachweise 4.0» geht unter anderem diesen Fragen nach.
In einem ersten Schritt des Projektes wurde eine Studie über die Gestaltung von Online-Prüfungen in den „Corona-Semestern“ 2020-21 gemacht. Das Autorenteam stellte folgendes fest: bei «grossen Prüfungen» wird die Art der Prüfungen darauf ausgerichtet, dass die Unterscheidung von richtigen und falschen Antworten einfach ist. Dies ermöglicht, dass deren Korrektur und Bewertung rasch vorankommt, unabhängig davon, welche Fachkraft die Korrektur vornimmt (1). Die Hochschule Luzern Wirtschaft bietet eine Hochschulausbildung mit etwa 2000 Studierenden in ihren Studiengängen an, wobei in einigen Grundlagenfächern bis zu 860 Studierende pro Durchführung geprüft werden. Da diese Prüfungen während der Corona-Zeit nicht beaufsichtigt wurden, spielte Fairness eine grössere Rolle als zu «normalen Zeiten»:
Abbildung 1: Institutionelles Management von High-Stakes-Prüfungen (Hochschule Luzern Wirtschaft, aus swissuniversities P-8 «digitale Kompetenznachweise 4.0»: MacKevett, Hodel, Sattler)
Zu den Massnahmen, die hier ergriffen wurden, gehörten Elemente wie Zeitdruck, zufällige Reihenfolge der Fragen und variabel gestaltete Aufgaben. Dies deckt sich mit der bisherigen Literatur zu diesem Thema (2). Um unbeaufsichtigte Prüfungen effizient online zu gestalten, erstellten die Dozierenden Prüfungsaufgaben, die von einer ganzen Fachschaft zuverlässig evaluiert werden konnten. Durch die Reduzierung der Antwortvarianz konnte somit die Arbeitsbelastung gleichzeitig reduziert werden, um diese während der unsicheren Corona-Zeit in Grenzen zu halten. Schliesslich wurden diese Massnahmen von den Dozierenden als zentraler Faktor der Qualitätskontrolle angesehen.
Diese Ergebnisse stehen im Widerspruch zu dem aktuellen Trend in der Forschung, der eine Constructive Alignment und Portfolio-Bewertung bei Online-Prüfungsverfahren fordert (3). Anekdotische Belege aus anderen Diskussionen an Hochschulen in der Schweiz und in Deutschland deuten darauf hin, dass diese Situation weit verbreitet und keineswegs ungewöhnlich ist. Portfoliobewertungen werden als ineffizient angesehen, da sie eine hohe Varianz der Antworten und eine geringe Interrater-Reliabilität aufweisen, was zu einer schlechten Prüfungsqualität führt. Was in dieser Diskussion jedoch fehlt, ist eine tiefergehende Untersuchung der externen Validität: Prüfungen mögen zwar an den im Unterricht vermittelten Inhalten ausgerichtet sein, spiegeln aber nicht die am Arbeitsplatz erwarteten Kompetenzen wider.
Ab Herbst 2022 untersucht das Projekt weiterhin die digitalen Leistungsnachweise an der HSLU, die eine Kompetenzorientierung aufweisen. Dies erfordert eine Verlagerung von der Bewertung von Wissenskompetenz hin zur «situativen Didaktik» (4). Dabei wird ein besonderer Wert daraufgelegt, dass die Prüfungspraxis an der Hochschule sowohl ihre Qualität erhält als auch vielfältiger wird.
Quellen
(1) MacKevett & Gutmann (2022). High-Stakes Online Exams. Unpublished manuscript, forthcoming.
(2) Mackay, A. M. (2019, vol. 16, no. 3 https://doi.org/10.53761/1.16.3.5). An online testing design choice typology towards cheating threat minimisation. Journal of University Teaching & Learning Practice.
(3) Ali, L. (2018). The Design of Curriculum, Assessment and Evaluation in Higher Education with Constructive Alignment. Journal of Education and e-learning Research, 5(1), 72-78.
(4) Kaiser, H. (2019). Situationsdidaktik Konkret. Bern: Hep Verlag.
Haben Sie Fragen? Wir helfen gerne weiter!
Kontakt
Hochschule Luzern
Douglas MacKevett
+41 41 228 99 69
email hidden; JavaScript is required
Image by Song_about_summer at Adobe Stock
22. August 2022, Douglas MacKevett, Markus Hodel und Simone Sattler