Software-basierte Evaluation freier Antwortformate.

Autor/in	Härtig, Hendrik
Titel	Software-basierte Evaluation freier Antwortformate.
Quelle	In: Zeitschrift für Didaktik der Naturwissenschaften, 20 (2014) 1, S. 115-128Infoseite zur Zeitschrift PDF als Volltext Link als defekt meldenVerfügbarkeit
Sprache	deutsch
Dokumenttyp	online; Zeitschriftenaufsatz
ISSN	2197-988X
DOI	10.1007/s40573-014-0012-6
Schlagwörter	Evaluation; Computerprogramm; Format; Antwort; Bewertung
Abstract	Bislang werden in größeren Forschungsprojekten aus Gründen der Ökonomie und Auswerteobjektivität bevorzugt Paper-Pencil Instrumente mit gebundenen Aufgabenformaten verwendet. Es zeigt sich, dass zumindest eine Ergänzung um freie Antwortformate sinnvoll im Hinblick auf die Validität der Tests ist, dem steht aber der immense Aufwand hinsichtlich einer reliablen Auswertung entgegen. Inzwischen existieren jedoch Softwarepakete, die in der Lage sind, mittels semantischer Analysen längere schriftsprachliche Antworten zu verarbeiten und zu kategorisieren. Solche Verfahren könnten genutzt werden, um auch bei vielen ProbandInnen freie Antwortformate einzusetzen und diese Software-basiert zu evaluieren. Für englischsprachige Projekte im Bereich Fachwissen liegen bereits erste ermutigende Befunde für große ProbandInnenzahlen vor. Hier wird die Software-basierte Evaluation in einer sehr kleinen Stichprobe für acht Aufgaben eines deutschsprachigen Instruments zur Erfassung des fachdidaktischen Wissens in Physik erprobt. Dabei lassen sich einerseits gute bis sehr guter Übereinstimmungen zwischen der Software und menschlichen ExpertInnen erzielen. Andererseits werden aber auch Optimierungsoptionen deutlich. Vor allem die Zahl der ProbandInnen aber auch die Aufgabengestaltung bietet Verbesserungspotential. With respect to the tremendous work and costs, the majority of large scale assessments utilize closed-response item formats. However it can be shown that open-ended question could at least increase the validity of such assessments. Within the last few years software has been developed which can process and categorize written answers based on latent semantic analyses. So far there are some studies evaluating the possibility to use such software packages and apply a software-based evaluation of open-ended test items. First results for large groups of English speaking students within an assessment of conceptual understanding are encouraging. Within the study presented here, the applicability of software-based evaluation of open-ended test items has been proven for a small scale assessment of physics PCK. On the one hand good to perfect agreement for half of the eight items between the software and human experts was found. On the other hand we identified two possibilities for increasing the agreement: The size of the sample might have been too small for some of the items. Furthermore the structure of the items may influence the results significantly.
Erfasst von	IPN - Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Update	2015/2