Niedrige Testmodellpassung als Resultat mangelnder Auswertungsobjektivität bei der Kodierung landesweiter Vergleichsarbeiten durch Lehrkräfte.

Autor/inn/en	Spoden, Christian; Fleischer, Jens; Leutner, Detlev
Titel	Niedrige Testmodellpassung als Resultat mangelnder Auswertungsobjektivität bei der Kodierung landesweiter Vergleichsarbeiten durch Lehrkräfte. Gefälligkeitsübersetzung: Low test model fit and teacher rater bias - results from a state-wide administered large-scale assessment of competencies.
Quelle	In: Journal für Mathematik-Didaktik, 35 (2014) 1, S. 79-99 PDF als Volltext Link als defekt meldenVerfügbarkeit
Sprache	deutsch; englische Zusammenfassung
Dokumenttyp	online; gedruckt; Zeitschriftenaufsatz
ISSN	0173-5322; 1869-2699
DOI	10.1007/s13138-013-0056-z
Schlagwörter	Rasch-Modell; Testreliabilität; Kompetenzmessung; Testauswertung; Fachdidaktik; Mathematikunterricht; Vergleichsarbeit
Abstract	Bei landesweiten Vergleichsarbeiten wird die Auswertung der Test-Items von Lehrkräften auf Basis vorgegebener Manuale eigenständig durchgeführt. Inder vorliegenden Studie wird die Frage untersucht, ob mangelnde Auswertungsobjektivität (hier: mangelnde Manual-Treue) bei der Kodierung der Items durch die Lehrkräfte mit abweichenden Antwortmustern von Schüler-Lösungen in Bezug auf das bei Vergleichsarbeiten häufig verwendete Testmodell von Rasch einhergeht. Die Testhefte von Schulklassen mit niedriger und mit durchschnittlicher Modellpassung bei den nordrhein-westfälischen Vergleichsarbeiten in der achten Jahrgangsstufe im Fach Mathematik wurden von externen Beurteilern erneut ausgewertet und die Modellpassung und korrespondierende Schätzungen der Schülerkompetenzen dieser neuen Beurteilungen bestimmt. Die Ergebnisse verdeutlichen, dass (1) eine niedrige durchschnittliche Modellpassung dieser Schulklassen auf mangelnde Manual-Treue der Lehrkräfte zurückzuführen ist und dass (2) die Abweichungen im Vergleich zur manual-treuen Auswertung mit höheren mittleren Schülerkompetenzen einhergehen. Implikationen dieses Beurteilungseffektes für die Arbeit mit Vergleichsarbeiten in der Mathematik werden abschließend diskutiert. With state-wide administered large-scale assessments of competencies students' solutions of test items are independently coded by their teachers according to an instructions manual. The study at hand evaluates whether lack of conformity to the manual by the coding teacher goes along with aberrant responses in the psychometric model of Rasch. Answer sheets of both low and average fitting classes from a state-wide administered large-scale assessment in the German state of Northrhine-Westfalia were re-analysed, and model fit was re-computed. Results show that (1) low fit is correlated with lack of conformity to the manual and that (2) higher scoring ability estimates were computed when being attributed to this lack of conformity. Concluding remarks are given for the work with large-scale assessments of competencies.
Erfasst von	FIZ Karlsruhe - Leibniz-Institut für Informationsinfrastruktur
Update	2014/4