VERA fair-bessern. Ein Vergleich von Strategien zur Berücksichtigung von Kontextbedingungen bei schulischen Vergleichsarbeiten.

Literaturnachweis - Detailanzeige

Trefferliste

Autor/in	Schult, Johannes
Titel	VERA fair-bessern. Ein Vergleich von Strategien zur Berücksichtigung von Kontextbedingungen bei schulischen Vergleichsarbeiten. Paralleltitel: Improving comparative performance tests. A comparison of procedures to adjust test scores for school context.
Quelle	In: Journal for educational research online, 14 (2022) 2, S. 3-24Infoseite zur Zeitschrift PDF als Volltext kostenfreie Datei (1); PDF als Volltext kostenfreie Datei (2); PDF als Volltext (3) Link als defekt meldenVerfügbarkeit
Sprache	deutsch
Dokumenttyp	online; Zeitschriftenaufsatz
ISSN	1866-6671
DOI	10.25656/01:29059 10.31244/jero.2022.02.01
URN	urn:nbn:de:0111-pedocs-290595
Schlagwörter	Vergleichsarbeit; Vergleichende Bildungsforschung; Schule; Fairness; Heterogenität; Lernstandserhebung; Empirische Forschung; Kompetenzmessung; Mittelwert; Baden-Württemberg; Deutschland
Abstract	Um spezifische Schul- und Unterrichtseffekte abzuschätzen, werden in Lernstandserhebungen wie VERA (VERgleichsArbeiten) neben dem Landesmittelwert häufig adjustierte Schulwerte für einen fairen Vergleich rückgemeldet. Dabei wird als Vergleichswert die Leistung ähnlicher Schulen berechnet, um Einflüsse zu berücksichtigen, die jenseits des Handlungsspielraums der Lehrkräfte und Schulleitungen liegen. Zu den Adjustierungsstrategien gehören die Vergleiche mit Subgruppenmittelwerten, mit ähnlichen existierenden Schulen und mit modellbasierten Erwartungswerten. Anhand zweier Vollerhebungen von VERA 3 (je über 2300 Schulen) und VERA 8 (je über 1200 Schulen) in Baden-Württemberg aus den Jahren 2019 und 2021 wurden die Adjustierungsstrategien hinsichtlich ihrer Fairness (Determinationskoeffizient R²) und Standardfehler miteinander verglichen. Kontextvariablen waren dabei Geschlecht, Alltagssprache, Migrationshintergrund, soziokulturelles Kapital sowie zusätzlich bei VERA 8 Schulart und Vorwissen. Die modellbasierten Erwartungswerte zeigten fächerübergreifend die größten R²-Werte und die kleinsten Standardfehler. Dieser Fairness-Vorsprung geht dabei nicht zulasten der Testökonomie, denn die verwendeten Kontextvariablen werden für jede Adjustierungsstrategie benötigt. Die Ergebnisse zeigen zudem, dass die Heterogenität der Testleistungen stark vom sozialen Kontext abhängt. Vor diesem Hintergrund kann VERA mit der Rückmeldung des fairen Vergleichs ein hilfreicher Baustein für die datenbasierte Unterrichts- und Schulentwicklung sein. (DIPF/Orig.) In order to estimate specific effects of schooling and instruction, state-wide proficiency tests like VERA (VERgleichsArbeiten) often report not only the state’s mean score, but also an adjusted school score for a so-called fair comparison. The average performance of similar schools is estimated for the fair comparison with the aim of controlling for influences that lie outside the latitude of teachers and school management. Adjustment strategies include comparisons with subgroup mean scores, mean scores of similar existing schools, and model-based expected values. Using the large-scale assessments VERA 3 (over 2300 schools) and VERA 8 (over 1200 schools) in Baden-Württemberg from 2019 and 2021, adjustment strategies were compared with regard to their fairness (coefficient of determination R²) and standard errors. Variables for contextualization were gender, everyday language, migration background, socio-cultural capital, and, additionally in VERA 8, type of school and previous knowledge. Model-based expected values yielded the largest R² values and the smallest standard errors across all subjects. This advantage in terms of fairness is not to the disadvantage of the test efficiency, because the context variables are needed for every adjustment strategy. The results also show that the heterogeneity of test performances is considerably influenced by the social context. Against this backdrop, VERA featuring a fair comparison feedback can be a helpful element for school development. (DIPF/Orig.)
Erfasst von	DIPF \| Leibniz-Institut für Bildungsforschung und Bildungsinformation, Frankfurt am Main