Übereinstimmung, Variabilität und Reliabilität von Schülerurteilen zur Unterrichtsqualität auf Schulebene. Ergebnisse aus 81 Ländern.

Autor/inn/en	Wenger, Marina; Lüdtke, Oliver; Brunner, Martin
Titel	Übereinstimmung, Variabilität und Reliabilität von Schülerurteilen zur Unterrichtsqualität auf Schulebene. Ergebnisse aus 81 Ländern. Paralleltitel: Interrater agreement, variability and reliability of student ratings of instructional quality at the school-level. Results from 81 countries.
Quelle	In: Zeitschrift für Erziehungswissenschaft, 21 (2018) 5, S. 929-950Infoseite zur Zeitschrift PDF als Volltext Link als defekt meldenVerfügbarkeit
Beigaben	Illustration
Sprache	deutsch
Dokumenttyp	online; gedruckt; Zeitschriftenaufsatz
ISSN	1434-663X; 1862-5215
DOI	10.1007/s11618-018-0813-3
Schlagwörter	Empirische Untersuchung; Fragebogen; Reliabilität; Kognitiver Prozess; Urteil; Wahrnehmung; Schule; Schüler; Klassenführung; Unterricht; Datenanalyse; Herausforderung; Qualität; Unterstützung; PISA (Programme for International Student Assessment)
Abstract	Für die Analyse der Unterrichtsqualität von Schulen durch Schülerurteile sollten drei Voraussetzungen erfüllt sein: (1) eine angemessene Übereinstimmung der Schülerurteile innerhalb der Schulen, (2) systematische Variabilität der Schülerurteile zwischen Schulen, (3) ein ausreichendes Maß an Reliabilität der aggregierten Urteile. Diese Studie untersucht mit internationalen PISA-Daten (Zyklen 2000-2012; 81 Länder, über 55.300 Schulen, über 1,3 Millionen 15-Jährige), inwiefern dies für Indikatoren der Qualitätsdimensionen des Unterrichts (Klassenführung, Kognitive Aktivierung, Konstruktive Unterstützung) zutrifft. Dafür bestimmten wir das Übereinstimmungsmaß rWG(J) sowie die Intraklassenkorrelationen ICC(1) und ICC(2). Es zeigte sich, dass (1) die Mehrzahl der Unterrichtsmerkmale eine moderate oder starke Übereinstimmung in Schulen aufwies, (2) sich Unterrichtsmerkmale aus Sicht der Schülerschaft systematisch zwischen Schulen unterschieden, jedoch (3) die Reliabilität der aggregierten Schülerurteile in vielen Ländern nicht ausreichte. Die Ergebnisse diskutieren wir vor dem Hintergrund von Konventionen zur Beurteilung der Übereinstimmung, Variabilität und Reliabilität auf Schulebene. (DIPF/Orig.). Using student ratings to assess instructional quality of schools should fulfill three requirements: (1) an appropriate level of inter-rater agreement within schools, (2) systematic variance of student ratings between schools, (3) an adequate reliability level of aggregated student ratings. Using international PISA-data (2000-2012; 81 countries, over 55,300 schools, over 1.3 million 15-year olds) this study investigated how these requirements were met regarding indicators of instructional quality (classroom management, cognitive activation, individual learning support). We computed the interrater agreement index rWG(J), as well as the intraclass correlations ICC(1) and ICC(2). Our results showed that (1) student ratings demonstrated a moderate or strong level of agreement for most indicators of instructional quality and (2) instructional quality assessed by students varied systematically between schools. Yet, (3) reliability of aggregated student ratings was not sufficient in many countries. We discuss these results regarding conventions to evaluate agreement, variability, and reliability of student ratings at the school level. (DIPF/Orig.).
Erfasst von	DIPF \| Leibniz-Institut für Bildungsforschung und Bildungsinformation, Frankfurt am Main
Update	2019/2