Curriculum-based measurement of basic arithmetic competence. Do different booklets represent the same ability?

Literaturnachweis - Detailanzeige

Trefferliste

Autor/inn/en	Vanauer, Christin; Chromik, Sarah; Doebler, Philipp; Kuhn, Jörg-Tobias
Titel	Curriculum-based measurement of basic arithmetic competence. Do different booklets represent the same ability? Paralleltitel: Verlaufsdiagnostik arithmetischer Grundkompetenzen. Messen verschiedene Booklets die gleiche Fähigkeit?
Quelle	In: Journal for educational research online, 14 (2022) 1, S. 61-88Infoseite zur Zeitschrift PDF als Volltext kostenfreie Datei (1); PDF als Volltext kostenfreie Datei (2); PDF als Volltext kostenfreie Datei (3) Link als defekt meldenVerfügbarkeit
Sprache	englisch
Dokumenttyp	online; Zeitschriftenaufsatz
ISSN	1866-6671
DOI	10.25656/01:24873 10.31244/jero.2022.01.04
URN	urn:nbn:de:0111-pedocs-248731
Schlagwörter	Längsschnittuntersuchung; Lerndiagnostik; Test; Verlaufsdiagnostik; Schuljahr 03; Schuljahr 04; Primarbereich; Lernerfolg; Lernerfolgsmessung; Schülerleistung; Lernen; Arithmetik; Mathematikunterricht; Mathematische Kompetenz; Rechenschwäche; Prädiktor; Sonderpädagogik; Deutschland
Abstract	Eine wichtige Voraussetzung dafür, Lernverlaufsdiagnostik für instruktionale Entscheidungen nutzen zu können, sind äquivalente Testbooklets. Diese Studie prüft diese Voraussetzung für die "Lernverlaufsdiagnostik - Mathematik 2-4" (LVD-M 2-4; Strathmann & Klauer, 2012). Über 19 Wochen hinweg bearbeiteten n = 108 Drittklässler:innen und n = 109 Viertklässler:innen in zweiwöchigem Abstand zehn verschiedene Paralleltests mit je 24 arithmetischen Aufgaben. Mithilfe (generalisierter) gemischter linearer Modelle wurden Booklet-Effekte in Relation zur Leistungsvarianz zwischen den Kindern gesetzt. Damit wurde die Kernannahme des Binomial-Modells geprüft, dass gleiche Scores aus verschiedenen zufallsgenerierten Booklets die gleiche latente Fähigkeit abbilden sollten. In beiden Klassenstufen fiel die Between-Booklet-Varianz in Relation zur Varianz zwischen den Kindern sehr gering aus. Für einige Aufgabentypen variierte die Schwierigkeit zwar zwischen den Booklets, war verglichen mit der Varianz der Schülerleistung aber nicht substanziell. Die Befunde ließen sich in zwei Interventionsgruppen einer RTI-Studie replizieren. Die Booklets können also für typische Anwendungszwecke als äquivalent angesehen werden. Die Implikationen dieser Befunde werden vor dem Hintergrund von Lernverlaufsdiagnostik und der Konstruktion äquivalenter Testbooklets diskutiert. (DIPF/Orig.). An important prerequisite of progress monitoring as one source to support instructional decision-making is the existence of equivalent booklets. This study assesses this prerequisite with respect to a German elementary school math curriculum-based measurement instrument (LVD-M 2-4; Strathmann & Klauer, 2012). Every second week of a 19-weeks period, n = 108 third and n = 109 fourth graders (regular instruction) completed one of ten parallel booklets, each containing 24 arithmetic tasks. Analyses with (generalized) linear mixed models showed that in both grades the between-booklet variance was so small in relation to the between student variance that it was practically irrelevant. This corresponds to the key assumption of the binomial model that equivalent scores from different booklets reflect the same ability. While item difficulty varied within some of the tasks, the effect was insubstantial in comparison with the variance between students. These findings were replicated in two intervention samples of an RTI study. The parallel booklets can therefore be regarded as equivalent for typical applied purposes. Implications of these findings for curriculum-based measurement and booklet design are discussed. An important prerequisite of progress monitoring as one source to support instructional decision-making is the existence of equivalent booklets. This study assesses this prerequisite with respect to a German elementary school math curriculum-based measurement instrument (LVD-M 2-4; Strathmann & Klauer, 2012). Every second week of a 19-weeks period, n = 108 third and n = 109 fourth graders (regular instruction) completed one of ten parallel booklets, each containing 24 arithmetic tasks. Analyses with (generalized) linear mixed models showed that in both grades the between-booklet variance was so small in relation to the between student variance that it was practically irrelevant. This corresponds to the key assumption of the binomial model that equivalent scores from different booklets reflect the same ability. While item difficulty varied within some of the tasks, the effect was insubstantial in comparison with the variance between students. These findings were replicated in two intervention samples of an RTI study. The parallel booklets can therefore be regarded as equivalent for typical applied purposes. Implications of these findings for curriculum-based measurement and booklet design are discussed. (DIPF/Orig.).
Erfasst von	DIPF \| Leibniz-Institut für Bildungsforschung und Bildungsinformation, Frankfurt am Main
Update	2023/1