A model for the estimation of testlet response time to optimize test assembly in paper-and-pencil large-scale assessments.

Autor/inn/en	Hecht, Martin; Siegle, Thilo; Weirich, Sebastian
Titel	A model for the estimation of testlet response time to optimize test assembly in paper-and-pencil large-scale assessments. Paralleltitel: Ein Modell zur Schätzung von Aufgabenbearbeitungszeiten zur Optimierung von Papier-und-Bleistift-Large-Scale-Assessments.
Quelle	In: Journal for educational research online, 9 (2017) 1, S. 32-51Infoseite zur Zeitschrift PDF als Volltext kostenfreie Datei Link als defekt meldenVerfügbarkeit
Sprache	englisch
Dokumenttyp	online; Zeitschriftenaufsatz
ISSN	1866-6671
URN	urn:nbn:de:0111-pedocs-129659
Schlagwörter	Empirische Untersuchung; Testkonstruktion; Schuljahr 09; Schüler; Berechnung; Naturwissenschaftliche Kompetenz; Naturwissenschaftlicher Unterricht; Zeit; Aufgabe; Bearbeitung; Statistische Analyse; Vorhersage; Deutschland
Abstract	Akkurate Aufgabenbearbeitungszeiten stellen einen essentiellen Bestandteil der Testkonstruktion im Large-Scale-Assessment zur Gewährleistung der Testvalidität und Erhöhung der Effizienz der Testung dar. Da die Erhebung von Aufgabenbearbeitungszeiten in Papier-und-Bleistift-Tests kostenintensiv und kompliziert ist, wird ein modellbasierter Ansatz zur Berechnung der Aufgabenbearbeitungszeiten mittels leicht verfügbarer Aufgabeneigenschaften vorgeschlagen. Diese Vorhersageformel wurde mit Bearbeitungszeitdaten von 334 Schülern, die 93 Aufgaben eines Papier-und-Bleistift-Tests zur Messung von naturwissenschaftlicher Kompetenz bearbeiteten, entwickelt. Ein hoher Anteil (94.3 %) der Varianz der Aufgabenbearbeitungszeiten (d. h., der Variation der mittleren Bearbeitungszeiten von Personen über Aufgaben) wurde durch die Anzahl an Items, Anzahl an Wörtern und dem Aufgabenformat erklärt. Eine zweite Stichprobe von 1386 Schülern bearbeiteten 125 zusätzliche Naturwissenschaftsaufgaben, um die Ergebnisse zu validieren. Insgesamt erwies sich die vorgeschlagene, leicht zu verwendende Formel als geeignet, um akkurate Bearbeitungszeiten zur Testkonstruktion zu geringen Kosten zu liefern. (DIPF/Orig.). Accurate response times are essential for assembling tests in educational largescale assessment to ensure test validity and efficient testing. Because obtaining empirical response times in pilot studies is cost-intensive and also because this process is complicated in paper-and-pencil assessments, we propose a model-based approach for calculating response times from readily available testlet properties. This prediction formula was developed using the response time data of 334 high school students who worked on 93 testlets of a paper-and-pencil test measuring science achievement. A large proportion (94.3 %) of the variance in response times (i.e., the variation of the average response times of persons across testlets) was explained by number of items, number of words, and response type. Another sample of 1,386 students who worked on 125 additional science testlets was used to validate the initial findings. Overall, the proposed easy-to-use formula is suitable for providing accurate response times for test assembly at a low cost. (DIPF/Orig.).
Erfasst von	DIPF \| Leibniz-Institut für Bildungsforschung und Bildungsinformation, Frankfurt am Main
Update	2017/3