Scaling of competence tests in the National Educational Panel Study - many questions, some answers, and further challenges.

Literaturnachweis - Detailanzeige

Trefferliste

Autor/inn/en	Pohl, Steffi; Carstensen, Claus H.
Titel	Scaling of competence tests in the National Educational Panel Study - many questions, some answers, and further challenges.
Quelle	In: Journal for educational research online, 5 (2013) 2, S. 189-216Infoseite zur Zeitschrift PDF als Volltext kostenfreie Datei Link als defekt meldenVerfügbarkeit
Sprache	englisch
Dokumenttyp	online; Zeitschriftenaufsatz
ISSN	1866-6671
URN	urn:nbn:de:0111-opus-84309
Schlagwörter	Kompetenz; Empirische Untersuchung; Forschungsdesign; Längsschnittuntersuchung; Panel; Skalierung; Testkonstruktion; Kompetenzmessung; Lesetest; Test; Schuljahr 09; Schüler; Lesekompetenz; Lebensspanne; Daten; Item; Qualität; Behinderter; Erwachsener; Deutschland
Abstract	Kompetenzmessung in (längsschnittlichen) groß angelegten Erhebungen wie dem Nationalen Bildungspanel (NEPS) stellen spezielle Anforderungen an die Skalierung der Kompetenztestdaten. Die Herausforderungen beinhalten Skalierungsfragen, wie die Frage nach der Berücksichtigung verschiedener Antwortformate und die Behandlung von fehlenden Werten im Skalierungsmodell. Sie beinhalten aber auch Designaspekte, wie zum Beispiel die Umsetzung von adaptivem Testen und die Inklusion von Schülern mit sonderpädagogischem Förderbedarf in die Kompetenzerhebung. Besonders in längsschnittlichen Designs stellt sich auch die Frage nach der Verlinkung von Kompetenzwerten über verschiedene Kohorten und Messzeitpunkte. Mit diesem Artikel wollen wir einige der Herausforderungen darlegen, denen man sich bei der Skalierung der Kompetenztestdaten stellen muss, einen Überblick über Forschung geben, die wir im Rahmen des NEPS durchgeführt haben, um Antworten auf diese Fragen zu finden, sowie Themen für weitere Forschung aufzeigen. Während wir für den Großteil der Themen einen Überblick über die bisher durchgeführte Forschung geben, beschreiben wir die Forschung zur Untersuchung der Annahmen für eine Verlinkung von Kohorten im NEPS ausführlicher. Im Speziellen untersuchen wir ob dieselbe Kompetenz über die gesamte Lebensspanne kohärent gemessen werden kann. Die Ergebnisse zeigen, dass für die Verlinkung des Lesetests der neunten Klasse mit dem Test der Erwachsenen Messinvarianz nicht für alle Items gilt. Die Implementation der Forschungsergebnisse in die Skalierungspraxis der Kompetenztestdaten im NEPS wird erläutert und die Anwendbarkeit der Forschungsergebnisse für andere groß angelegte Studien wird diskutiert. (DIPF/Orig.). Competence measurement in (longitudinal) large-scale assessments, such as in the National Educational Panel Study (NEPS), imposes specific demands on the scaling of the competence data. These challenges include scaling issues such as the question on how to deal with different response formats as well as with missing values in the scaling model. They also include design aspects, as for example, the incorporation of adaptive testing and the inclusion of students with special educational needs in the assessment. Especially in longitudinal designs the question of linking of competence scores across different cohorts and measurement occasions arises. With this article we aim at pointing out some of the challenges one has to meet when scaling competence data of (longitudinal) large-scale assessments, at giving an overview of research we have conducted within the NEPS to find solutions to these questions, and at pointing out some directions for future research. While for most of the topics we give an overview of the research that has been conducted in NEPS, we more thoroughly describe the research we have conducted on investigating the assumptions necessary for linking of different cohorts in NEPS. We specifically target the question whether the same competence may be measured coherently across the whole lifespan. The results show that for linking the Grade 9 reading test to the adult reading test, measurement invariance does not hold for all items. The implementation of the research results into the scaling of NEPS competence data is described and the applicability of the research results to other large-scale studies is discussed. (DIPF/Orig.).
Erfasst von	DIPF \| Leibniz-Institut für Bildungsforschung und Bildungsinformation, Frankfurt am Main
Update	2014/2