Entwicklung einer computerbasierten Schwierigkeitsprädiktion von Leseverstehensaufgaben.

Literaturnachweis - Detailanzeige

Trefferliste

Autor/in	Zimmermann, Stefan
Institution	Leibniz-Institut für Bildungsverläufe
Titel	Entwicklung einer computerbasierten Schwierigkeitsprädiktion von Leseverstehensaufgaben.
Quelle	Bamberg: Leibniz Institute for Educational Trajectories (LIfBi) (2016), 40 S. PDF als Volltext kostenfreie Datei Link als defekt meldenVerfügbarkeit
Reihe	NEPS working paper. 64
Beigaben	Literaturangaben
Sprache	deutsch
Dokumenttyp	online; Monographie; Graue Literatur
Schlagwörter	Testkonstruktion; Kompetenzmessung; Testentwicklung; Schuljahr 09; Schüler; Lesekompetenz; Leseverstehen
Abstract	Die Vorhersagbarkeit von Aufgabenschwierigkeiten im Bereich des Leseverstehens hat sowohl praktische Konsequenzen für die Ökonomie der Testkonstruktion als auch theoretische Implikationen. Aus theoretischer Perspektive besteht ein Forschungsdesiderat in der Untersuchung derjenigen kognitiven Prozesse, die beim Lösen von Leseverstehensaufgaben im Multiple-Choice-Format zum Tragen kommen. Zudem werden in der praktischen Testentwicklung beim Schreiben von neuen Testaufgaben Informationen darüber benötigt, was eine Aufgabe schwierig respektive leicht macht, um sukzessive in zukünftigen Studien die Passung zwischen Testschwierigkeit und Personenfähigkeit zu verbessern. Da die Erprobung von Testmaterial in Pilotstudien relativ zeitaufwändig und damit kostenintensiv ist, kann hier eine modellbasierte Abschätzung der Aufgabenschwierigkeiten die Pilotstudien sinnvoll ergänzen. Zu einfache oder zu schwere Aufgaben können somit vorab identifiziert werden und von einer empirischen Pilotierung ausgeschlossen werden oder auf Grund der Erkenntnisse, was eine Aufgabe schwierig macht, umgeschrieben werden. Für eine solche praktische Anwendung ist es entscheidend, dass die Ergebnisse der Schwierigkeitsabschätzungen den Testentwicklern bei Bedarf zur Verfügung gestellt werden. Deshalb wird in der vorliegenden Arbeit auf manuelle Kodierungen von Aufgabenmerkmalen verzichtet und verschiedene automatisierbare Methoden der quantitativen (Computer-) Linguistik eingesetzt (u.a. Part-of-Speech-Tagging und korpusbasierte Worthäufigkeitsanalysen) und im Hinblick auf ihre Eignung zur Prädiktion von Aufgabenschwierigkeiten in der Adoleszenz untersucht. Dazu werden die Aufgabenschwierigkeiten im Rahmen eines Linear Logistischen Testmodells (LLTM) als Linearkombinationen von Aufgabenmerkmalen dargestellt. Die empirischen Ergebnisse einer Hauptstudie in der 9. Klasse zeigen, dass ein zufriedenstellendes Modell zur Vorhersagbarkeit von Aufgabenschwierigkeiten aufgestellt werden kann, das zudem die Konstruktvalidität des NEPS Leseverstehenstests stützt. Da in der Sprachverarbeitung verschiedene Prozesse altersabhängig sind und sich im Erwachsenenalter der Wortschatz verbessert und das verbale Arbeitsgedächtnis sich verschlechtert, wird in einem nächsten Schritt die Übertragbarkeit der Ergebnisse auf das Erwachsenenalter überprüft. Dazu wird die Prädiktion der zuvor ausgewählten Aufgabenmerkmale bei den gleichen Aufgaben in einer Pilotstudie an Erwachsenen untersucht. Empirisch zeigt sich bei den Erwachsenen zwar eine ähnlich große Varianzaufklärung in den Aufgabenschwierigkeiten, die Konfidenzintervalle einzelner Schwierigkeitskomponenten sind jedoch u.a. auf Grundlage der deutlich kleineren Stichprobe erheblich größer. Somit können zwar in diesem Altersbereich leichte und schwierige Aufgaben identifiziert werden; gleichzeitig lassen die Ergebnisse für einzelne Schwierigkeitskomponenten jedoch keinen Vergleich mit der Studie in der Adoleszenz zu, so dass die Generalisierbarkeit auf andere Altersbereiche nicht abschließend geklärt werden kann. (Orig.). The prediction of item difficulties in reading assessments has major implications for the test development process as item writing can be organised more efficiently as the need for costly pilot studies decreases. In addition new insights into the construct of reading competency and the processing of multiple choice items are gained. The test development process is time consuming: more items have to be written than are required by the final test form as many items are discarded because of their psychometric item properties in pilot studies. The prediction of item difficulty could help making this process more efficient, as very easy or very difficult items could be identified and revised beforehand. Furthermore, the test difficulty can be adjusted well-informed to the competency level of the population for a maximum of test information. For the practical application in test development a prompt provision of the estimated item difficulty is necessary. Previous research has shown that the rating of the item features can be cumbersome. To overcome these issues a new methodological approach is suggested that draws on quantitative linguistics: word frequencies are analysed to assess the vocabulary and part-of-speech-tagging is used to assess the propositional density. These item features are then used in a linear logistic test model (LLTM) to predict item difficulties in a main study with 9th graders. The data analysis shows that the resulting model fits the data reasonable well and that the construct validity of the NEPS reading tests is supported. As age differences in language components such as vocabulary and the verbal working memory are well known in adulthood, in a further pilot study it was investigated if the results could be generalized. The results showed a similar good prediction of the item difficulties. However, in the LLTM the effects of the item components possessed much larger confidence intervals. Thus, the generalization of the results in the adolescence remains vague.
Erfasst von	DIPF \| Leibniz-Institut für Bildungsforschung und Bildungsinformation, Frankfurt am Main
Update	2020/3