Essays zu methodischen Herausforderungen im Large-Scale Assessment.

Literaturnachweis - Detailanzeige

Autor/in	Robitzsch, Alexander
Titel	Essays zu methodischen Herausforderungen im Large-Scale Assessment.
Quelle	Berlin: Kultur-, Sozial- und Bildungswissenschaftliche Fakultät (2016), VII, 232 S. PDF als Volltext kostenfreie Datei (1); PDF als Volltext kostenfreie Datei (2); PDF als Volltext kostenfreie Datei (3) Link als defekt meldenVerfügbarkeit Berlin, Humboldt Universität zu Berlin, Diss., 2015.
Sprache	deutsch
Dokumenttyp	online; Monographie
URN	urn:nbn:de:kobv:11-100236562
Schlagwörter	Forschungsmethode; Großforschung; Dissertation; Bewertung; Herausforderung
Abstract	Mit der wachsenden Verbreitung empirischer Schulleistungsleistungen im Large-Scale Assessment gehen eine Reihe methodischer Herausforderungen einher. Dabei sind Item-Response-Modelle (IRT-Modelle) zentral in der Skalierung von Schülerfähigkeiten. Die vorliegende Arbeit untersucht, welche Konsequenzen Modellverletzungen in eindimensionalen IRT-Modellen (insbesondere im Rasch-Modell) besitzen. Insbesondere beschäftigt sich die vorliegende Arbeit mit den folgenden vier methodischen Herausforderungen von Modellverletzungen. Erstens, implizieren Positions- und Kontexteffekte, dass gegenüber einem eindimensionalen IRT-Modell Itemschwierigkeiten nicht unabhängig von der Position im Testheft und der Zusammenstellung des Testheftes ausgeprägt sind und Schülerfähigkeiten im Verlauf eines Tests variieren können. Zweitens, verursacht die Administration von Items innerhalb von Testlets lokale Abhängigkeiten, wobei unklar ist, ob und wie diese in der Skalierung berücksichtigt werden sollen. Drittens, können Itemschwierigkeiten aufgrund verschiedener Lerngelegenheiten zwischen Schulklassen variieren. Viertens, sind insbesondere in lowstakes Tests nicht bearbeitete Items vorzufinden. Diese Arbeit liefert empirische Befunde zu den oben genannten Herausforderungen. Insbesondere wird argumentiert, dass trotz Modellverletzungen nicht zwingend von verzerrten Schätzungen von Itemschwierigkeiten, Personenfähigkeiten und Reliabilitäten ausgegangen werden muss. Auÿerdem wird hervorgehoben, dass man psychometrisch häufig nicht entscheiden kann und entscheiden sollte, welches IRT-Modell vorzuziehen ist. Dies trifft auch auf die Fragestellung zu, wie nicht bearbeitete Items zu bewerten sind. Ausschließlich Validitätsüberlegungen können dafür Hinweise geben. Modellverletzungen in IRT-Modellen lassen sich konzeptuell plausibel in den Ansatz des Domain Samplings (Item Sampling; Generalisierbarkeitstheorie) einordnen. Dabei wird nicht nur auf die Existenz latenter Variablen Bezug genommen. In dieser Arbeit wird gezeigt, dass die statistische Unsicherheit in der Modellierung von Kompetenzen nicht nur von der Stichprobe der Personen, sondern auch von der Stichprobe der Items und der Wahl statistischer Modelle verursacht wird. (Orig.). Several methodological challenges emerge in large-scale student assessment studies like PISA and TIMSS. Item response models (IRT models) are essential for scaling student abilities within these studies. This thesis investigates the consequences of several model violations in unidimensional IRT models (especially in the Rasch model). In particular, this thesis focuses on the following four methodological challenges of model violations. First, position effects and contextual effects imply (in comparison to unidimensional IRT models) that item difficulties depend on the item position in a test booklet as well as on the composition of a test booklet. Furthermore, student abilities are allowed to vary among test positions. Second, the administration of items within testlets causes local dependencies, but it is unclear whether and how these dependencies should be taken into account for the scaling of student abilities. Third, item difficulties can vary among different school classes due to different opportunities to learn. Fourth, the amount of omitted items is in general non-negligible in low stakes tests. This thesis provides empirical evidence for the above mentioned methodological challenges. It is argued that estimates of item difficulties, student abilities and reliabilities can be unbiased despite model violations. Furthermore, it is argued that the choice of an IRT model cannot and should not be made (solely) from a psychometric perspective. This also holds true for the problem of how to score omitted items. Only validity considerations provide reasons for choosing an adequate scoring procedure. Model violations in IRT models can be conceptually classifieed within the approach of domain sampling (item sampling; generalizability theory). In this approach, the existence of latent variables need not be posed. It is argued that statistical uncertainty in modelling competencies does not only depend on the sampling of persons, but also on the sampling of items and on the choice of statistical models. (Orig.).
Erfasst von	Deutsche Nationalbibliothek, Frankfurt am Main
Update	2016/3