Literaturnachweis - Detailanzeige
| Autor/in | Pietsch, Marcus |
|---|---|
| Titel | Fehlende Daten bei Unterrichtsbeobachtungen. Eine Sensitivitätsanalyse anhand von Daten der Schulinspektion Hamburg. Paralleltitel: Missing data in classroom observations. |
| Quelle | In: Empirische Pädagogik, 25 (2011) 1, S. 47-87Infoseite zur Zeitschrift |
| Beigaben | grafische Darstellungen |
| Sprache | deutsch |
| Dokumenttyp | gedruckt; Zeitschriftenaufsatz |
| ISSN | 0931-5020 |
| Schlagwörter | Empirische Untersuchung; Evaluation; Unterrichtsbeobachtung; Item-Response-Theory; Schulinspektion; Unterricht; Datenanalyse; Variable; Statistik; Daten; Modellierung; Prüfverfahren; Qualität; Deutschland; Hamburg |
| Abstract | Die Beobachtung von Unterrichtssequenzen ist im Rahmen deutscher Schulinspektionen mittlerweile Standard. Mithilfe von Unterrichtbeobachtungsbögen schätzen Inspektoren einzelne Qualitätsmerkmale des Lehrens und Lernens anhand von Ratingskalen ein. Dabei nutzen viele Inspektionen Kategorien wie "nicht beobachtbar", um einen Datenausfall auf Ebene einzelner Items möglichst genau zu spezifizieren. Dieses Vorgehen unterstellt implizit, dass eine solche Datenausfallkategorie ausschließlich dann genutzt wird, wenn das Fehlen der Information nicht auf das zu evaluierende Merkmal selbst zurückzuführen ist, also kein systematischer Zusammenhang zwischen der Qualität des einzuschätzenden Merkmals und der fehlenden Information besteht. Ob dies tatsächlich zutrifft, ist bisher nicht geklärt. Anhand einer Normierungsstichprobe der Schulinspektion Hamburg wird diese Annahme durch Nutzung von Sensitivitätsanalysen überprüft. Die Befunde zeigen, dass die vorliegenden Daten die implizite Annahme bestätigen. Weder lassen sich Verzerrungen von probabilistisch ermittelten Modellparametern konstatieren, noch sind bedeutsame Ungenauigkeiten bei der Ermittlung von rohwertbasierten Itemscores mit geringem bis moderaten Datenausfall zu beobachten. Bei einem hohen Datenausfall verhalten sich die Standardfehler rohwertbasierter Itemscores jedoch sensitiv gegenüber der Fehlspezifikation des Datenausfallprozesses. Daher wird empfohlen, Unterrichtsqualität im Rahmen von Schulinspektionsverfahren unter Anwendung komplexer statistischer Verfahren zu modellieren, anstatt nebeneinandergestellte Itemmittelwerte in Inspektionsberichten abzubilden, da die Kovariaten in den Modellierungen den Datenausfall auf Ebene einzelner Items ausgleichen können und ein solches Vorgehen somit zu akkurateren Evaluationsergebnissen führt. (DIPF/Orig.). Classroom observations are commonly used in German school inspections. Here school inspectors judge single aspects of quality of classroom teaching on rating scales in classroom observation sheets. In order to specify missing data on the level of single items as accurately as possible most inspections insert categories like "not observable" into these sheets. The introduction of such a category for the description of missing data in classroom observations is based upon the underlying assumption that it is only used if no systematic connection between the aspect that should be evaluated and the loss of information could be stated. To date this assumption is unproven. Based upon a representative reference sample of the Hamburg school inspection the assumption is tested by applying sensitivity analyses. Results indicate that the assumption is valid for the used data. Neither probabilistic model parameters nor item scores with little to moderate missing data based on raw data are seriously biased. Standard errors of raw score based item scores are however biased if the amount of missing data is high. Thus, in conclusion it is recommended to model quality of classroom teaching by applying complex statistical methods, which are giving the possibility of using strong auxiliary variables in the model, instead of presenting values on this issue in school inspection reports by using raw data based item means. (DIPF/Orig.). |
| Erfasst von | DIPF | Leibniz-Institut für Bildungsforschung und Bildungsinformation, Frankfurt am Main |
| Update | 2011/4 |
Literaturbeschaffung und Bestandsnachweise in Bibliotheken prüfen
Permalink als QR-Code
Inhalt auf sozialen Plattformen teilen (nur vorhanden, wenn Javascript eingeschaltet ist)
Teile diese Seite:
