Rating procedures to evaluate generic critical online reasoning in an open Internet environment.

Autor/inn/en	Hartig, Johannes; Illmann, Jannick; Köhler, Carmen; Kohmer, Anika; Stroganova, Alisa
Titel	Rating procedures to evaluate generic critical online reasoning in an open Internet environment.
Quelle	In: Zeitschrift für Erziehungswissenschaft, 29 (2026) 1, S. 19-44Infoseite zur Zeitschrift PDF als Volltext kostenfreie Datei (1); PDF als Volltext kostenfreie Datei (2); PDF als Volltext (3) Link als defekt meldenVerfügbarkeit
Sprache	englisch
Dokumenttyp	online; Zeitschriftenaufsatz
ISSN	1862-5215
DOI	10.25656/01:35221 10.1007/s11618-025-01365-5
URN	urn:nbn:de:0111-pedocs-352210
Schlagwörter	Kritisches Denken; Empirische Forschung; Internet; Student; Online-Recherche
Abstract	Universitätsstudierende nutzen regelmäßig Internetressourcen für ihre akademischen Arbeiten. Dies erfordert die Fähigkeit, Suchergebnisse kritisch zu bewerten, relevante Informationen zu identifizieren und begründete Schlussfolgerungen zu ziehen. Wir bezeichnen diese Fähigkeiten als Critical Online Reasoning (COR). In diesem Beitrag werden Methoden zur Bewertung des generischen kritischen Online-Reasonings (GEN-COR) in einer offenen Internetumgebung vorgestellt, wobei der Schwerpunkt auf der Online-Informationsbeschaffung (OIA) und dem auf Evidenz und Synthese basierenden Reasoning (REAS) liegt. Basierend auf Daten von zwei Aufgaben werden die Prinzipien der Aufgabenkonstruktion und die Entwicklung von Kriterien zur Bewertung der Aufgabenleistung erläutert. Mit den Daten von 376 Studienanfänger*innen aus verschiedenen Fachbereichen untersuchen wir die Interraterreliabilität, die Schwierigkeit der Indikatoren und die faktorielle Struktur von OIA und REAS. Die Ergebnisse zeigen, dass menschliche Bewertungen die GEN-COR-Leistung zuverlässig beurteilen und dass OIA und REAS unterschiedliche, wenn auch überraschenderweise unkorrelierte Dimensionen sind. Weitere Forschungsarbeiten sind erforderlich, um diese Ergebnisse aufgabenübergreifend zu validieren und die Fähigkeiten zur kritischen Informationsbewertung (CIE) zu integrieren. (DIPF/Orig.). University students regularly rely on Internet resources for academic work, requiring the ability to critically evaluate search results, identify relevant information, and draw well-founded conclusions. We refer to these skills as critical online reasoning (COR). This paper presents methods to assess Generic Critical Online Reasoning (GEN-COR) in an open Internet environment, focusing on online information acquisition (OIA) and reasoning based on evidence and synthesis (REAS). Based on data from two tasks, we illustrate the principles of task construction and the development of criteria to evaluate task performance. Using data from 376 first-year students from different fields, we examine inter-rater reliability, indicator difficulty, and the factorial structure of OIA and REAS. Results show that human ratings reliably assess GEN-COR performance and that OIA and REAS are distinct, although surprisingly uncorrelated dimensions. Further research is needed to validate these findings across tasks and to integrate critical information evaluation (CIE) skills. (DIPF/Orig.).
Erfasst von	DIPF \| Leibniz-Institut für Bildungsforschung und Bildungsinformation, Frankfurt am Main
Update	2026/3