Forschungsdaten Bildung - Details zur Studie:
KAT-HS - Kriteriumsorientiertes adaptives Testen in der Hochschule
Im Projekt KAT-HS wurden sich aus der Bologna-Reform ergebende Herausforderungen für das Prüfen im Hochschulbereich wissenschaftlich bearbeitet. Kriteriumsorientiertes computerisiertes adaptives Testen wurde als Methode zur Konstruktion, Administration und Auswertung von Hochschulklausuren konzeptuell entwickelt, beispielhaft im universitären Lehrbetrieb erprobt, anhand von Rückmeldungen verschiedener Stakeholdergruppen (Studierende, Dozentinnen und Dozenten, Studiendekaninnen und Studiendekane, IT-Verantwortlich) evaluiert und auf Hinderungsgründe einer erfolgreichen Implementation hin untersucht. Darüber hinaus wurden verschiedene unterstützende Elemente wie eine Fortbildungsveranstaltung, ein Online-Portal zum gegenseitigen Austausch von Nutzerinnen und Nutzern des Konzepts und eine frei verfügbare Testsoftware entwickelt und im Hinblick auf ihre Wirksamkeit geprüft. Zusammenfassend wurde durch das Projekt ein empirisch erprobtes, innovatives Verfahren zur computerbasierten Messung von Kompetenzen für eine breite Nutzung an deutschen Hochschulen zugänglich gemacht. (IQB/ Projekt)
Studien- und Projektinformationen
Laufzeit | 01.02.2017 - 30.04.2020 |
---|---|
Projektleitung | Frey, Andreas; Spoden, Christian |
Beteiligte Wissenschaftler/innen | Born, Sebastian; Naumann, Patrick; Fink, Aron |
Beteiligte Institution(en) | Goethe Universität Frankfurt, Arbeitsbereich Pädagogische Psychologie, Professur für Pädagogische Psychologie mit den Schwerpunkten Beratung, Evaluation und Diagnostik |
Projektwebsite | kat-hs.uni-frankfurt.de |
Schlagwörter | Kompetenzmessung; Kompetenz; Leistungsüberprüfung; Adaptives Testen; Hochschulbildung; Mathematische Kompetenz; Kontrollüberzeugung; Motivation; Klausur; Technologiebasiertes Testen; Bewertung; Evaluation; Softwareentwicklung; Umsetzung; Student; Item-Response-Theorie; Deutschland |
Förderung | BMBF |
Teilstudie Auswirkungen einer computerisierten teiladaptiven Klausur auf das emotionale Erleben von Klausuren seitens Studierender
- Intervention: Computerbasierte teiladaptive Klausur zur Vorlesung Statistik im BA-Studiengang Erziehungswissenschaft an der FSU Jena. - Erhebung des emotionalen Erlebens und des subjektiven Kontrollempfindens zu drei Messzeitpunkten: eine Woche vor der Klausur (T1, mit Bezug auf typische Klausur), direkt vor der Klausur (T2, mit Bezug auf typische Klausur) und direkt im Anschluss an die Klausur (T3, mit Bezug auf die soeben geschriebene Klausur) - Zusätzlich Erhebung des akademischen Selbstkonzepts zu T1, empfundener Wert der bevorstehenden Klausur zu T2 und Nachbefragung zu T3 Theoretische Grundlage der Studie bildet die Kontrolle-Wert-Theorie der Leistungsemotionen (z. B. Pekrun, 2006). Es wurden drei Erhebungen durchgeführt (eine Woche vor der Klausur, direkt vor der Klausur, direkt nach der Klausur). Als abhängige Variablen wurden das emotionale Erleben während der Klausur, das subjektive Kontrollempfinden sowie der persönliche Wert der Klausurleistung erhoben. Zusätzlich wurden in einer Nachbefragung die technischen Besonderheiten der neuartigen Klausur evaluiert. (IQB/ Projekt)
Untersuchungsdesign | Prä-Post-Design ohne Kontrollgruppe Querschnitt |
---|---|
Erhebungsmethode(n) | Messungen und Tests: Psychologische Tests (Computerbasierter Test) |
Untersuchungsgebiet (geogr.) | Deutschland (Thüringen) |
Untersuchungseinheit | Studierende |
Auswahlverfahren | Ad-hoc Stichprobe |
Population / Stichprobe | Studierende des BA Erziehungswissenschaft an der Friedrich-Schiller-Universität Jena |
Forschungsdaten und -instrumente
KAT-HS: Test | |
---|---|
Datenzugang | DOI: 10. |
Art der Daten | Kompetenz- und Leistungsdaten Umfrage- und Aggregatdaten |
Archivierende Einrichtung | Forschungsdatenzentrum am Institut zur Qualitätsentwicklung im Bildungswesen (FDZ am IQB) |
Zugänglichkeit | Verfügbar |
Veröffentlichungsdatum | 23.10.2020 |
Anmerkungen zu den Daten | Der Datensatz enthält die aggregierten Leistungsdaten der Studierenden in Form von IRT-Fähigkeitsparametern sowie die Fragebogendaten zu T1 - T3. |
Teilstudie Kalibrierungsstudie
Das Ziel der Studie war die Kalibrierung eines Itempools zur Entwicklung einer computerbasierten, kriteriumsorientierten adaptiven Hochschulklausur zur Vorlesung ?Statistik? im Bachelor-Studiengang Erziehungswissenschaft an der FSU Jena. Primäres Ziel dabei war die Itemparameterschätzung (Rasch-Modell) in einem prototypischen Setting. Die Herausforderung hierbei war die geringe Stichprobengröße an der FSU Jena. Daher wurden in dieser Studie verschiedene Universitätsstandorte nach eingehender Testung für die gemeinsame Kalibrierung genutzt. Die Datenerhebung wurde an drei Standorten durchgeführt. Die Stichproben umfassten N=69 an der FSU Jena, N=27 an der RU Bochum und N=43 an der Universität Ulm. In Jena handelte es sich um eine computerbasierte Präsenzklausur, in Bochum und Ulm um eine Online-Probeklausur kurz vor dem eigentlichen Klausurtermin. Insgesamt kamen 45 Items, davon 30 Items pro Universitätsstandort mit einer Schnittmenge von 15 Items zum Einsatz. (IQB/ Projekt)
Untersuchungsdesign | Datenerhebung im Rahmen der Testentwicklung Querschnitt |
---|---|
Erhebungsmethode(n) | Messungen und Tests: Leistungs- und Kompetenztests (Computerbasierter Test) |
Untersuchungsgebiet (geogr.) | Deutschland (Baden-Württemberg; Nordrhein-Westfalen; Thüringen) |
Untersuchungseinheit | Studierende |
Auswahlverfahren | Nicht-Wahrscheinlichkeitsauswahl: Willkürliche Auswahl |
Forschungsdaten und -instrumente
KAT-HS: Kalibrierungsstudie | |
---|---|
Datenzugang | DOI: 10. |
Art der Daten | Kompetenz- und Leistungsdaten |
Archivierende Einrichtung | Forschungsdatenzentrum am Institut zur Qualitätsentwicklung im Bildungswesen (FDZ am IQB) |
Zugänglichkeit | Verfügbar |
Veröffentlichungsdatum | 23.10.2020 |
Anmerkungen zu den Daten | Es handelt sich um die dichotom kodierten Ergebnisse der Kalibrierungstudie für eine kriteriumsorientierte adaptive Klausur zur Vorlesung Statistik im Bachelorstudiengang Erziehungswissenschaft aus dem Projekt KAT-HS. Erhebung an 3 Standorten: Präsenzklausur in Jena, Online-Übungsklausur in Bochum und Ulm |
KAT-HS: Kalibrierungsstudie - Campus File | |
---|---|
Datenzugang | DOI: 10. |
Art der Daten | Kompetenz- und Leistungsdaten |
Archivierende Einrichtung | Forschungsdatenzentrum am Institut zur Qualitätsentwicklung im Bildungswesen (FDZ am IQB) |
Zugänglichkeit | Verfügbar |
Veröffentlichungsdatum | 23.10.2020 |
Anmerkungen zu den Daten | Es handelt sich um die dichotom kodierten Ergebnisse der Kalibrierungstudie für eine kriteriumsorientierte adaptive Klausur zur Vorlesung Statistik im Bachelorstudiengang Erziehungswissenschaft aus dem Projekt KAT-HS. Erhebung an 3 Standorten: Präsenzklausur in Jena, Online-Übungsklausur in Bochum und Ulm |
Publikationen
Projektbezogene Publikationen (Auswahl) | Spoden, Christian; Frey, Andreas; Fink, Aron; Naumann, Patrick: Kompetenzorientierte elektronische Hoschschulklausuren im Studium des Lehramts. - Aus: Kaspar, Kai (Hrsg.); Becker-Mrotzek, Michael (Hrsg.); Hofhues, Sandra (Hrsg.); König, Johannes (Hrsg.); Schmeinck, Daniela (Hrsg.): Bildung, Schule, Digitalisierung. Münster; New York: Waxmann (2020), S. 184-189, URL: https://www.waxmann.com/index.php?eID=download&buchnr=4246#page=184 - ISBN: 978-3-8309-4246-7 Born, Sebastian; Fink, Aron; Spoden, Christian; Frey, Andreas: Evaluating different equating setups in the continuous item oool calibration for computerized adaptive testing. - In: Frontiers in psychology, (2019) 10, Art. 1277, 14 S., URL: https://doi.org/10.3389/fpsyg.2019.01277 - ISSN: 1664-1078 Spoden, Christian; Buchwald, Florian: Diagnostische Tests mit R und~knitr. Erstellung, Auswertung und Vorbereitung der Rückmeldung. - In: Diagnostica, 64 (2018) 1, S. 49-57, URL: https://doi.org/10.1026/0012-1924/a000189 - ISSN: 0012-1924; 2190-622X Spoden, Christian; Frey, Andreas; Bernhardt, Raphael: Implementing Three CATs Within Eighteen Months. - In: Journal of computerized adaptive testing, 6 (2018) 3, S. 38-55, URL: https://jcatpub.net/index.php/jcat/article/view/70; https://jcatpub.net/index.php/jcat/article/view/70/33 - ISSN: 2165-6592 Fink, Aron; Born, Sebastian; Spoden, Christian; Frey, Andreas: A continuous calibration strategy for computerized adaptive testing. - In: Psychological test and assessment modeling, 60 (2018) 3, S. 324-346, URL: https://www.psychologie-aktuell.com/fileadmin/Redaktion/Journale/ptam_ Frey, Andreas; Spoden, Christian; Born, Sebastian: Construction of psychometrically sound written university exams. - In: Psychological test and assessment modeling, 65 (2020) 4, S. 472-486, URL: https://www.psychologie-aktuell.com/fileadmin/Redaktion/Journale/ptam-2020-4/PTAM_ Kaspar, Kai (Hrsg.); Becker-Mrotzek, Michael (Hrsg.); Hofhues, Sandra (Hrsg.); König, Johannes (Hrsg.); Schmeinck, Daniela (Hrsg.): Bildung, Schule, Digitalisierung. - Münster; New York: Waxmann (2020), 478 S., URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-210434; https://doi.org/10.31244/9783830992462; https://www.waxmann.com/buch4246 - ISBN: 978-3-8309-4246-7; 978-3-8309-9246-2 |
---|
Downloads und Links
Forschungsdaten
DOI: 10.
[Kompetenz- und Leistungsdaten; Umfrage- und Aggregatdaten]
DOI: 10.
[Kompetenz- und Leistungsdaten]
DOI: 10.
[Kompetenz- und Leistungsdaten]