The power of randomization tests to detect individual intervention effects. Insights from a Monte Carlo study.

Literaturnachweis - Detailanzeige

Autor/inn/en	Wilbert, Jürgen; Börnert-Ringleb, Moritz; Lüke, Timo
Titel	The power of randomization tests to detect individual intervention effects. Insights from a Monte Carlo study. Paralleltitel: Die Teststärke von Randomisierungstests zur Identifikation intraindividueller Interventionseffekte. Erkenntnisse aus einer Monte-Carlo-Studie.
Quelle	In: Empirische Sonderpädagogik, 17 (2025) 3, S. 184-199Infoseite zur Zeitschrift PDF als Volltext kostenfreie Datei (1); PDF als Volltext kostenfreie Datei (2); PDF als Volltext (3) Link als defekt meldenVerfügbarkeit
Sprache	englisch
Dokumenttyp	online; Zeitschriftenaufsatz
ISSN	1869-4845; 1869-4934
DOI	10.25656/01:35310 10.2440/003-0048
URN	urn:nbn:de:0111-pedocs-353109
Schlagwörter	Interventionsstudie; Test; Monte-Carlo-Methode; Empirische Untersuchung; Fallmethode; Randomisierung; Sonderpädagogik; Effekt; Intervention
Abstract	Trotz eines breiten Konsenses über die Nützlichkeit von Einzelfall-Experimentaldesigns (Single-Case Experimental Designs, SCED) besteht bislang keine Einigkeit über den am besten geeigneten Ansatz zur Analyse der dabei entstehenden Einzelfalldaten. Frühere Forschung zeigt, dass verlässliche und methodisch stringente Analysemethoden in SCED entscheidend für die Sensitivität, Spezifität und Robustheit der Schlussfolgerungen zur Wirksamkeit von Interventionen sind. Unter den möglichen Verfahren stellen Randomisierungstests einen vielversprechenden Analyseansatz dar, der in Forschung und Praxis bislang weniger Beachtung gefunden hat. Bisher fehlte jedoch ein klares Bild der Bedingungen, unter denen Randomisierungstests eine hohe Teststärke (Power) und niedrige alpha-Fehler-Raten aufweisen. In der vorliegenden Arbeit wurden mehrere Monte-Carlo-Studien durchgeführt, um den Einfluss verschiedener Designbedingungen auf die Sensitivität und Spezifität eines Randomisierungstests zur Erkennung bedeutsamer intraindividueller Veränderungen zu untersuchen. Im Fokus standen dabei die Anzahl der Messzeitpunkte je Phase, die Größe des Interventionseffekts, die Reliabilität der Messungen, Trendverläufe sowie die Fallzahl in Mehrfälledesigns. Die Ergebnisse zeigen, dass (a) die Power von Randomisierungstests zur Analyse von Einzelfalldaten hoch und die alpha-Fehler-Rate gering ist, wenn pro Phase mindestens zehn Messungen vorliegen und der Interventionseffekt groß ist, (b) Randomisierungstests robust gegenüber Datentrends sind und (c) Designs mit mehreren Fällen die Power deutlich erhöhen, sodass selbst Minimaldesigns mit 15 oder weniger Messungen aussagekräftig werden. (DIPF/Orig.). Despite an overall agreement on the usefulness of single-case experimental designs (SCED), there is no consensus on the most suitable approach to analyzing the resulting single-case data. Previous research indicates that reliable and rigorous analysis methods in SCED are crucial for the sensitivity, specificity, and robustness of subsequent inferences on the effectiveness of interventions. Among others, randomization tests depict a promising approach to data analysis, which received less attention in research and practice than more popular analytical approaches. So far, no clear picture of the exact conditions under which randomization tests yield high statistical power and low alpha-error rates has emerged. In the present paper, we applied several Monte Carlo studies to scrutinize the influence of various design conditions on the sensitivity and specificity of a randomization test for detecting meaningful within-person changes. We focused on the number of measurement times of each phase, the size of the intervention effect, the reliability of the measurements, the trend effect, and the number of cases in multiple-case designs. The results of our study demonstrate that a) the power of randomization tests for analyzing single-case data is high and the alpha error rate is low when cases have at least ten measurements in Phase A and the intervention effect is large, b) randomization tests are robust against data trends, and c) multiple-case designs rapidly increase the power, allowing even for minimal designs with 15 or fewer measurements. (DIPF/Orig.).
Erfasst von	DIPF \| Leibniz-Institut für Bildungsforschung und Bildungsinformation, Frankfurt am Main
Update	2026/3