Poweranalyse durch Simulation

Statistische Power ist die Wahrscheinlichkeit, dass eine Studie einen Effekt einer bestimmten Größe entdeckt, wenn es diesen Effekt tatsächlich gibt. Sie hängt von der Größe des Effekts ab, davon, wie verrauscht die Daten sind, von der Zahl der Teilnehmenden und Items und vom Signifikanzniveau. Sind Design und interessierender Effekt festgelegt, bleibt nur noch die Stichprobengröße offen. Green und MacLeod (2016) weisen darauf hin, dass das übliche Ziel von 80 % eine Konvention ist, ohne tiefere Begründung.

Für ein einfaches Design liefert eine Formel die Power. Für die in Linguistik und Psychologie üblichen Designs, mit Teilnehmenden und Items als gekreuzten Zufallseffekten, gibt es keine einfache Formel, und die Power wird durch Simulation geschätzt (Brysbaert & Stevens, 2018): Man erfindet eine Welt, in der der Effekt existiert, simuliert darin eine Studie, analysiert die Daten wie geplant und wiederholt das viele Male. Weil der Effekt in jedem simulierten Datensatz echt ist, ist der Anteil signifikanter Ergebnisse die Power.

Kleine Studien übertreiben

Die Grafik unten führt 2.000 Studien durch, die jeweils zwei Gruppen vergleichen. Der wahre Unterschied zwischen den Gruppen wird mit dem ersten Schieberegler in Standardabweichungen (Cohens d) eingestellt, die Zahl der Teilnehmenden pro Gruppe mit dem zweiten. Jeder Balken zählt die Studien, deren Schätzung in diesen Bereich fiel, eingefärbt danach, ob die Schätzung signifikant war.

Bei 20 Teilnehmenden pro Gruppe und d = 0,3 ist etwa jede siebte Studie signifikant, nahe an den 15 %, die die Formel vorhersagt. Nur große Schätzungen überschreiten die Signifikanzschwelle, deshalb überschätzen die signifikanten Studien den Effekt, im Mittel um das Doppelte oder mehr. Gelman und Carlin (2014) nennen das einen Typ-M-Fehler (magnitude, Größe). Einige signifikante Studien liegen sogar in der Richtung falsch, ein Typ-S-Fehler (sign, Vorzeichen). Mit größerer Stichprobe werden beide Fehler kleiner, bis sich die signifikanten Schätzungen um den wahren Effekt sammeln.

Wenn Zeitschriften überwiegend signifikante Ergebnisse veröffentlichen, sind die publizierten Effekte kleiner Studien zu groß. Vasishth et al. (2018) haben das für einen psycholinguistischen Befund mit sieben direkten Replikationen gezeigt. Eine Poweranalyse, die ihre Effektgröße aus einer solchen Publikation übernimmt, verspricht dann mehr Power, als die nächste Studie haben wird. Eine bessere Grundlage ist der kleinste Effekt, der für die Theorie von Bedeutung wäre.

Wie viele Teilnehmende?

Dieselbe Rechnung für jede Stichprobengröße ergibt eine Powerkurve. Die hervorgehobene Kurve folgt der Effektgröße aus der ersten Grafik, die grauen Kurven zeigen die konventionell kleinen, mittleren und großen Effekte von d = 0,2, 0,5 und 0,8.

Halbiert man den Effekt, braucht man ungefähr die vierfache Stichprobe: 64 pro Gruppe für d = 0,5, aber 394 für d = 0,2.

Mehr Teilnehmende oder mehr Items?

In der Sitzung planen wir die Replikation einer lexikalischen Entscheidungsstudie, in der L1- und L2-Sprechende auf Wörter unterschiedlicher Frequenz reagieren. Die Frage betrifft die Interaktion: Ist der Frequenzeffekt bei L2-Sprechenden größer? Teilnehmende unterscheiden sich darin, wie stark die Frequenz sie beeinflusst (die SD der Steigungen), und jede Antwort bringt Rauschen auf Trial-Ebene mit sich (eine SD von 70 ms). In R beantwortet das Paket {simr} (Green & MacLeod, 2016) die Frage, indem es aus einem gemischten Modell simuliert, es viele Male neu schätzt und mit extend() und powerCurve() Teilnehmende oder Wörter hinzufügt.

Ein Browser kann kein gemischtes Modell tausendmal neu schätzen, während Sie einen Schieberegler bewegen. Diese Grafik verwendet deshalb eine einfachere Analyse desselben Designs: eine Regressionssteigung pro Teilnehmer:in, dann einen t-Test, der die Steigungen der beiden Gruppen vergleicht (Lorch & Myers, 1990). Ihre Zahlen weichen etwas von denen des gemischten Modells ab, während die Kurven dieselbe Form haben.

Mehr Teilnehmende erhöhen die Power stetig. Mehr Wörter helfen zuerst und flachen dann ab, weil zusätzliche Wörter nur die Steigung jeder einzelnen Person genauer machen, während die echten Unterschiede zwischen den Teilnehmenden bleiben, wie sie sind. Die Obergrenze zeigt die Power bei unendlich vielen Wörtern. Setzt man die SD der Steigungen auf null, sind Wörter so nützlich wie Teilnehmende.

Post-hoc-Power

Post-hoc-Power, auch beobachtete oder retrospektive Power genannt, wird nach einer Studie berechnet, mit der Effektgröße aus den eigenen Daten der Studie. Gutachter:innen verlangen sie manchmal, um zu zeigen, ob eine nicht signifikante Studie „zu wenig Power“ hatte. Heinsberg und Weeks (2022) simulierten dasselbe Mäuseexperiment an zwei Universitäten, mit je 100 Tieren und unterschiedlichen wahren Effekten:

	Schätzung (95-%-KI)	p	Post-hoc-Power	Wahrer Effekt	Wahre Power
A	0,290 (−0,002; 0,582)	.052	0,584	0,402	0,841
B	0,275 (−0,002; 0,553)	.052	0,537	0,201	0,322

Die beiden Studien sehen fast gleich aus, ebenso ihre Post-hoc-Power. Ihre wahre Power, 84 % gegenüber 32 %, lässt sich aus keinem der beiden Datensätze ablesen.

Die Grafik unten wiederholt das in größerem Maßstab. Jeder Punkt ist eine simulierte Studie, alle mit demselben Design und derselben wahren Power.

Wo auch immer die wahre Power liegt, die Punkte liegen auf einer einzigen Kurve des p-Werts: Die Post-hoc-Power beträgt etwa 50 % bei p = .05, weniger, wenn p größer ist, und mehr, wenn p kleiner ist (Hoenig & Heisey, 2001). Ändert man den wahren Effekt, wandern die Punkte entlang derselben Kurve. Weil Post-hoc-Power eine Transformation des p-Werts ist, geht ein nicht signifikantes Ergebnis immer mit niedriger Post-hoc-Power einher, ob die Studie einen echten Effekt verpasst hat oder der Effekt nicht existiert.

Was man stattdessen berichtet

Damit Leser:innen ein nicht signifikantes Ergebnis einschätzen können, berichtet man die Schätzung mit ihrem Konfidenzintervall, das zeigt, mit welchen Effektgrößen die Daten vereinbar sind. Dazu die vor der Studie durchgeführte Poweranalyse, mit der gewählten Effektgröße und der Begründung dafür. Gab es keine, nennt eine Sensitivitätsanalyse den kleinsten Effekt, den das Design mit 80 % Power entdecken konnte, berechnet aus dem Design und den angenommenen Varianzen, ohne den beobachteten Effekt zu verwenden.

Literatur

Brysbaert, M., & Stevens, M. (2018). Power analysis and effect size in mixed effects models: A tutorial. Journal of Cognition, 1(1), 9. https://doi.org/10.5334/joc.10

Gelman, A., & Carlin, J. (2014). Beyond power calculations: Assessing Type S (sign) and Type M (magnitude) errors. Perspectives on Psychological Science, 9(6), 641–651. https://doi.org/10.1177/1745691614551642

Green, P., & MacLeod, C. J. (2016). SIMR: An R package for power analysis of generalized linear mixed models by simulation. Methods in Ecology and Evolution, 7(4), 493–498. https://doi.org/10.1111/2041-210X.12504

Heinsberg, L. W., & Weeks, D. E. (2022). Post hoc power is not informative. Genetic Epidemiology, 46(7), 390–394. https://doi.org/10.1002/gepi.22464

Hoenig, J. M., & Heisey, D. M. (2001). The abuse of power: The pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19–24. https://doi.org/10.1198/000313001300339897

Lorch, R. F., & Myers, J. L. (1990). Regression analyses of repeated measures data in cognitive research. Journal of Experimental Psychology: Learning, Memory, and Cognition, 16(1), 149–157. https://doi.org/10.1037/0278-7393.16.1.149

Vasishth, S., Mertzen, D., Jäger, L. A., & Gelman, A. (2018). The statistical significance filter leads to overoptimistic expectations of replicability. Journal of Memory and Language, 103, 151–175. https://doi.org/10.1016/j.jml.2018.07.004

Alle Simulationen laufen in Ihrem Browser: Die Zweigruppenstudien verwenden t-Tests, die Powerkurven die exakte Power des zweiseitigen t-Tests. Die Folien der Sitzung und ihr R-Code stehen auf der Lehrseite.