Analisi della potenza per simulazione

La potenza statistica è la probabilità che uno studio rilevi un effetto di una data grandezza, se quell’effetto esiste davvero. Dipende dalla grandezza dell’effetto, da quanto sono rumorosi i dati, dal numero di partecipanti e di item e dal livello di significatività. Una volta fissati il disegno e l’effetto di interesse, l’unica cosa che resta da decidere è la dimensione del campione. Green e MacLeod (2016) fanno notare che l’obiettivo abituale dell'80% è una convenzione, senza una giustificazione più profonda.

Per un disegno semplice, la potenza si ricava da una formula. Per i disegni comuni in linguistica e in psicologia, con partecipanti e item come effetti casuali incrociati, non esiste una formula semplice, e la potenza si stima per simulazione (Brysbaert & Stevens, 2018): si inventa un mondo in cui l’effetto esiste, si simula uno studio in quel mondo, si analizzano i dati come previsto e si ripete molte volte. Dato che l’effetto è reale in ogni insieme di dati simulato, la proporzione di risultati significativi è la potenza.

Gli studi piccoli esagerano

Il grafico qui sotto esegue 2.000 studi, ciascuno dei quali confronta due gruppi. La differenza vera tra i gruppi si imposta con il primo cursore, in deviazioni standard (d di Cohen), e il numero di partecipanti per gruppo con il secondo. Ogni barra conta gli studi la cui stima è caduta in quell’intervallo, colorata a seconda che la stima fosse significativa o no.

Con 20 partecipanti per gruppo e d = 0,3, circa uno studio su sette è significativo, vicino al 15% previsto dalla formula. Solo le stime grandi superano la soglia di significatività, quindi gli studi significativi sovrastimano l’effetto, in media di un fattore due o più. Gelman e Carlin (2014) lo chiamano errore di tipo M (magnitudine). Alcuni studi significativi sbagliano addirittura la direzione: è un errore di tipo S (segno). Aumentando la dimensione del campione entrambi gli errori si riducono, finché le stime significative si concentrano attorno all’effetto vero.

Se le riviste pubblicano soprattutto risultati significativi, gli effetti pubblicati dagli studi piccoli sono troppo grandi. Vasishth et al. (2018) lo hanno mostrato per un risultato psicolinguistico con sette repliche dirette. Un’analisi della potenza che prende la grandezza dell’effetto da una pubblicazione del genere promette quindi più potenza di quella che avrà lo studio successivo. Una base migliore è il più piccolo effetto che avrebbe importanza per la teoria.

Quanti partecipanti?

Lo stesso calcolo per ogni dimensione del campione dà una curva di potenza. La curva evidenziata segue la grandezza dell’effetto del primo grafico, e le curve grigie mostrano gli effetti convenzionalmente piccoli, medi e grandi di d = 0,2, 0,5 e 0,8.

Dimezzare l’effetto quadruplica circa il campione necessario: 64 per gruppo con d = 0,5, ma 394 con d = 0,2.

Più partecipanti o più item?

Nella lezione pianifichiamo la replica di uno studio di decisione lessicale in cui parlanti L1 e L2 rispondono a parole di frequenza diversa. La domanda riguarda l’interazione: l’effetto della frequenza è più forte per i parlanti L2? I partecipanti differiscono in quanto la frequenza li influenza (la DS delle pendenze), e ogni risposta aggiunge rumore a livello di prova (una DS di 70 ms). In R, il pacchetto {simr} (Green & MacLeod, 2016) risponde alla domanda simulando da un modello misto, adattandolo di nuovo molte volte e aggiungendo partecipanti o parole con extend() e powerCurve().

Un browser non può adattare un modello misto mille volte mentre muovi un cursore. Questo grafico usa invece un’analisi più semplice dello stesso disegno: una pendenza di regressione per ogni partecipante, poi un t-test che confronta le pendenze dei due gruppi (Lorch & Myers, 1990). I suoi numeri differiscono un po’ da quelli del modello misto, mentre le curve hanno la stessa forma.

Aggiungere partecipanti fa crescere la potenza in modo costante. Aggiungere parole aiuta all’inizio e poi si appiattisce, perché più parole rendono solo più precisa la pendenza di ciascun partecipante, mentre le differenze reali tra i partecipanti restano quelle che sono. Il tetto indica la potenza con infinite parole. Se si porta la DS delle pendenze a zero, le parole diventano utili quanto i partecipanti.

Potenza post hoc

La potenza post hoc, detta anche osservata o retrospettiva, si calcola dopo uno studio, con la grandezza dell’effetto stimata dai dati dello studio stesso. A volte i revisori la chiedono per mostrare se uno studio non significativo fosse “sottodimensionato”. Heinsberg e Weeks (2022) hanno simulato lo stesso esperimento sui topi in due università, con 100 animali ciascuna e effetti veri diversi:

	Stima (IC 95%)	p	Potenza post hoc	Effetto vero	Potenza vera
A	0,290 (−0,002; 0,582)	.052	0,584	0,402	0,841
B	0,275 (−0,002; 0,553)	.052	0,537	0,201	0,322

I due studi sembrano quasi uguali, e così la loro potenza post hoc. La loro potenza vera, 84% contro 32%, non si può ricavare da nessuno dei due insiemi di dati.

Il grafico qui sotto ripete l’esperimento su scala più grande. Ogni punto è uno studio simulato, tutti con lo stesso disegno e la stessa potenza vera.

Ovunque si trovi la potenza vera, i punti cadono su un’unica curva del p-value: la potenza post hoc è circa del 50% a p = .05, più bassa quando p è più grande e più alta quando p è più piccolo (Hoenig & Heisey, 2001). Se si cambia l’effetto vero, i punti scorrono lungo la stessa curva. Poiché la potenza post hoc è una trasformazione del p-value, un risultato non significativo ha sempre una potenza post hoc bassa, sia che lo studio abbia mancato un effetto reale, sia che l’effetto non esista.

Che cosa riportare invece

Per aiutare chi legge a valutare un risultato non significativo, conviene riportare la stima con il suo intervallo di confidenza, che mostra con quali grandezze dell’effetto i dati sono compatibili. Poi l’analisi della potenza fatta prima dello studio, con la grandezza dell’effetto scelta e il motivo della scelta. Se non c’è stata, un’analisi di sensibilità indica il più piccolo effetto che il disegno aveva l'80% di potenza di rilevare, calcolato dal disegno e dalle varianze ipotizzate, senza usare l’effetto osservato.

Bibliografia

Brysbaert, M., & Stevens, M. (2018). Power analysis and effect size in mixed effects models: A tutorial. Journal of Cognition, 1(1), 9. https://doi.org/10.5334/joc.10

Gelman, A., & Carlin, J. (2014). Beyond power calculations: Assessing Type S (sign) and Type M (magnitude) errors. Perspectives on Psychological Science, 9(6), 641–651. https://doi.org/10.1177/1745691614551642

Green, P., & MacLeod, C. J. (2016). SIMR: An R package for power analysis of generalized linear mixed models by simulation. Methods in Ecology and Evolution, 7(4), 493–498. https://doi.org/10.1111/2041-210X.12504

Heinsberg, L. W., & Weeks, D. E. (2022). Post hoc power is not informative. Genetic Epidemiology, 46(7), 390–394. https://doi.org/10.1002/gepi.22464

Hoenig, J. M., & Heisey, D. M. (2001). The abuse of power: The pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19–24. https://doi.org/10.1198/000313001300339897

Lorch, R. F., & Myers, J. L. (1990). Regression analyses of repeated measures data in cognitive research. Journal of Experimental Psychology: Learning, Memory, and Cognition, 16(1), 149–157. https://doi.org/10.1037/0278-7393.16.1.149

Vasishth, S., Mertzen, D., Jäger, L. A., & Gelman, A. (2018). The statistical significance filter leads to overoptimistic expectations of replicability. Journal of Memory and Language, 103, 151–175. https://doi.org/10.1016/j.jml.2018.07.004

Tutte le simulazioni girano nel tuo browser: gli studi a due gruppi usano t-test, e le curve di potenza usano la potenza esatta del t-test bilaterale. Le slide della lezione e il loro codice R sono nella pagina della didattica.