Análise de poder por simulação

O poder estatístico é a probabilidade de um estudo detetar um efeito de determinado tamanho, se esse efeito for real. Ele depende do tamanho do efeito, do quanto os dados são ruidosos, do número de participantes e de itens e do nível de significância. Definidos o desenho e o efeito de interesse, só o tamanho da amostra continua em aberto. Green e MacLeod (2016) observam que a meta habitual de 80% é uma convenção, sem justificativa mais profunda.

Para um desenho simples, uma fórmula dá o poder. Para os desenhos comuns em linguística e psicologia, com participantes e itens como efeitos aleatórios cruzados, não há fórmula simples, e o poder é estimado por simulação (Brysbaert & Stevens, 2018): inventa-se um mundo em que o efeito existe, simula-se um estudo nesse mundo, analisam-se os dados como planeado e repete-se muitas vezes. Como o efeito é real em todos os conjuntos de dados simulados, a proporção de resultados significativos é o poder.

Estudos pequenos exageram

O gráfico abaixo corre 2.000 estudos, cada um comparando dois grupos. A diferença verdadeira entre os grupos é definida pelo primeiro cursor, em desvios padrão (d de Cohen), e o número de participantes por grupo pelo segundo. Cada barra conta os estudos cuja estimativa caiu naquele intervalo, colorida conforme a estimativa tenha sido significativa ou não.

Com 20 participantes por grupo e d = 0,3, cerca de um estudo em sete é significativo, perto dos 15% previstos pela fórmula. Só as estimativas grandes passam o limiar de significância, então os estudos significativos superestimam o efeito, em média por um fator de dois ou mais. Gelman e Carlin (2014) chamam isso de erro do tipo M (magnitude). Alguns estudos significativos chegam a errar a direção, um erro do tipo S (sinal). Aumentando a amostra, os dois erros diminuem, até que as estimativas significativas se concentrem em torno do efeito verdadeiro.

Se as revistas publicam sobretudo resultados significativos, os efeitos publicados por estudos pequenos são grandes demais. Vasishth et al. (2018) mostraram isso para um resultado psicolinguístico com sete replicações diretas. Uma análise de poder que tira o tamanho do efeito de uma publicação assim promete mais poder do que o próximo estudo terá. Uma base melhor é o menor efeito que importaria para a teoria.

Quantos participantes?

O mesmo cálculo para cada tamanho de amostra dá uma curva de poder. A curva destacada segue o tamanho do efeito do primeiro gráfico, e as curvas cinzentas mostram os efeitos convencionalmente pequeno, médio e grande de d = 0,2, 0,5 e 0,8.

Reduzir o efeito à metade multiplica por cerca de quatro a amostra necessária: 64 por grupo para d = 0,5, mas 394 para d = 0,2.

Mais participantes ou mais itens?

Na aula, planejamos a replicação de um estudo de decisão lexical em que falantes de L1 e de L2 respondem a palavras de frequências diferentes. A pergunta é sobre a interação: o efeito da frequência é maior para os falantes de L2? Os participantes diferem no quanto a frequência os afeta (o DP das inclinações), e cada resposta acrescenta ruído no nível da tentativa (um DP de 70 ms). Em R, o pacote {simr} (Green & MacLeod, 2016) responde à pergunta simulando a partir de um modelo misto, reajustando-o muitas vezes e acrescentando participantes ou palavras com extend() e powerCurve().

Um navegador não consegue reajustar um modelo misto mil vezes enquanto se move um cursor. Por isso, este gráfico usa uma análise mais simples do mesmo desenho: uma inclinação de regressão para cada participante e, depois, um teste t que compara as inclinações dos dois grupos (Lorch & Myers, 1990). Os seus números diferem um pouco dos do modelo misto, enquanto as curvas têm a mesma forma.

Acrescentar participantes aumenta o poder de forma constante. Acrescentar palavras ajuda no começo e depois se estabiliza, porque mais palavras só tornam mais precisa a inclinação de cada participante, enquanto as diferenças reais entre os participantes continuam as mesmas. O teto mostra o poder com infinitas palavras. Com o DP das inclinações em zero, as palavras passam a ser tão úteis quanto os participantes.

Poder post hoc

O poder post hoc, também chamado de observado ou retrospectivo, é calculado depois de um estudo, com o tamanho do efeito estimado a partir dos próprios dados do estudo. Às vezes os revisores pedem-no para mostrar se um estudo não significativo tinha “pouco poder”. Heinsberg e Weeks (2022) simularam o mesmo experimento com ratinhos em duas universidades, com 100 animais cada e efeitos verdadeiros diferentes:

	Estimativa (IC 95%)	p	Poder post hoc	Efeito verdadeiro	Poder verdadeiro
A	0,290 (−0,002; 0,582)	.052	0,584	0,402	0,841
B	0,275 (−0,002; 0,553)	.052	0,537	0,201	0,322

Os dois estudos parecem quase iguais, e o mesmo vale para o poder post hoc. O poder verdadeiro, 84% contra 32%, não pode ser lido em nenhum dos dois conjuntos de dados.

O gráfico abaixo repete isso em escala maior. Cada ponto é um estudo simulado, todos com o mesmo desenho e o mesmo poder verdadeiro.

Onde quer que esteja o poder verdadeiro, os pontos caem sobre uma única curva do valor-p: o poder post hoc é de cerca de 50% em p = .05, menor sempre que p é maior e maior sempre que p é menor (Hoenig & Heisey, 2001). Mudando o efeito verdadeiro, os pontos deslizam ao longo da mesma curva. Como o poder post hoc é uma transformação do valor-p, um resultado não significativo sempre vem com poder post hoc baixo, quer o estudo tenha perdido um efeito real, quer o efeito não exista.

O que relatar em vez disso

Para ajudar quem lê a avaliar um resultado não significativo, indique a estimativa com seu intervalo de confiança, que mostra com quais tamanhos de efeito os dados são compatíveis. Indique também a análise de poder feita antes do estudo, com o tamanho de efeito escolhido e o motivo da escolha. Se não houve nenhuma, uma análise de sensibilidade dá o menor efeito que o desenho tinha 80% de poder para detetar, calculado a partir do desenho e das variâncias supostas, sem usar o efeito observado.

Referências

Brysbaert, M., & Stevens, M. (2018). Power analysis and effect size in mixed effects models: A tutorial. Journal of Cognition, 1(1), 9. https://doi.org/10.5334/joc.10

Gelman, A., & Carlin, J. (2014). Beyond power calculations: Assessing Type S (sign) and Type M (magnitude) errors. Perspectives on Psychological Science, 9(6), 641–651. https://doi.org/10.1177/1745691614551642

Green, P., & MacLeod, C. J. (2016). SIMR: An R package for power analysis of generalized linear mixed models by simulation. Methods in Ecology and Evolution, 7(4), 493–498. https://doi.org/10.1111/2041-210X.12504

Heinsberg, L. W., & Weeks, D. E. (2022). Post hoc power is not informative. Genetic Epidemiology, 46(7), 390–394. https://doi.org/10.1002/gepi.22464

Hoenig, J. M., & Heisey, D. M. (2001). The abuse of power: The pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19–24. https://doi.org/10.1198/000313001300339897

Lorch, R. F., & Myers, J. L. (1990). Regression analyses of repeated measures data in cognitive research. Journal of Experimental Psychology: Learning, Memory, and Cognition, 16(1), 149–157. https://doi.org/10.1037/0278-7393.16.1.149

Vasishth, S., Mertzen, D., Jäger, L. A., & Gelman, A. (2018). The statistical significance filter leads to overoptimistic expectations of replicability. Journal of Memory and Language, 103, 151–175. https://doi.org/10.1016/j.jml.2018.07.004

Todas as simulações correm no seu navegador: os estudos de dois grupos usam testes t, e as curvas de poder usam o poder exato do teste t bilateral. Os slides da aula e o código R estão na página de ensino.