Estatística ruim pode fazer seu artigo ser rejeitado

Três pesquisadores de Leiden e Amsterdã examinaram 513 artigos de periódicos de ponta, à procura de algo específico: um artigo que atingiu o limiar de significância estatística e outro que não atingiu. O estudo cobriu 157 desses artigos. Em 79 deles, os autores raciocinaram a partir dos dois testes separados, e em 78 testaram a diferença diretamente. Segundo revisores que também são cientistas, as formas certas e erradas ficaram em cerca de 50/50 nos cinco principais periódicos.

Esses erros estatísticos são comuns em artigos e acontecem com muitos pesquisadores. A semelhança com análises convencionais, derivadas de textos fundamentais estudados na pós-graduação, permite que sobrevivam. Essas semelhanças dificultam que autores que olham para a mesma tabela de resultados há algum tempo as percebam.

Revisores estatísticos proficientes vão examinar os seus resultados, conferindo os números uns contra os outros em vez das suas conclusões, porque alguns revisores conhecem a lista e tomam notas. Esses números vêm da psicologia, da neurociência e da biomedicina porque essas áreas se estudaram, mas as tendências não se limitam a campos que fazem certos testes em animais.

Quais erros estatísticos aparecem com mais frequência?

Oito padrões respondem pela maior parte do que um revisor estatístico sinaliza, e todos são detectáveis a partir do manuscrito sozinho, sem os seus dados brutos.

Como os revisores encontram erros sem a sua entrada?

A análise começa pelos graus de liberdade, porque este é o único lugar nos resultados que mostra a pertinência da amostra.

Para a auditoria, você precisa só de uma impressora para colocar a seção de resultados ao lado da página de métodos que dá o seu N. Para cada t, F e χ² no artigo, leia os graus de liberdade contra esse N e confira se a aritmética fecha. O teste t comparando 30 animais a outros 30 animais mostrou t(58). Stanley Lazic encontrou que 12% dos artigos em um fascículo de Nature Neuroscience tinham replicação falsa, e 36% não podiam ser reproduzidos por falta de detalhes.

Auditorias semelhantes podem rodar para questões mais sutis; um t(58) deveria ser relatado para uma comparação de duas amostras de dois grupos envolvendo 60 participantes. Às vezes você tem uma boa razão, mas esqueceu de dá-la. Um revisor não tem como descobrir a razão que não aceitaria, então pergunta.

Michèle Nuijten e sua equipe criaram o Statcheck, um pacote R. Este software vai além das auditorias manuais, extraindo resultados de testes de hipótese nula de artigos e recalculando valores de p a partir das estatísticas de teste originais e dos graus de liberdade. Encontraram que, em estudos de oito periódicos de psicologia (1985-2013) com mais de 250.000 valores de p analisados, 50% tinham valores de p que não se alinhavam com as estatísticas enunciadas. Um em cada oito artigos tinha uma inconsistência substancial o bastante para alterar o status de significância de um resultado em relação ao nível .05. A versão web recebe um PDF e devolve uma lista. O teste GRIM de Nicholas Brown e James Heathers faz o trabalho equivalente para médias de dados inteiros: dado um tamanho amostral e uma escala, só certas médias são aritmeticamente possíveis. Dos 71 artigos que puderam testar em periódicos líderes de psicologia, cerca de metade continha pelo menos uma média impossível.

As duas ferramentas são incapazes de detectar má conduta ou de sinalizar de forma errada dados falhos. Confira a lista, corrija erros e acrescente quaisquer itens ausentes ou o valor exato de p se a ferramenta não conseguiu encontrá-lo.

Por que você não deveria comparar dois níveis de significância?

No fundo, se a significância depende do teste específico, dizer “significativo aqui, não significativo ali” implica que você rodou dois testes, e eles não são os que você está discutindo.

A primeira estimativa, 25 com um erro padrão de 12, ultrapassa o limiar de .05 em comparação com a segunda, que é 22 com um erro padrão de 13. A diferença entre elas é 3, sem significância quando comparada ao seu erro padrão. O artigo diz que houve um efeito em adultos mais velhos, mas não nos mais jovens, depois de descrever dois testes e fazer uma afirmação sobre um terceiro teste que de fato não aconteceu. É possível que o enunciado seja preciso, mas a prova está faltando.

Corrija isso conferindo se o modelo tem um termo de interação, um contraste ou uma comparação direta das duas estimativas. As estatísticas deveriam ficar nos resultados em vez do par de valores de p separados, e acrescente as médias quando a interação não atinge significância enquanto um efeito simples a ultrapassa. Nieuwenhuis e colegas observam que o erro é bem mais comum em trabalho celular e molecular do que nos artigos de sistemas e cognição que examinaram.

Como o p-hacking aparece para quem está revisando?

Parece que só relataram as estatísticas boas.

Ninguém vê você descartar os dois participantes que excluíram o efeito, ou tentar três transformações do desfecho antes de encontrar a que funcionou. Joseph Simmons, Leif Nelson e Uri Simonsohn mostraram com experimentos que um punhado dessas flexibilidades ordinárias, usadas em combinação e nunca reveladas, basta para empurrar a taxa de falso positivo bem acima dos 5% enunciados. Megan Head e colegas então mineraram texto de valores de p entre disciplinas e encontraram a impressão digital em escala: um excesso de valores relatados logo abaixo de .05. Megan Head e seus colegas chegaram a uma conclusão medida. Viram que o viés aparecia de forma fraca contra tamanhos de efeito reais em metanálises. No entanto, confirmaram que o extremo existe e não é um artefato de como a ciência funciona.

Os revisores notam coisas nos resultados que não foram mencionadas nos métodos. Um tamanho amostral sem razão e um vínculo suspeitosamente redondo com o limiar de significância. No parecer, retiraram participantes que não seguiram as instruções, mas não deram os números. Subgrupos que aparecem pela primeira vez na afirmação de manchete do resumo. Qualquer um desses pode ser inocente, e os revisores tratam vários deles juntos como um padrão.

A defesa é a revelação, aplicada no ponto da escrita. Você pode descrever como determinou o tamanho amostral antes do conjunto de dados, ou enunciar que não o predeterminou. Relate cada resultado que você mediu, inclusive os que não deram em nada, mesmo que morem em uma tabela suplementar. Dê as exclusões como contagens com razões, agrupadas por grupo, para que os números somem o N com que você começou. Para evitar crítica de revisor, classifique decisões guiadas pelos dados como exploratórias e valide achados confirmados com análises planejadas em uma seção curta de métodos.

Quando uma análise entra em círculo?

Quando uma regra de escolha e um teste estatístico usam os mesmos dados.

Nikolaus Kriegeskorte e sua equipe chamaram isso de “double dipping” na pesquisa de fMRI. No fundo, escolhem as áreas do cérebro que reagem com mais força a alguma coisa e depois checam se essa coisa de fato está lá. O problema é que este método pode fazer parecer que há alguma coisa mesmo que seja só ruído aleatório. Como a estrutura é tão difundida, o nome não mudou. Encontre as células que reagem e depois escreva com que força reagem. Categorize sujeitos com base nas pontuações e depois cheque se essas categorias diferem na mesma medida. Filtre outliers com base na variável dependente, selecione uma janela de tempo e depois avalie a diferença dentro dessa janela.

Quando alguns outliers podem distorcer o conjunto, Tamar Makin e Jean-Jacques Orban de Xivry, que escreveram a revisão para a eLife, mostram o mesmo problema de fazer conexões que de fato não significam nada. Gaste uma hora nos exemplos antes do seu próximo relato de r.

Certifique-se de que o seu rascunho segue todas as regras. Também rastreie de onde vêm os seus dados. Se você testa nos mesmos dados em que baseou a análise, é um beco sem saída. Nesses casos, o reparo envolve seleção independente, ou seja, o uso de um conjunto de dados separado, dados retidos, validação cruzada ou uma regra preestabelecida e claramente enunciada.

O que os revisores notam nas suas figuras que perdem no seu texto?

Olham como as observações se espalham, o que uma frase que relata uma média e um valor de p não consegue mostrar.

Tracey Weissgerber e sua equipe analisaram 703 artigos dos melhores periódicos de fisiologia. Notaram que a maior parte dos pesquisadores usa dados em gráficos de barras e de linhas, enquanto raramente usa gráficos de dispersão, box plots e histogramas. Isso importa porque muitas distribuições colapsam na mesma barra. Uma separação limpa entre dois grupos e um par de nuvens sobrepostas puxadas para longe por um valor extremo desenham de modo idêntico depois que você as reduz a uma média e uma barra de erro.

Quando os revisores veem um gráfico de barras com sete observações por grupo, sabem que é um borrão. Plote os pontos. Para grupos menores (menos de 20), um gráfico de dispersão com a média funciona. Vai mostrar tudo o que o gráfico de barras mostrava, o quanto os dados estão espalhados e a contagem real. Você também pode auditar visualmente a primeira seção e contar os pontos contra o tamanho amostral nos seus métodos.

Qual é a melhor forma de escrever os resultados para que um estatístico confie neles?

Forneça detalhe suficiente para a verificação dos cálculos, uma tarefa mais simples do que parece e muitas vezes omitida nas publicações.

Você deveria acrescentar informação mínima, como o nome do teste e do software, N para grupos e células, estatística de teste com gl, valores exatos de p e intervalos de confiança pertinentes. As diretrizes SAMPL descrevem regras para pesquisa biomédica, e a EQUATOR Network oferece guias de relato para vários tipos de estudo. Lazic disse que, se você relatar o tamanho amostral, as estatísticas e os valores exatos de p, então qualquer um consegue encontrar erros como os dele.

A confiança se ganha ou se perde com base em como você interpreta as coisas. O relatório de 2016 da American Statistical Association descreveu o que um valor de p não mostra, junto com interpretações de Sander Greenland e colegas que aparecem em trabalhos publicados, em grande parte sobre o uso de .05 como linha divisória de significância. Sem resultados significativos, não podemos comprovar a ausência de um efeito, e intervalos de confiança que incluem efeitos clinicamente significativos não sustentam uma afirmação de “nenhuma diferença.” Em 2019, mais de 800 pesquisadores acrescentaram seus nomes a um comentário publicado na Nature defendendo a interrupção da classificação por completo. Os revisores são cuidadosos, mesmo que os periódicos sejam lentos, e uma “tendência à significância” agora ganha uma nota no parecer em vez de passar.

Nada disso consegue tornar a análise correta. Isso torna a análise fácil de ler, e esta é uma em que você consegue encontrar os seus próprios erros com a mesma facilidade com que a próxima pessoa consegue.

Referências e políticas úteis

1. Nieuwenhuis S, Forstmann BU, Wagenmakers EJ. Erroneous analyses of interactions in neuroscience: a problem of significance. Nature Neuroscience. 2011;14(9):1105-1107.
2. Lazic SE. The problem of pseudoreplication in neuroscientific studies: is it affecting your analysis?. BMC Neuroscience. 2010;11:5.
3. Nuijten MB, Hartgerink CHJ, van Assen MALM, et al. The prevalence of statistical reporting errors in psychology (1985-2013). Behavior Research Methods. 2016;48(4):1205-1226.
4. Nuijten MB, Epskamp S. statcheck (web application).
5. Brown NJL, Heathers JAJ. The GRIM test: a simple technique detects numerous anomalies in the reporting of results in psychology. Social Psychological and Personality Science. 2017;8(4):363-369.
6. Simmons JP, Nelson LD, Simonsohn U. False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science. 2011;22(11):1359-1366.
7. Head ML, Holman L, Lanfear R, et al. The extent and consequences of p-hacking in science. PLOS Biology. 2015;13(3):e1002106.
8. Kriegeskorte N, Simmons WK, Bellgowan PSF, et al. Circular analysis in systems neuroscience: the dangers of double dipping. Nature Neuroscience. 2009;12(5):535-540.
9. Makin TR, Orban de Xivry JJ. Ten common statistical mistakes to watch out for when writing or reviewing a manuscript. eLife. 2019;8:e48175.
10. Button KS, Ioannidis JPA, Mokrysz C, et al. Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience. 2013;14(5):365-376.
11. Weissgerber TL, Milic NM, Winham SJ, et al. Beyond bar and line graphs: time for a new data presentation paradigm. PLOS Biology. 2015;13(4):e1002128.
12. Wasserstein RL, Lazar NA. The ASA statement on p-values: context, process, and purpose. The American Statistician. 2016;70(2):129-133.
13. Greenland S, Senn SJ, Rothman KJ, et al. Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology. 2016;31(4):337-350.
14. Amrhein V, Greenland S, McShane B. Scientists rise up against statistical significance. Nature. 2019;567(7748):305-307.
15. EQUATOR Network. SAMPL guidelines: basic statistical reporting for articles published in biomedical journals.