La estadística defectuosa puede hacer que rechacen tu artículo

Tres investigadores de Leiden y Ámsterdam revisaron 513 artículos de revistas de primer nivel, buscando algo concreto: un artículo que había alcanzado la marca de significancia estadística y otro que no. El estudio cubrió 157 de esos artículos. En 79 de ellos, los autores razonaron a partir de las dos pruebas por separado, y en 78 pusieron a prueba la diferencia de forma directa. Según revisores que también son científicos, las formas correcta e incorrecta estaban en torno a 50/50 en las cinco revistas de primer nivel.

Estos errores estadísticos son habituales en los artículos y les ocurren a muchos investigadores. Su parecido con análisis convencionales, derivados de textos fundacionales que se estudian en el posgrado, les permite sobrevivir. Esas semejanzas hacen difícil que las noten autores que llevan un rato mirando la misma tabla de resultados.

Los revisores estadísticos competentes examinarán tus resultados, comprobando los números entre sí en lugar de tus conclusiones, porque algunos revisores conocen la lista y toman notas. Estos números vienen de psicología, neurociencia y biomedicina porque se han estudiado a sí mismas, pero las tendencias no son solo de campos que hacen ciertas pruebas en animales.

¿Qué errores estadísticos aparecen con más frecuencia?

Ocho patrones dan cuenta de la mayor parte de lo que señala un revisor estadístico, y todos se pueden detectar a partir del manuscrito solo, sin tus datos brutos.

¿Cómo encuentran errores los revisores sin tu intervención?

El análisis empieza por considerar los grados de libertad, porque es el único lugar de los resultados que muestra la relevancia de la muestra.

Para la auditoría, solo necesitas una impresora para colocar tu sección de resultados junto a la página de métodos que da tu N. Para cada t, F y χ² del artículo, lee los grados de libertad contra esa N y comprueba que la aritmética funciona. La prueba t que compara 30 animales con otros 30 animales mostró t(58). Stanley Lazic encontró que el 12% de los artículos de un número de Nature Neuroscience tenía replicación falsa, y el 36% no se podía reproducir por falta de detalles.

Auditorías similares pueden correrse para problemas más sutiles; debería reportarse un t(58) para una comparación de dos muestras de dos grupos que involucran 60 participantes. A veces puedes tener una buena razón, pero olvidaste darla. Un revisor no tiene modo de averiguar la razón que no aceptaría, así que pregunta.

Michèle Nuijten y su equipo crearon Statcheck, un paquete de R. Este software va más allá de las auditorías manuales: extrae resultados de pruebas de hipótesis nula de los artículos y recalcula los valores p usando sus estadísticos de prueba originales y grados de libertad. Encontraron que en estudios de ocho revistas de psicología (1985-2013) con más de 250.000 valores p analizados, el 50% tenía valores p que no coincidían con sus estadísticos enunciados. Uno de cada ocho artículos tenía una inconsistencia lo bastante sustancial como para alterar el estatus de significancia de un resultado respecto del nivel .05. La versión web toma un PDF y devuelve una lista. La prueba GRIM de Nicholas Brown y James Heathers hace el trabajo equivalente para medias de datos enteros: dado un tamaño de muestra y una escala, solo ciertas medias son aritméticamente posibles. De 71 artículos que pudieron poner a prueba en revistas líderes de psicología, alrededor de la mitad contenía al menos una media imposible.

Ninguna de las dos herramientas es capaz de detectar mala conducta ni de señalar por error datos defectuosos. Revisa la lista, corrige los errores y añade cualquier ítem faltante o el valor p exacto si la herramienta no pudo encontrarlo.

¿Por qué no deberías comparar dos niveles de significancia?

En lo básico, si la significancia depende de la prueba concreta, decir “significativo aquí, no significativo allá” implica que corriste dos pruebas, y no son las que estás discutiendo.

La primera estimación, 25 con un error estándar de 12, supera el umbral de .05 frente a la segunda, que es 22 con un error estándar de 13. Su diferencia es 3, sin significancia al compararla con su error estándar. El artículo dice que hubo un efecto en adultos mayores, pero no en los más jóvenes, después de describir dos pruebas y hacer una afirmación sobre una tercera prueba que de hecho no ocurrió. Es posible que el enunciado sea exacto, pero falta la prueba.

Corrige esto comprobando si el modelo tiene un término de interacción, un contraste o una comparación directa de las dos estimaciones. Los estadísticos deberían ir en los resultados en lugar del par de valores p separados, y añade las medias cuando la interacción no alcanza significancia mientras un efecto simple sí la cruza. Nieuwenhuis y colegas observan que el error es mucho más habitual en el trabajo celular y molecular que en los artículos de sistemas y cognitivos que examinaron.

¿Cómo se ve el p-hacking para alguien que revisa?

Parece que solo reportaron las estadísticas buenas.

Nadie te ve descartar a los dos participantes que descartaron el efecto, o probar tres transformaciones del desenlace antes de encontrar la que funcionó. Joseph Simmons, Leif Nelson y Uri Simonsohn mostraron con experimentos que un puñado de estas flexibilidades ordinarias, usadas en combinación y nunca reveladas, basta para empujar la tasa de falsos positivos muy por encima del 5% enunciado. Megan Head y colegas minaron después el texto de valores p entre disciplinas y encontraron la huella a escala: un exceso de valores reportados justo por debajo de .05. Megan Head y sus colegas llegaron a una conclusión medida. Vieron que el sesgo se mostraba débil frente a los tamaños de efecto reales en metaanálisis. Sin embargo, confirmaron que el extremo existe y no es un artefacto de cómo funciona la ciencia.

Los revisores notan cosas en los resultados que no se mencionaron en los métodos. Un tamaño de muestra sin razón y un vínculo sospechosamente redondo con el umbral de significancia. En el informe, retiraron a participantes que no siguieron las instrucciones, pero no dieron los números. Subgrupos que aparecen por primera vez en la afirmación titular del resumen. Cualquiera de estos puede ser inocente, y los revisores tratan varios de ellos juntos como un patrón.

La defensa es la revelación, aplicada en el momento de escribir. Puedes describir cómo determinaste el tamaño de muestra antes del conjunto de datos, o enunciar que no lo predeterminaste. Reporta cada resultado que mediste, incluidos los que no fueron a ninguna parte, aunque vivan en una tabla suplementaria. Da las exclusiones como conteos con razones, agrupadas por grupo, de modo que los números sumen la N con la que empezaste. Para evitar la crítica del revisor, clasifica las decisiones impulsadas por los datos como exploratorias y valida los hallazgos confirmados con análisis planificados en una sección breve de métodos.

¿Cuándo un análisis da vueltas en círculo?

Cuando una regla de selección y una prueba estadística usan los mismos datos.

Nikolaus Kriegeskorte y su equipo llamaron a esto “double dipping” en su investigación de fMRI. En lo básico, eligen las áreas del cerebro que reaccionan con más fuerza a algo, y luego comprueban si esa cosa está realmente ahí. El problema es que este método puede hacer que parezca que hay algo aunque solo sea ruido aleatorio. Como la estructura está tan extendida, el nombre no cambió. Encuentra las células que reaccionan y luego escribe con qué fuerza reaccionan. Categoriza a los sujetos según sus puntajes y luego comprueba si esas categorías difieren en la misma medida. Filtra valores atípicos según la variable dependiente, selecciona una ventana temporal y luego evalúa la diferencia dentro de esa ventana.

Cuando unos pocos valores atípicos pueden sesgar el conjunto, Tamar Makin y Jean-Jacques Orban de Xivry, que escribieron la revisión para eLife, muestran el mismo problema de hacer conexiones que en realidad no significan nada. Gasta una hora en los ejemplos antes de tu próximo informe de r.

Asegúrate de que tu borrador sigue todas las reglas. También rastrea de dónde vienen tus datos. Si pruebas sobre los mismos datos en los que basaste tu análisis, es un callejón sin salida. En esos casos, la reparación implica selección independiente, es decir el uso de un conjunto de datos separado, datos reservados, validación cruzada o una regla preestablecida y claramente enunciada.

¿Qué notan los revisores en tus figuras que se les escapa en el texto?

Mirar cómo se dispersan las observaciones, algo que una oración que reporta una media y un valor p no puede mostrarles.

Tracey Weissgerber y su equipo analizaron 703 artículos de las mejores revistas de fisiología. Notaron que la mayoría de los investigadores usa los datos en gráficos de barras y de líneas, mientras que rara vez usan diagramas de dispersión, diagramas de caja e histogramas. Eso importa porque muchas distribuciones colapsan a la misma barra. Una separación limpia entre dos grupos y un par de nubes superpuestas separadas por un valor extremo se dibujan de forma idéntica una vez que las reduces a una media y una barra de error.

Cuando los revisores ven un gráfico de barras con siete observaciones por grupo, saben que es una mancha de tinta. Grafica los puntos. Para grupos más pequeños (menos de 20), un diagrama de dispersión con la media funciona. Mostrará todo lo que mostraba el gráfico de barras, cómo de dispersos están los datos y el conteo real. También puedes auditar visualmente la primera sección y contar los puntos contra el tamaño de muestra de tus métodos.

¿Cuál es la mejor forma de escribir los resultados para que un estadístico confíe en ellos?

Da detalle suficiente para verificar los cálculos, una tarea más simple de lo que parece y que a menudo se omite en las publicaciones.

Deberías añadir información mínima, como el nombre de la prueba y del software, N para grupos y células, estadístico de prueba con gl, valores p exactos e intervalos de confianza pertinentes. Las guías SAMPL delinean las reglas de la investigación biomédica, y EQUATOR Network ofrece guías de reporte para varios tipos de estudio. Lazic dijo que si reportas tu tamaño de muestra, los estadísticos y los valores p exactos, entonces cualquiera puede detectar errores como los suyos.

Su confianza se gana o se pierde según cómo interpretas las cosas. El informe de 2016 de la American Statistical Association delineó lo que un valor p no muestra, junto con interpretaciones de Sander Greenland y colegas que aparecen en trabajos publicados, en gran parte sobre el uso de .05 como línea divisoria de significancia. Sin resultados significativos, no podemos probar la ausencia de un efecto, y los intervalos de confianza que incluyen efectos clínicamente significativos no respaldan una afirmación de “no difference.” En 2019, más de 800 investigadores añadieron sus nombres a un comentario publicado en Nature que argumentaba a favor de abandonar por completo esa clasificación. Los revisores son cuidadosos, aunque las revistas sean lentas, y una “trend toward significance” ahora recibirá una nota en el informe en lugar de pasar.

Nada de esto puede hacer que el análisis sea correcto. Esto hace que el análisis sea fácil de leer, y este es uno en el que puedes detectar tus propios errores con la misma facilidad que la persona siguiente.

Referencias y políticas útiles

1. Nieuwenhuis S, Forstmann BU, Wagenmakers EJ. Erroneous analyses of interactions in neuroscience: a problem of significance. Nature Neuroscience. 2011;14(9):1105-1107.
2. Lazic SE. The problem of pseudoreplication in neuroscientific studies: is it affecting your analysis?. BMC Neuroscience. 2010;11:5.
3. Nuijten MB, Hartgerink CHJ, van Assen MALM, et al. The prevalence of statistical reporting errors in psychology (1985-2013). Behavior Research Methods. 2016;48(4):1205-1226.
4. Nuijten MB, Epskamp S. statcheck (web application).
5. Brown NJL, Heathers JAJ. The GRIM test: a simple technique detects numerous anomalies in the reporting of results in psychology. Social Psychological and Personality Science. 2017;8(4):363-369.
6. Simmons JP, Nelson LD, Simonsohn U. False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science. 2011;22(11):1359-1366.
7. Head ML, Holman L, Lanfear R, et al. The extent and consequences of p-hacking in science. PLOS Biology. 2015;13(3):e1002106.
8. Kriegeskorte N, Simmons WK, Bellgowan PSF, et al. Circular analysis in systems neuroscience: the dangers of double dipping. Nature Neuroscience. 2009;12(5):535-540.
9. Makin TR, Orban de Xivry JJ. Ten common statistical mistakes to watch out for when writing or reviewing a manuscript. eLife. 2019;8:e48175.
10. Button KS, Ioannidis JPA, Mokrysz C, et al. Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience. 2013;14(5):365-376.
11. Weissgerber TL, Milic NM, Winham SJ, et al. Beyond bar and line graphs: time for a new data presentation paradigm. PLOS Biology. 2015;13(4):e1002128.
12. Wasserstein RL, Lazar NA. The ASA statement on p-values: context, process, and purpose. The American Statistician. 2016;70(2):129-133.
13. Greenland S, Senn SJ, Rothman KJ, et al. Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology. 2016;31(4):337-350.
14. Amrhein V, Greenland S, McShane B. Scientists rise up against statistical significance. Nature. 2019;567(7748):305-307.
15. EQUATOR Network. SAMPL guidelines: basic statistical reporting for articles published in biomedical journals.