Reproducibilidad y replicabilidad en la investigación en ciencias naturales: ¿Hay una crisis?

David E. Gorla

doi:10.25260/EA.21.31.1.0.1060

Autores/as

David E. Gorla Instituto de Diversidad y Ecología Animal (CONICET - Universidad Nacional de Córdoba). http://orcid.org/0000-0002-9323-9365

DOI:

https://doi.org/10.25260/EA.21.31.1.0.1060

Palabras clave:

prácticas cuestionables de investigación, causas de no-replicabilidad

Resumen

Suponemos que por la propiedad de autocorrección del conocimiento científico, todo estudio publicado que contenga errores será revisado por alguien que replicará aquel estudio y, eventualmente, publicará la corrección. De este modo el proceso descartará errores y conservará aciertos para construir el conocimiento científico aceptado como válido. Sin embargo, debido a prácticas cuestionables de investigación el proceso no funciona tal como se espera y la situación ha llevado a una crisis de reproducibilidad y replicabilidad (aun cuando hay quienes niegan tal crisis). Este trabajo considera, en general, el estado de situación y presenta un ejemplo local (al menos como prueba de concepto) que muestra que las prácticas cuestionables de investigación que causan problemas de reproducibilidad y replicabilidad en investigaciones científicas son más prevalentes que lo que suponemos. Concluyo con un llamado a crear espacios para reflexionar sobre el problema y enumero algunas ideas para reducir el impacto de sus causas, de importancia particular para la formación de nuevos investigadores.

Citas

Amrhein, V., S. Greenland, B. McShane, et al. 2019. Retire statistical significance. Nature 567:305-307.

Baker, M., D. Penny. 2016. Is there a reproducibility crisis in science? Nature 533:452-454. https://doi.org/10.1038/533452a.

Cummings, G. 2013. Dance of the p-values. URL: https://www.youtube.com/watch?v=5OL1RqHrZQ8.

Cummings, G. 2017. Significance roulette. URL: https://www.youtube.com/watch?v=OcJImS16jR4.

Farji-Brener, A., and A. Ruggiero. 2010. ¿Impulsividad o paciencia? ¿Qué estimula y qué selecciona el sistema científico argentino? Ecología Austral 20:307-314.

Fraser, H., T. Parker, S. Nakagawa, A. Barnett, and F. Fidler. 2018. Questionable research practices in ecology and evolution. PLOS One 13(7):e0200303. https://doi.org/10.1371/journal.pone.0200303.

GAISE. 2016. College Report ASA Revision Committee, Guidelines for Assessment and Instruction in Statistics. Education College Report 2016. URL: http://www.amstat.org/education/gaise.

Ioannidis, J. 2005. Why most published research findings are false. PLoS Med 2(8):e124. https://doi.org/10.1371/journal.pmed.0020124.

Ioannidis, J. 2016. Why Most Clinical Research Is Not Useful. PLOS Med 13(6):e1002049. https://doi.org/10.1371/journal.pmed.1002049.

Leek, J. T., and R. D. Peng. 2015. P values are just the tip of the iceberg. Nature 520:612. https://doi.org/10.1038/520612a.

Mazieres, M., and E. Kohler. 2014. Get me off Your Fucking Mailing List (accepted, unpublished). http://www.scs.stanford.edu/~dm/home/papers/remove.pdf.

Munafo, M. R., B. A. Nose, D. V. M. Bishop, K. S. Button, C. D. Chambers, N. P. du Sert, U. Simmondson, E. Wagenmakers, J. J. Ware, and J. P. A. Ioannidis. 2017. A manifesto for reproducible science. Nat Hum Behav 1, 0021. https://doi.org/10.1038/s41562-016-0021.

NAS (National Academies of Sciences, Engineering, and Medicine). 2016. Statistical Challenges in Assessing and Fostering the Reproducibility of Scientific Results: Summary of a Workshop. Washington, DC. The National Academies Press. https://doi.org/10.17226/21915.

NAS (National Academies of Sciences, Engineering, and Medicine). 2019. Reproducibility and Replicability in Sciences. Washington DC. The National Academic Press. https://doi.org/10.17226/25303.

O’Boyle, E. H., G. C. Banks, E. González-Mulé. 2014. The Chrysalis effect: how ugly initial results metamorphosize into beautiful articles. Journal of Management 20(10):1-24. https://doi.org/10.5465/ambpp.2013.43.

Steward-Lowndes, J. S. S., B. D. Best, C. Scarborough, J. C. Afflerbach, M. R. Frazier, C. C. O’Hara, N. Jiang, and B. S. Halpern. 2017. Our path to better science in less time using open data science tools.

Nat Ecol Evol 1(6):160. https://doi.org/10.1038/s41559-017-0160.

Wasserstein, R. L., and N. A. Lazar. 2016. The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician 70(2):129-133. https://doi.org/10.1080/00031305.2016.1154108.

Wasserstein, R. L., A. L. Schirm, N. A. Lazar. 2019. Moving to a world beyond P<0.05. The American Statistician 73(1):1-19. Special Issue Statistical Inference in the 21st Century: A World beyond P<0.05. https://doi.org/10.1080/00031305.2019.1583913.

Wittingham, M. J., P. A. Stephens, R. B. Bradbury, and R. P. Freckleton. 2006. Why do we still use stepwise modelling in ecology and behaviour? Journal of Animal Ecology 75:1182-1189. https://doi.org/10.1111/j.1365-2656.2006.01141.x.