NeoFronteras

Una presión de selección evolutiva explicaría la proliferación de mala ciencia en los tiempos actuales.

El título de esta entrada tiene algo en común con el famoso libro de Darwin “Sobre el origen de las especies” (On the Origin of Species), ambos empiezan por la palabra “sobre”.

Ese comienzo por parte del libro de Darwin implicaba que el autor, ya en el título, asumía que había un origen de las especies de seres vivos de la Tierra que en el contenido del libro trataría de explicar a través de la evolución por selección natural. Del mismo modo, aquí asumimos que hay una mala ciencia y que esta se produce por un proceso evolutivo.

En este caso, la mala ciencia es algo que es un hecho. En los últimos años se han sucedido casos de artículos científicos en donde se ha plagiado o se han falsificado los datos, pero, sobre todo, se publican hallazgos erróneos o incompletos porque sus autores se precipitaron antes de tener buenos resultados que publicar. Lo que suele ocurrir en estos casos es una retractación del artículo en cuestión.

Algunos de esos casos los hemos visto por NeoFronteras. Uno de esos casos, por ejemplo, fue la vida basada en el arsénico. En concreto se trataba de bacterias que supuestamente eran capaces de incorporar el arsénico en lugar de fósforo en sus moléculas estructurales, incluido el ADN. El resultado era fantástico, sí, pero no se pudo reproducir. Los investigadores parece que se precipitaron y mucho, porque el caso era revolucionario.

La pregunta que nos viene a la cabeza es por qué sucede este tipo de cosas. Se puede especular que ahora se publica más y, por tanto, al tener un porcentaje de fraude o incompetencia constante el número de los casos aumenta. Otra explicación es que ahora se atrapa más fácilmente a los infractores, pues los sistemas informáticos pueden detectar mejor el plagio y la competencia, gracias a Internet, tiene un mejor acceso a todos los artículos. Sin embargo, parece que nadie ha medido estas posibles causas.

Paul Smaldino y Richard McElreath (Universidad de California en Davis) tienen una explicación alternativa que parece que funciona muy bien a la hora de explicar la presencia de la mala ciencia. Estos investigadores han creado un modelo computacional basado en mecanismos evolutivos que explica la proliferación de las malas prácticas en la ciencia en estos tiempos que corren.

Han encontrado que los incentivos que se crean en el mundo de la ciencia contemporánea animan activamente hacia la recompensa rápida y propagan métodos de investigación pobres, atajos, malas prácticas o se abusa de la estadística. En otras palabras, existe una presión de selección que tiende a seleccionar los métodos deficientes en la ciencia.

En el modelo de Smaldino y McElreath hay una población de científicos virtuales sobre los que se simulan distintos comportamientos. Todos son honestos e íntegros y nunca hacen trampas a sabiendas, pero la forma en la que realizan sus investigaciones varía y evoluciona según su habilidad para ser contratados o para mantener su empleo. Como vemos, no se parte, necesariamente, de una mala fe.

Además, en el modelo se asumen tres premisas. La primera es que cada científico virtual posee la habilidad de identificar patrones científicos verdaderos. La segunda es que si un científico tiene una fuerte habilidad de identificar esos patrones entonces también es más propenso a identificar falsos positivos, a no ser que se esfuerce en no hacerlo. Y tercero, esforzarse en encontrar falsos positivos lleva a mejores métodos de investigación, pero reduce la productividad, porque se necesita más tiempo para realizar investigación si esta es rigurosa.

La recompensa por publicar el estudio de los científicos virtuales es recibir una puntuación, que representan el prestigio y la financiación en el mundo real, que es mayor si encuentran un resultado novedoso, en oposición a la casi carencia de recompensa por realizar un trabajo que replique el de otros científicos.

Si nos fijamos, el modelo es un buen reflejo del mundo de la ciencia en los tiempos actuales. La mayoría de los investigadores reales no engañan a sabiendas (aunque alguno sí lo haga), pero necesitan mantener una productividad para mantener una carrera de éxito. A veces, necesitan esa productividad para mantener simplemente su empleo en estos tiempos tan duros, inhumanos y competitivos.

Algunas veces pueden pasar por alto un resultado. Esto es algo que ya hizo en su día Mendel, que ignoraba a alguno de sus guisantes y no los consideraba en sus estudios. La “selección de cerezas” (cherry picking) es una mala práctica científica, sobre todo cuando se usan métodos estadísticos de análisis.

Además, no compensa comprobar los resultados publicados por los demás, porque una línea de investigación original produce artículos, prestigio y más financiación, al contrario que una revisión. Pero sin este tipo de pruebas de control la ciencia no avanza adecuadamente, pues la revisión por pares no se efectúa realmente por los revisores de la editorial, sino por los colegas del campo una vez se ha publicado un resultado.

Esta es la razón por la cual en muchos resultados que reflejamos en NeoFronteras se dice al final eso de “si se confirma”, pues los resultados, sobre todo los extraordinarios, necesitan confirmarse para así conseguir pruebas firmes que los sustenten. De nuevo, podemos recordar el caso de las bacterias con arsénico estructural.

Este modelo predice que los científicos virtuales tienden a hacer menos ciencia rigurosa y a publicar más falsos positivos. Smaldino y McElreath sugieren que, según su modelo, la mala ciencia puede ser explicada como resultado de un proceso evolutivo bajo una presión de selección que opera sobre los investigadores reales.

En las últimas décadas se ha producido un aumento en el número esperado de artículos que todo científico debe publicar para así tener acceso a un empleo o a tener financiación, tanto en universidades como en centros de investigación. Así por ejemplo, para que un biólogo sea contratado como investigador tiene que tener el doble de publicaciones que hace 10 años.

La situación se está haciendo cada vez peor al haber una burbuja de doctores. Cada vez hay más estudiantes de doctorado y menos plazas posdoctorales. Pero los investigadores principales necesitan el trabajo de los estudiantes de doctorado para sacar adelante su trabajo y competir contra los demás, así que se ofertan puestos para ser cubiertos por estos estudiantes. A estos se les da una pequeña beca o un puesto de ayudante (en EEUU suele ser un puesto de TA o teacher assistant), por lo que a la institución le salen más baratos que los posdocs.

El caso es que la existencia de esta burbuja de doctores ha provocado un aumento muy elevado de la competitividad entre ellos, lo que explicaría, entre otras cosas, que entre 1974 y 2014 el uso de palabras como “innovador”, “novedoso” o “revolucionario” (groundbreaking) en los resúmenes (abstracts) de los artículos científicos haya aumentado en un 2500 por ciento. Según Smaldino y McElreath es muy improbable que los investigadores sean 25 veces más innovadores que hace 40 años y que lo que realmente ocurre es que el lenguaje refleja la respuesta que se da al aumento de presión existente hacia la consecución de resultados científicos novedosos, que son los que producen más contraprestaciones.

Según Smaldino y McElreath, el comportamiento que se da en el mundo de la investigación sigue la “ley” de Goodhart, que han tomado prestada del mundo de la Economía. Esta se da cuando se llega a una situación en la que la medida termina siendo el objetivo y entonces cesa toda buena medida. De este modo, aplicada al mundo de la investigación, el éxito de un investigador se mide por el volumen de sus artículos y el prestigio de las revistas en donde son publicados y esto aumenta los incentivos para la mala práctica científica. Esto, en el lenguaje de la cuántica, viene a decir que, básicamente, la medida altera el objeto que se trata de medir. Mido a los investigadores según unos parámetros porque asumo que eso mejorará su trabajo y estos cambian su modo de trabajar para adaptarse a esas medidas y poder sobrevivir, aunque entonces hagan mal su trabajo.

Por desgracia, los investigadores que se toman un tiempo para demostrar que los resultados de otros son incorrectos (o correctos) no son recompensados tan bien como los investigadores que publican grandes volúmenes de artículos originales. Así por ejemplo, un análisis en el campo de la Ecología fue cuestionado en un momento dado, pero esto no impidió que fuera citado positivamente por otros 17 estudios antes de ser refutado. Encima, cuando estas refutaciones son citadas, muchas veces se malinterpretan y se usan para apoyar el trabajo original. Esto es explicable si el autor no se ha leído ni el resumen del artículo de refutación en su ansia de buscar apoyos o añadir citas y publicar cuanto antes su artículo.

Según Smaldino y McElreath, bajo esta perspectiva evolutiva del problema, la manera de parar este aumento de la mala ciencia es cambiar los incentivos de éxito. Una manera de conseguirlo es tener en cuenta la fiabilidad del trabajo del investigador a la hora de contratarlo o financiarlo, en lugar de usar unas medidas basadas en el prestigio de la revista en donde ha publicado o su número de publicaciones.

Copyleft: atribuir con enlace a http://neofronteras.com/?p=4983

Fuentes y referencias:
Artículo original
Foto: Wikipedia, United States National Institutes of Health.