NeoFronteras

Sobre la mala ciencia

Área: Política científica — lunes, 11 de julio de 2016

Una presión de selección evolutiva explicaría la proliferación de mala ciencia en los tiempos actuales.

Foto

El título de esta entrada tiene algo en común con el famoso libro de Darwin “Sobre el origen de las especies” (On the Origin of Species), ambos empiezan por la palabra “sobre”.

Ese comienzo por parte del libro de Darwin implicaba que el autor, ya en el título, asumía que había un origen de las especies de seres vivos de la Tierra que en el contenido del libro trataría de explicar a través de la evolución por selección natural. Del mismo modo, aquí asumimos que hay una mala ciencia y que esta se produce por un proceso evolutivo.

En este caso, la mala ciencia es algo que es un hecho. En los últimos años se han sucedido casos de artículos científicos en donde se ha plagiado o se han falsificado los datos, pero, sobre todo, se publican hallazgos erróneos o incompletos porque sus autores se precipitaron antes de tener buenos resultados que publicar. Lo que suele ocurrir en estos casos es una retractación del artículo en cuestión.

Algunos de esos casos los hemos visto por NeoFronteras. Uno de esos casos, por ejemplo, fue la vida basada en el arsénico. En concreto se trataba de bacterias que supuestamente eran capaces de incorporar el arsénico en lugar de fósforo en sus moléculas estructurales, incluido el ADN. El resultado era fantástico, sí, pero no se pudo reproducir. Los investigadores parece que se precipitaron y mucho, porque el caso era revolucionario.

La pregunta que nos viene a la cabeza es por qué sucede este tipo de cosas. Se puede especular que ahora se publica más y, por tanto, al tener un porcentaje de fraude o incompetencia constante el número de los casos aumenta. Otra explicación es que ahora se atrapa más fácilmente a los infractores, pues los sistemas informáticos pueden detectar mejor el plagio y la competencia, gracias a Internet, tiene un mejor acceso a todos los artículos. Sin embargo, parece que nadie ha medido estas posibles causas.

Paul Smaldino y Richard McElreath (Universidad de California en Davis) tienen una explicación alternativa que parece que funciona muy bien a la hora de explicar la presencia de la mala ciencia. Estos investigadores han creado un modelo computacional basado en mecanismos evolutivos que explica la proliferación de las malas prácticas en la ciencia en estos tiempos que corren.

Han encontrado que los incentivos que se crean en el mundo de la ciencia contemporánea animan activamente hacia la recompensa rápida y propagan métodos de investigación pobres, atajos, malas prácticas o se abusa de la estadística. En otras palabras, existe una presión de selección que tiende a seleccionar los métodos deficientes en la ciencia.

En el modelo de Smaldino y McElreath hay una población de científicos virtuales sobre los que se simulan distintos comportamientos. Todos son honestos e íntegros y nunca hacen trampas a sabiendas, pero la forma en la que realizan sus investigaciones varía y evoluciona según su habilidad para ser contratados o para mantener su empleo. Como vemos, no se parte, necesariamente, de una mala fe.

Además, en el modelo se asumen tres premisas. La primera es que cada científico virtual posee la habilidad de identificar patrones científicos verdaderos. La segunda es que si un científico tiene una fuerte habilidad de identificar esos patrones entonces también es más propenso a identificar falsos positivos, a no ser que se esfuerce en no hacerlo. Y tercero, esforzarse en encontrar falsos positivos lleva a mejores métodos de investigación, pero reduce la productividad, porque se necesita más tiempo para realizar investigación si esta es rigurosa.

La recompensa por publicar el estudio de los científicos virtuales es recibir una puntuación, que representan el prestigio y la financiación en el mundo real, que es mayor si encuentran un resultado novedoso, en oposición a la casi carencia de recompensa por realizar un trabajo que replique el de otros científicos.

Si nos fijamos, el modelo es un buen reflejo del mundo de la ciencia en los tiempos actuales. La mayoría de los investigadores reales no engañan a sabiendas (aunque alguno sí lo haga), pero necesitan mantener una productividad para mantener una carrera de éxito. A veces, necesitan esa productividad para mantener simplemente su empleo en estos tiempos tan duros, inhumanos y competitivos.

Algunas veces pueden pasar por alto un resultado. Esto es algo que ya hizo en su día Mendel, que ignoraba a alguno de sus guisantes y no los consideraba en sus estudios. La “selección de cerezas” (cherry picking) es una mala práctica científica, sobre todo cuando se usan métodos estadísticos de análisis.

Además, no compensa comprobar los resultados publicados por los demás, porque una línea de investigación original produce artículos, prestigio y más financiación, al contrario que una revisión. Pero sin este tipo de pruebas de control la ciencia no avanza adecuadamente, pues la revisión por pares no se efectúa realmente por los revisores de la editorial, sino por los colegas del campo una vez se ha publicado un resultado.

Esta es la razón por la cual en muchos resultados que reflejamos en NeoFronteras se dice al final eso de “si se confirma”, pues los resultados, sobre todo los extraordinarios, necesitan confirmarse para así conseguir pruebas firmes que los sustenten. De nuevo, podemos recordar el caso de las bacterias con arsénico estructural.

Este modelo predice que los científicos virtuales tienden a hacer menos ciencia rigurosa y a publicar más falsos positivos. Smaldino y McElreath sugieren que, según su modelo, la mala ciencia puede ser explicada como resultado de un proceso evolutivo bajo una presión de selección que opera sobre los investigadores reales.

En las últimas décadas se ha producido un aumento en el número esperado de artículos que todo científico debe publicar para así tener acceso a un empleo o a tener financiación, tanto en universidades como en centros de investigación. Así por ejemplo, para que un biólogo sea contratado como investigador tiene que tener el doble de publicaciones que hace 10 años.

La situación se está haciendo cada vez peor al haber una burbuja de doctores. Cada vez hay más estudiantes de doctorado y menos plazas posdoctorales. Pero los investigadores principales necesitan el trabajo de los estudiantes de doctorado para sacar adelante su trabajo y competir contra los demás, así que se ofertan puestos para ser cubiertos por estos estudiantes. A estos se les da una pequeña beca o un puesto de ayudante (en EEUU suele ser un puesto de TA o teacher assistant), por lo que a la institución le salen más baratos que los posdocs.

El caso es que la existencia de esta burbuja de doctores ha provocado un aumento muy elevado de la competitividad entre ellos, lo que explicaría, entre otras cosas, que entre 1974 y 2014 el uso de palabras como “innovador”, “novedoso” o “revolucionario” (groundbreaking) en los resúmenes (abstracts) de los artículos científicos haya aumentado en un 2500 por ciento. Según Smaldino y McElreath es muy improbable que los investigadores sean 25 veces más innovadores que hace 40 años y que lo que realmente ocurre es que el lenguaje refleja la respuesta que se da al aumento de presión existente hacia la consecución de resultados científicos novedosos, que son los que producen más contraprestaciones.

Según Smaldino y McElreath, el comportamiento que se da en el mundo de la investigación sigue la “ley” de Goodhart, que han tomado prestada del mundo de la Economía. Esta se da cuando se llega a una situación en la que la medida termina siendo el objetivo y entonces cesa toda buena medida. De este modo, aplicada al mundo de la investigación, el éxito de un investigador se mide por el volumen de sus artículos y el prestigio de las revistas en donde son publicados y esto aumenta los incentivos para la mala práctica científica. Esto, en el lenguaje de la cuántica, viene a decir que, básicamente, la medida altera el objeto que se trata de medir. Mido a los investigadores según unos parámetros porque asumo que eso mejorará su trabajo y estos cambian su modo de trabajar para adaptarse a esas medidas y poder sobrevivir, aunque entonces hagan mal su trabajo.

Por desgracia, los investigadores que se toman un tiempo para demostrar que los resultados de otros son incorrectos (o correctos) no son recompensados tan bien como los investigadores que publican grandes volúmenes de artículos originales. Así por ejemplo, un análisis en el campo de la Ecología fue cuestionado en un momento dado, pero esto no impidió que fuera citado positivamente por otros 17 estudios antes de ser refutado. Encima, cuando estas refutaciones son citadas, muchas veces se malinterpretan y se usan para apoyar el trabajo original. Esto es explicable si el autor no se ha leído ni el resumen del artículo de refutación en su ansia de buscar apoyos o añadir citas y publicar cuanto antes su artículo.

Según Smaldino y McElreath, bajo esta perspectiva evolutiva del problema, la manera de parar este aumento de la mala ciencia es cambiar los incentivos de éxito. Una manera de conseguirlo es tener en cuenta la fiabilidad del trabajo del investigador a la hora de contratarlo o financiarlo, en lugar de usar unas medidas basadas en el prestigio de la revista en donde ha publicado o su número de publicaciones.

Copyleft: atribuir con enlace a http://neofronteras.com/?p=4983

Fuentes y referencias:
Artículo original
Foto: Wikipedia, United States National Institutes of Health.

Salvo que se exprese lo contrario esta obra está bajo una licencia Creative Commons.
Compartir »

9 Comentarios

  1. NeoFronteras:

    Es interesante mencionar que, en la actualidad, más del 50% de los artículos científicos experimentales son poco fiables y no replicables.

  2. Tomás:

    Si decepcionante es lo que el artículo refiere. aún me lo parece más con el contenido del comentario de Neo.

  3. petrus:

    Es que vivimos un momento en el que la información y su prima la desinformación corren a raudales en todas las direcciones. Uno de estos días ojeando páginas y lugares de la red en los que participo, veo mi identificador casi exacto, con solo un par de puntos (.) añadidos, recibiendo un rapapolvo de la administración del sitio por haber publicado como propios algunos contenidos que no les parecían tales. Os aseguro que no era yo, pero a primera vista lo parecía… si no comprobabas el e-mail.
    Y es que el corta y pega tiene muchos admiradores.

  4. lluís:

    El problema,es, además, que todo lo que aquí se cuenta conduce a la gente que se interesa por la ciencia, que parece ser que cada vez es más, a juzgar por la cantidad de libros de divulgación científica que se publican, a la desconfianza en la ciencia. Más de una vez se leen por ahí comentarios que acreditan tal desconfianza.

  5. JavierL:

    Cualquier regularidad estadística observada tenderá a desplomarse una vez se presione para utilizarla con propósitos de control.
    (Formulación original de Goodhart en 1975) (según Wikipedia)

    Entiendo que si se usará el número de publicaciones y el prestigioso de las revistas como un indicador fuera fiable… Pero al usarlo como mecanismo de control (en este caso pasa contratar) pierde toda fiabilidad porque se empieza a alterar como indica el artículo.

    Pues me parece una “ley” con bastante sentido común…

    Asumo que si se usará la fiabilidad de los ensayos como bien dice el artículo los cientificos encontrarán la forma de usar huecos en el sistema. (Aunque, ¿cómo medimos la fiabilidad en este caso?, en la misma definición saldrán los huecos a usar)

    Por otro lado, siempre que la verificación de artículos valga menos que la creación de artículos nuevos habrá una presión hacia no verificar los estudios. Y si les damos igual valle habrá una presión en no hacer artículos nuevos.

    No parece tan sencillo de resolver

  6. Tomás:

    Parece ser que es como todo en la vida: un cuchillo o instrumento de corte sirve para cortar -lo más normal-, para lo mejor, diseccionar, operar, etc., y para lo peor, matar.
    Así son las cosas o, mejor, así es el hombre.

  7. lluís:

    Por cierto, ¿de dónde sale ese alto porcentaje, más del 50%, de artículos científicos poco fiables y no replicables?. No digo que no sea así; no lo sé. Pero es que ese alto porcentaje me parece algo realmente grave para el prestígio de la ciencia.

  8. NeoFronteras:

    Por ejemplo de aquí:

    http://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124

    http://science.sciencemag.org/content/349/6251/aac4716

    Depende del campo. No es lo mismo Medicina, que Psicología (este campo se ha visto en el último año en el ojo del huracán), que Física.

    Hay distintos estudios dependiendo de la disciplina. A más estadísticas con menos muestra más fácil que sea erróneo.

  9. Tomás:

    ¡Hombre, querido Neo! Tu frase final del comentario 8, se acerca a mi principio de que cuanto mayor es la muestra, el resultado es más fiable, por mucho que la fórmula de Wikipedia o cualquier otra parezca que no lo considere así. Es un intercambio de pareceres que tuvimos ya hace unos meses, creo recordar.
    Y es que la cosa, llevada al límite -muchas veces da resultado este método que suelo utilizar- nos daría que una muestra del 100 % es certeza y una del 0 %, absoluta ignorancia.
    Un abrazo y perdón por sacar a colación aquel amigable rifirrafe.

RSS feed for comments on this post.

Lo sentimos, esta noticia está ya cerrada a comentarios.