Cómo reconocer la buena ciencia en la red

[Ésta es una versión extendida del artículo original para Amazings]

La ciencia avanza A Hombros de Gigantes, decía 
Chartres ya en el siglo XII: 
los descubrimientos se basan y se suman 
a los que nos transmitieron generaciones 
anteriores, y sólo gracias a lo que nos 
transmitieron podemos ver más allá. [Fuente]. 

En la red y en los medios tradicionales abundan las menciones a estudios científicos que no lo son. Los magufos (definición) están incluídos en ese grupo, pero en la prensa se citan infinidad de trabajos cuya acientificidad es más sutil. La geociencia es especialmente vulnerable a este tema (quizá or motivos históricos, p.e., Alvarez y Leitao, 2012, Geology). Recordad si no el grito de "Geology is not a true science!" de Sheldon en Big Bang Theory. Bromas aparte, me arremango para explicar los ingredientes para mí más importantes de un buen artículo periodístico sobre ciencia, sea amateur o profesional:

¿Cita fuentes? ¿Menciona estudios previos?

En la web, los malos artículos sobre ciencia se delatan por carecer de enlaces a las fuentes originales, fuentes fiables e independientes que apoyen lo que cuentan; igual que en ciencia o en Wikipedia, la clave de un buen artículo es la calidad de sus referencias. Un artículo periodístico tiene que dar alguna pista de qué se había hecho ya antes de ese trabajo que intenta comunicar. La ciencia no es más que un sistema de recopilación, extensión y comunicación del conocimiento: cualquier nuevo estudio debe partir de resultados anteriores. Por eso el extracto de sauce blanco usado medicinalmente en la América precolombina pudo ser un conocimiento extraordinariamente útil, pero no científico: sus propiedades no habían sido relacionadas cuantitativa ni sistemáticamente con otros conocimientos de la época. En cambio el descubrimiento de su principio activo y el aislamiento del ácido acetilsalicílico (aspirina) sí lo son. Cualquier estudio científico tiene que partir de lo que ya se ha descrito antes, debe anclarse en el conocimiento científico existente. Eso es una pesadez pero, como científico, demostrar que conoces lo que ya se ha hecho en tu campo es el primer paso para que tu estudio sea tomado en serio. Y el artículo periodístico debe reflejar este proceso. 

¿Deja clara la pregunta científica que se ha abordado?

La cuestión que aborda un trabajo científico debe estar bien definida y ser precisa, y para divulgarlo bien hay que entender lo que buscaba inicialmente. Puede no ser una pregunta nueva e incluso puede tener ya una respuesta bien consolidada entre los especialistas, pero hay que dejar clara su relación con estudios anteriores que han abordado las mismas incógnitas (unknowns). En investigación, como en otras formas de vida, uno pasa más tiempo buscando las preguntas correctas que buscando respuestas, que suelen ser equivocadas (inevitable evocar aquí las infames palabras de Rumsfeld).

Hipótesis y predicciones validables o falsables

Pienso que un periodista o un bloguero que escribe sobre ciencia debe tener clara la hipótesis de la que partió el trabajo (incluso puede acabar aclarándosela al propio autor). De nuevo: son los antecedentes los que dan solidez a esa hipótesis y los que te permiten distinguir una curiosidad legítima de una chorrada (luego, el estudio podrá validar o refutar esa hipótesis y en función de ello postular una nueva. Pero vuelvo a ese punto más tarde).

Observación objetiva, repetida, sistemática, cuantitativa

Cuando se produce una mejora del conocimiento suele haber de por medio experiencias nuevas. En geociencia pueden ser experiencias de laboratorio (experimentos), de campo (exploración y muestreo de una zona) o de cálculo (simulaciones, modelos). Si un experimento de cristalografía no está bien descrito, ni es repetible, ni está cuantificado (pienso en los infames cristales de hielo de Emoto), entonces puede que sea divertido, pero no es científico. No siempre es sencillo juzgar cuando las observaciones son objetivas y sistemáticas, y no siempre pueden ser cuantitativas, pero es importante recordar que la aspiración natural del científico es el mayor grado de cuantificación posible. El motivo es que, antes o después, el proceso de comprensión pasa por (o aspira a) formular matemáticamente aquello que se estudia. También vuelvo a esto luego.

Experimentos y análisis reproducibles

La reproducibilidad es también esencial (un ejemplo reciente relacionado), aunque a menudo olvidada. No es ciencia un estudio basado en muestras de roca cuya localización es desconocida, porque no se puede contrastar los análisis con otras muestras del mismo lugar. Más polémico: No es ciencia un estudio basado en experimentos numéricos (simulaciones informáticas) que usan un modelo software ad-hoc muy complejo pero cuyo código fuente no está disponible: no se pueden reproducir los cálculos ni comprobar la unicidad de su ajuste de las observaciones. Ambos trabajos pueden ser excelentes, pero no son ciencia porque nadie podría reproducirlos ni poner a prueba sus resultados. Y ambos casos abundan en las Ciencias de la Tierra.

Pero no siempre está tan claro, y para muestra invito a leer este artículo sobre lo que no se suele compartir entre científicos (interesantes los comentarios de los lectores al pie). Otro ejemplo dudoso: las rocas de una perforación deberían estar disponibles para su estudio crítico por otros grupos, permitiendo la reproducción de su análisis. Pero si cuando pides una muestra no hay nadie que la empaquete y te la envíe, o si una compañía que financió la perforación impide el acceso a las muestras ¿el estudio original sigue siendo científico?

Formulación matemática

La formulación matemática es la expresión más
sólida de un modelo o un concepto y permite ponerlos a
prueba sin ambigüedad en escenarios distintos. En este 
caso se trata del principio de isostasia, que relaciona la 
elevación de una región (h1) con el engrosamiento de la
corteza terrestre (b1) y con las densidades de la
corteza y el manto.

Describir un proceso natural con una ecuación tiene algo de trascendental. La matemática es la máxima expresión de lo mencionado: objetividad, cuantificación, reproducibilidad, y el artículo de divulgación debería reflejar e grado de cuantificación del estudio que explica. Por ejemplo: una buena parte de la tectonofísica se basa en la formulación de la isostasia de finales del siglo XIX (nada del otro mundo, por otra parte, una simple aplicación del principio de Arquímedes a la corteza terrestre). El principio en sí mismo podría haberse enunciado sin más. Pero fue la sencillez de su formulación matemática la que permitió aplicarlo fácilmente a infinidad de escenarios geológicos y así validarlo y hacer brotar una nueva rama de la geociencia. Algo parecido sucedió con la relatividad especial: muchos conceptos que reflejó Einstein en sus publicaciones ya eran conocidos en su tiempo; su gran aporte fue la simplicidad de la expresión matemática de esos conceptos. Para el periodista: Una buena pista sobre la reproducibilidad y calidad de un trabajo es su grado de cuantificación. 

¿Son los resultados falsables?

Reconstrucción de la distribución de las placas tectónicas
dentro de 150 millones de años

Periodista o bloguero: Las conclusiones de un estudio deben ser validables o refutables para tener valor científico. Un ejemplo de tesis no falsable que me encanta es la estimación de la posición de las placas tectónicas dentro de 50 millones de años. Nadie va a estar allí para contrastar la veracidad de esta predicción. Por tanto, esta imagen puede ser muy interesante desde el punto de vista educativo o divulgativo y puede estar bien fundamentada, pero no puede ser validada ni se puede por tanto aprender de ellas, y por lo tanto no es ciencia. Otro aspecto interesante es que, aunque casi todos preferimos publicar resultados positivos que apoyen la tesis de partida, se suele considerar que una disciplina con buena salud debe publicar muchos resultados negativos (enlazo a un artículo de Plos, ver su figura 1). Aunque éstos no aparezcan en los periódicos, sí son muy importantes para los investigadores que vienen detrás. 

Interpretación
La interpretación de los resultados es la parte más especulativa de un estudio científico. Aquí entra en juego algo tan escurridizo como el sentido común. Por eso debe siempre estar bien aislada tanto en el artículo original como en el divulgativo. Pocas veces los resultados suficientemente sólidos como para proponer una nueva tesis provocativa que pueda ser valorada en futuros estudios y pase a ser la hipótesis de un nuevo estudio, así que el divulgador no tiene que sentirse obligado a encontrar esas 'nueva teoría propupesta'. 

Revisión por expertos y publicación

Detector de Neutrinos OPERA.
El revuelo de los supuestos neutrinos superlumínicos
se formó antes de que los resultados hubieran pasado
 por peer review, y probablemente tanto los autores
como los medios se precipitaron al anunciar a
bombo y platillo lo que sería la primera observación 
no acorde con la archiprobada teoría de la relatividad.

La publicación que se pretende divulgar debe estar avalada por expertos reconocidos en la materia, lo que generalmente se interpreta como colegas (peer review) que ya han publicado artículos en temas relacionados y en revistas de prestigio similar. Y un buen artículo de divulgación debe entrevistar también a ese tipo de competidores que contrasten la interpretación (algo que es rutinario en los medios anglófonos). 

Derecho a réplica

Las publicaciones científicas deben poder ser replicadas por otros expertos que vean defectos en el procedimiento o en la interpretación de los resultados. Tradicionalmente estas réplicas han tenido la forma de breves artículos, en principio también revisados por pares. Algunas revistas científicas como PLoS ONE permiten la réplica o los comentarios online, sin necesidad de pasar necesariamente por un proceso de revisión. Una publicación que no permita la réplica (o que no lleve a cabo una revisión por pares) no es seria y no debería aparecer como fuente fiable en un periódico o una televisión.

Un artículo de divulgación no puede ser estricto en todos estos aspectos, pero un buen artículo de divulgación se mide por cuanto de ello es capaz de transmitir. A menudo ni siquiera se especifica en qué consisten los experimentos, cálculos u observaciones, sin los que el trabajo científico divulgado no tendría valor. Los mejores medios de divulgación entrevistan además a colegas que compitan con los autores del trabajo y den una visión contrapuesta.

Por otro lado, no hay que confundir el método de comunicación que he descrito con un método científico. En la práctica, un descubrimiento o el nacimiento de una nueva idea tienen poco que ver con todo eso (ejemplo) y ciertas dosis de método deben ir acompañadas también de ciertas dosis de locura. Los ingredientes que he enumerado sirven para la comunicación entre investigadores (la mayoría de los artículos científicos están estructurados de acuerdo con ellos), y deberían formar parte de los artículos de divulgación. Dicho esto, la web 2.0 está cambiando algunas cosas. Al nuevo orden científico se está sumando el crowdsourcing y el crowdfunding. ¿Te imaginas publicar con multitud de científicos a quienes no conoces, sin saber qué tienen ellos en la cabeza? ¿Y todo ello sin financiación pública ni conflictos de interés privado? ¿Es eso posible? La publicación científica está viviendo tiempos revolucionarios y en pocos años costará reconocerla, pero sin duda la estructura que he descrito arriba permanecerá intacta, porque define la comunicación científica, la más eficaz que tenemos.

Por cierto, a estas alturas queda claro que éste que aquí termina no es un artículo científico, ni un artículo de filosofía científica, es sólo otro post en la blogosfera, mal referenciado y con algunas hipótesis dudosamente falsables!

Alvarez, W., & Leitao, H. (2011). The neglected early history of Geology: The Copernican Revolution as a major advance in understanding the Earth: REPLY Geology, 39 (9) DOI: 10.1130/G32501Y.1