MENÚ
Los estudios científicos son uno de los procesos diseñados por la humanidad para construir el conocimiento. Las aportaciones de equipos de investigación y expertas, que trabajan de manera independiente, van mejorando el conocimiento que tenemos de lo que nos rodea. Esos conocimientos se comparten al publicar estudios científicos. No es un proceso perfecto ni inmutable, tiene debilidades y problemas y no es ajeno al contexto de una sociedad, pero si se hace bien, este conocimiento puede construirse de manera rigurosa, clara, precisa y verificable.
Así, las publicaciones científicas son la manera que tenemos de compartir este conocimiento con el resto de humanos. Por lo tanto, entender cómo funciona una publicación científica, qué tipos hay, en qué fijarnos para saber qué es lo que se estudia y cuáles son las conclusiones alcanzadas ayuda a que no nos la cuelen con desinformación vestida de ciencia.
Hay niveles de evidencia según el tipo de publicación
Todos nos hemos encontrado con una noticia que comenzaba así: “Según un estudio de la [insertar institución académica]”. Muy bien, bravo por esa institución, ¿pero qué tipo de estudio es? ¿Un artículo? ¿Una revisión? ¿Un comentario? ¿Un ensayo clínico? ¿Un editorial?
Hay muchos tipos de publicaciones científicas. Cada una tiene un propósito determinado y hace una aportación concreta al conocimiento científico. A su vez, cada tipo de publicación tiene que leerse (y entenderse) de manera diferente y no todas ‘construyen’ conocimiento de igual forma. Para ayudar en esto último, presentamos la pirámide de la evidencia científica.
Esta pirámide es un esquema que jerarquiza los tipos de publicaciones por su capacidad de hacer más ‘sólida’ la construcción de este conocimiento (esto es, la evidencia científica): cuanto más arriba esté el tipo de estudio en esta pirámide, se puede considerar que es más sólido, riguroso, está expuesto a menos sesgos o fallos metodológicos y, por tanto, la información que contiene es más confiable.
En este hilo de Alberto Nájera, profesor de la Universidad de Castilla-La Mancha y vocal del Comité Científico Asesor en Radiofrecuencias y Salud (CCARS), compara cómo se jerarquiza la evidencia en un área de conocimiento concreto (seguridad de las radiaciones) y cómo se intenta colar la pseudociencia como conocimiento científico válido.
En estas pirámides nos podemos encontrar muchos tipos de publicaciones científicas. Para no perdernos, explicamos algunos de ellos y exponemos ejemplos:
- Opiniones, cartas y comentarios: artículos donde se aporta un punto de vista sobre un asunto, ya sea un debate de actualidad o un artículo previamente publicado. A pesar de entrar en la categoría de “opinión”, suelen adjuntar otros trabajos científicos para sostener la postura. Ejemplo: el editorial de la revista Science de septiembre de 2022 titulado “Protejan a los vulnerables de la viruela del mono”.
- In vitro (del latín, en vidrio/vaso): estudios realizados en laboratorio y que incluyen células, microorganismos, patógenos y cualquier ambiente controlado fuera de un organismo vivo complejo. Son el punto de partida de muchas terapias y futuros experimentos. Ejemplos: un artículo de diciembre de 2016 donde se propone un método in vitro para ver si un implante médico tiene éxito.
- Con modelos animales: estudios que emplean ciertos animales, bien porque tienen aspectos o características muy parecidas a humanos (como el genoma, de los peces cebra o la mosca de la fruta), porque se pueden generar y mantener con facilidad (como ratones de laboratorio) o porque no es ético hacerlos en humanos. Ejemplo: un trabajo de una terapia contra el cáncer demuestra su eficacia en ratones para tratar una infección pulmonar causada por hongos.
- De caso: trabajos científicos que analizan lo que le pasa a un único paciente, un grupo social muy homogéneo, un evento muy particular, una nueva metodología, etc. Puede ser porque el evento a analizar tenga características muy particulares o se haya recogido un gran volumen de datos de su investigación. En principio son estudios cuyas conclusiones no se pueden extrapolar a una generalidad (un público general, el resto de eventos, el resto de metodologías…). Ejemplo: un estudio de caso publicado en Journal of Pediatric Health Care de una niña de tres años sana y con dolor en un lado de la cadera.
- De caso-control: estudios en los que se observa cómo impacta un efecto en un grupo y se compara con otro grupo que no esté expuesto a dicho efecto. El efecto puede ser un fármaco, una enfermedad, una intervención, etc. Es un estudio observacional, con las limitaciones que conlleva. Ejemplo: estudio de caso-control de la efectividad de una vacuna contra un tipo de neumonía infantil en Brasil.
- De cohorte: trabajo de observación y análisis donde se estudian grupos (con características comunes) durante un largo periodo de tiempo y se busca el efecto que le ocurre a cada uno. Si el efecto que se busca estudiar es posterior al inicio del trabajo científico, es prospectivo. Si el efecto ya ha ocurrido una vez se comienza el trabajo científico, es retrospectivo. Dentro de los estudios observacionales, cuentan con una mejor calidad de evidencia científica. Ejemplo: resultados a largo plazo de la terapia antirretroviral en una cohorte de pacientes suizos con VIH.
- Ensayos aleatorizados controlados: experimento científico en el que un grupo se expone a un efecto (como un fármaco) y otro no se expone a él pero se camufla (con un placebo). La probabilidad de recibir o no este efecto es aleatoria y no depende de la investigación, lo que permite reducir enormemente los sesgos y limitaciones de otro tipo de estudios. Si se quiere añadir aún más calidad se le añade un doble ciego, en el que el científico no sabe qué personas reciben el efecto ni la persona conoce si ha recibido el efecto o un placebo. Posteriormente, se estudian las consecuencias de este efecto y se comparan con las del placebo. Ejemplo: ensayo multinacional, con placebo-control y de doble ciego para probar la vacuna contra la COVID-19 BNT162b2.
- Revisión sistemática: una recopilación de literatura científica sobre un asunto o pregunta determinada de manera planificada y estandarizada de antemano con ciertos criterios. Puede incluir datos de los tipos de trabajos científicos que se quiera. Se busca extraer información de esta literatura que pueda responder a la pregunta de manera rigurosa. Ejemplo: revisión sistemática de Cochrane para evaluar los efectos de escuchar música en adultos con insomnio.
- Metaanálisis: una recopilación estandarizada de literatura científica a la que se aplica, además, un análisis estadístico de los datos y resultados de esta literatura. Permite generar un alto nivel de evidencia científica con un gran volumen de datos. Ejemplo: metaanálisis de la precisión de la ecografía cuantitativa (QUS) para identificar pacientes con osteoporosis.
En qué fijarse para saber el tipo de estudio
Cuando nos enfrentamos a un trabajo científico —por ejemplo, cuando los compañeros de Maldita Ciencia lo indican con un enlace—, se nos presentan varios elementos comunes: el título del trabajo, la autoría y las instituciones a las que pertenecen, el resumen (o abstract, en inglés) e información adicional como palabras clave, fecha de publicación o todos los pasos que ha dado antes de ser público ante la comunidad científica.
En la siguiente imagen indicamos dónde suele estar cada elemento cuando un trabajo científico se publica en PDF. Usamos, como ejemplo, esta revisión de estudios sobre la efectividad de vacunas con metodología caso-control, publicada en la revista Vaccine.
Es importante identificar el tipo de trabajo científico al que nos enfrentamos para conocer a qué nivel de evidencia se encuentra. En este caso se trata de una revisión porque nos lo indica justo arriba del título (el recuadro amarillo). En el resumen (marcado con rojo) se indica qué es lo que han hecho en esta publicación y cuáles son las conclusiones alcanzadas. En un punto de este resumen explican que “en 2012, un grupo de expertos se reunió para revisar experiencias recientes con estudios de caso-control que evalúan la efectividad de vacunas; nosotros resumimos las recomendaciones de ese grupo [...]”.
Con esto podemos concluir que es una revisión no-sistemática (también llamada revisión narrativa, que valora la calidad contando con el conocimiento de los autores sin hacer una selección sistemática de literatura) de vacunas.
En este segundo ejemplo, vemos que en el tipo de estudio se indica que es un “ensayo aleatorizado controlado”. El resumen se divide en objetivo, metodología, resultados y conclusiones, donde se explica en qué consiste el ensayo DIANA-5: un ensayo para medir la efectividad de la dieta Mediterránea y actividad física moderada en la reducción del cáncer de mama.
Sin embargo, habrá casos en los que el trabajo científico no indicará qué tipo de evidencia es o únicamente aparece un escueto “article” o “study”. En esos casos, habrá que echar mano a la información contenida en el resumen. Lo ilustramos con el siguiente estudio de la valoración de docentes de Física sobre el currículum que imparten.
En este caso, en el resumen del trabajo se indica que el objetivo es “determinar la opinión” de profesores de física, agrega que emplean “herramientas de recolección de datos cualitativos y cuantitativos adscritos a la metodología de estudios de caso”. Precisamente, en el propio resumen menciona que emplean métodos de investigación propios de los estudios de caso, además que la muestra del trabajo es homogénea respecto a una característica (64 docentes de física de Turquía). Por lo tanto, estamos ante un trabajo científico de un estudio de caso.
En muchos casos, el resumen puede contener datos contextuales, una breve introducción o unas anotaciones sobre el marco teórico del tema que se estudia. Es lógico que, si no se está acostumbrado a trabajar con estos documentos, alguien se pierda entre tanto texto. Un truco es buscar en el resumen los pronombres de primera del plural (“we”, en inglés; o conjugaciones en español como “hemos, estudiamos, valoramos, experimentamos”) que ofrecen, normalmente, indicaciones directas sobre qué se ha hecho exactamente.
Más allá del resumen, existen otros aspectos que pueden darnos pistas sobre si estamos ante un trabajo científico riguroso: la declaración de conflictos de intereses y las limitaciones del estudio. Un artículo riguroso y serio hablará honestamente y con claridad de ambos aspectos, aunque a veces hay que rebuscar en las últimas páginas de la investigación publicada.
El primero destaca aquellas situaciones de los autores del texto en las que podría haber influido —aunque sea de manera involuntaria— en los resultados del trabajo. Por ejemplo: una investigadora realiza un estudio sobre el impacto ambiental de un fármaco, y en el apartado de conflictos de intereses declara haber recibido dinero de la farmacéutica que lo comercializa por un congreso patrocinado al que asistió.
En las limitaciones, las y los autores del trabajo reflexionan brevemente sobre cuáles han sido los problemas que ha tenido el estudio, como aspectos que no han sabido medir, resultados que quizá no son extrapolables a toda la población o metodologías que cuentan con sus propias limitaciones. Algunas de las más repetidas son que los estudios observacionales no sirven para establecer causas o que las correlaciones que se encuentran en la investigación pueden no reflejar causalidad.
Proceso de revisión (peer-review) y revistas predatorias
El trabajo científico más sólido de la década se puede quedar en papel mojado si no pasa por un proceso vital en la construcción de la ciencia: la revisión. Volcar los resultados de estudios, experimentos y análisis en un artículo no basta para ser digno de ser publicado en una revista, que es el último paso para archivar el conocimiento y compartirlo con toda la humanidad.
El estándar de la revisión en el conocimiento recibe un nombre que mencionamos habitualmente en los desmentidos científicos: revisión por pares o peer-review. Cuando un equipo quiere publicar algo en una revista científica, envía un primer manuscrito (conocido también como preprint) a la revista en cuestión. El equipo editorial de la revista decide entonces echar un vistazo al texto y se lo envía a otros investigadores e investigadoras del mundo que compartan campo de conocimiento y no guarden relación de interés con el equipo que ha creado el manuscrito.
Así, estos investigadores actúan como revisores del trabajo original y pueden solicitar cambios en el texto, bien para que se entienda mejor o para que las conclusiones se expliquen de manera más precisa (lo que implica, en muchos casos, rebajar las expectativas del manuscrito original). Por supuesto, también pueden valorar negativamente el trabajo y devolverlo para que se rehaga o que se descarte por parte de la revista.
Es un poco más complicado saber si una publicación ha sido revisada por pares o no. Un indicio es fijarnos en la información adicional de un artículo, donde puede indicarse fecha de publicación pero también fecha de recepción, de revisión y de aceptación. También es posible consultar en el apartado “sobre nosotros” o “about” de la revista donde se publica, que indicará si sus artículos pasan una revisión por pares (las más rigurosas y de mejor calidad la tienen). Por norma general, los artículos de opinión y editoriales no son publicaciones que requieran revisión por pares, aunque sí adjuntan literatura científica que sustenta su punto de vista.
Es posible que entre que un equipo envía a revisión un trabajo y acabe por aceptarse y publicarse pase un tiempo considerable —de semanas a meses—. Así, los primeros manuscritos de estas investigaciones pueden encontrarse en repositorios de preprints: espacios donde se guarda la primera versión del trabajo científico, a la espera de que sean revisados y publicados. Aquí compartimos una lista de Wikipedia con los principales repositorios y las condiciones para poder publicar en ellos.
Un debate muy interesante relacionado con estos repositorios existió durante los primeros meses de la pandemia de coronavirus en 2020. ¿Puede la sociedad esperar a que el conocimiento científico que se esté generando sobre el SARS-CoV-2 se termine de revisar? ¿Está justificado emplear estos preprints para ir dando pistas de qué se sabe sobre el patógeno y su enfermedad? Jesús Méndez, periodista de ciencia y exinvestigador de la epigenética del cáncer, publicó en Agencia SINC un artículo sobre esto, que republicamos en Maldita.es.
Por supuesto, hemos desmentido bulos científicos que han empleado preprints que nunca pasaron el corte de revisión porque, en ocasiones, no se sostienen con evidencias científicas sólidas, como un preprint que coló como “estudio” para algunos medios para hablar de civilizaciones extraterrestres hostiles o el manuscrito que afirmaba que el riesgo de miocarditis en adolescentes vacunados frente a la COVID-19 es mayor que el de hospitalización por COVID-19.
Relacionado con el proceso de revisión —más bien, con la ausencia de él— está el fenómeno de las revistas científicas predatorias: publicaciones de muy baja calidad académica que convencen/engañan a los equipos de investigación para que envíen sus manuscritos y sean publicados sin apenas filtros ni revisiones. Al mismo tiempo, la revista suele manipular sus datos (visitas, cuántas veces suelen compartirse los artículos, citan un comité editorial falso o inexistente) para incentivar que más equipos envíen sus manuscritos.
Existe una lista de potenciales revistas predatorias que se puede consultar en esta página. No obstante, algunas publicaciones que se encuentran en esta lista niegan que se consideren predatorias o de baja calidad académica y han emprendido acciones legales contra el creador de esta lista.
Directorios de artículos que usamos en Maldita Ciencia
Aquí compartimos algunos repositorios y directorios de artículos científicos que usan los compañeros de Maldita Ciencia.
- Pubmed: contiene literatura científica de la Biblioteca Nacional de Medicina de Estados Unidos y revista de ciencias de la vida, desde anatomía hasta zoología. Está mantenida por el Centro de Información sobre Biotecnología, de los Institutos Nacionales de Salud de Estados Unidos.
- Google Académico (o Google Scholar): buscador de literatura científica de Google. También ofrece estadísticas de autores y de revistas donde publican.
- Web of Science: base de datos bibliográfica de información científica, mantenida por Clarivate Analytics. Requiere acceder a través de un usuario registrado o una institución federada (en el caso de España, por la Fundación Española para la Ciencia y la Tecnología). Muchas de esas instituciones federadas son universidades y se puede acceder con una cuenta de alumno de una universidad.
- Dialnet: portal de difusión de la producción científica hispana, gestionado por la Fundación Dialnet, de la Universidad de La Rioja.
- ScienceDirect: página que proporciona acceso a literatura científica por suscripción, operado por Elsevier.
- Biblioteca Cochrane: organización que realiza revisiones científicas de alta calidad, operado por la Colaboración Cochrane.
Primera fecha de publicación de este artículo: 17/10/2022
