Hace unos días descubrí que mi nivel es muy bajo y que no tengo ni idea de interpretar meta-análisis. Como mínimo es interesante, de cara a que los lectores de este blog no sean engañados por mi incompetencia. Si he metido la pata, mejor que se sepa.

Ahora cuento de qué estoy hablando. Empiezo por el principio. Hace unas semanas me encontré con el escrito de un señor llamado Joseph Agu (ver) que alababa un meta-análisis que según él mostraba que un aumento en el porcentaje de carbohidratos conducía a un menor riesgo de obesidad.

dos estudios publicados en el último par de semanas sirven para cerrar firmemente el ataúd de los fanáticos de las dietas bajas en carbohidratos. La primera fue una revisión sistemática y un metanálisis publicado en el British Medical Journal hace dos semanas, donde Sartorius y sus colegas se pusieron a prueba la asociación entre las dietas altas y bajas en carbohidratos y la obesidad […] esta vez se encontró lo contrario de los estratos 1; que el aumento del porcentaje de carbohidratos en la dieta conduce a un ligeramente menor riesgo de obesidad (fuente)

«conduce a un ligeramente menor riesgo de obesidad». Causa y efecto. Para él, la demostración definitiva de que las dietas bajas en carbohidratos son incluso engordantes. Y, por supuesto, el estudio no iba sobre dietas bajas en carbohidratos.

Así que le eché un vistazo al meta-análisis y publiqué una entrada con mi análisis sobre ese estudio.

• El meta-análisis, otra forma de mentir (II)

El texto de Agu que dio origen a esa entrada aparece como primer comentario de la misma.

No voy a repetir ahora los argumentos de esa entrada, pero básicamente quiero llamar la atención sobre dos hechos:

1. A menudo se usa el término «meta-análisis» para dar credibilidad o relevancia a los resultados. Se juntan estudios basura en una única recopilación y se sacan conclusiones que no se sostienen cuando se mira con detalle y espíritu crítico el meta-análisis. Hay una decena de ejemplos en el blog, algunos de ellos enlazados al final de esta entrada.
2. Casi siempre se usa la palabra «riesgo» para engañar a la gente dando a entender una relación causa-efecto (ver).

El segundo de los engaños es realmente sangrante: es un ejemplo de libro de falacia de ambigüedad:

Falacia de ambigüedad: Se comete cuando en el curso de una argumentación, al menos uno de los términos es utilizado en más de un sentido, o bien una frase esta construida de manera inadecuada.

El cociente de riesgo en el ámbito estadístico es el cociente entre la frecuencia de aparición de una determinada condición (por ejemplo tener síndrome metabólico) en un grupo de personas que tiene ciertas características y la de otro grupo que tiene otras características. Este concepto no implica causalidad. Por ejemplo, la frecuencia de enfermedad de arteria coronaria en hombres calvos es mayor que en los que no son calvos (ver). Usando terminología estadística hablaríamos de que ser calvo está relacionado con un mayor riesgo de padecer esa enfermedad. Pero ni es ser calvo lo que lleva a padecer la enfermedad ni un crecepelo te protege de la enfermedad. No necesariamente. Porque ese «riesgo» no significa que una cosa cause la otra, ni de que sea mayor el riesgo se deduce que sea aconsejable hacer algo para reducir ese «riesgo» definido de esa manera.

Pero en el uso del término «riesgo» hay falacia de ambigüedad, pues se introduce con su definición estadística, pero la gente de la calle no maneja esa definición de «riesgo». Para el común de los mortales si algo aumenta tu riesgo de padecer una enfermedad, ese algo te está poniendo en peligro y, por tanto, es buena idea reducir ese riesgo. Porque un aumento de riesgo significa que «es más probable que suceda un daño». Se da a entender causa y efecto, porque si no hay causa-efecto no es más probable. Y con esa falacia de ambigüedad se persigue inducir a la gente a actuar para reducir el riesgo. Todos conocemos este ejemplo: el médico te dice que tener el LDL elevado te pone en riesgo (¿o te dice que aumenta tu riesgo?) de enfermedad cardiovascular así que te da una pastillita para bajar el riesgo. Y crees que estás protegiendo tu salud. Del término riesgo se deduce que existe relación causa-efecto y eso se usa para justificar un tratamiento médico (ver).

Otro ejemplo:

Estudios observacionales, se supone que no se puede deducir una relación causa-efecto, pero para eso tienen la palabra «riesgo», para poder engañar a la gente desinformada. Por otro lado, si no se pretende dar a entender una relación causa-efecto, ¿para qué se cuenta? Si le dices a alguien que el síndrome metabólico es más frecuente en los que más consumen carne roja frente a los que menos consumen, ¿no pretendes dar a entender que una cosa causa la otra? Que no nos engañen: ¿para qué se contaría si no es para dar a entender una relación causa-efecto? Porque sin relación causa-efecto esa información carece de interés.

En definitiva, para esto sirve la epidemiología: para engañar. Charlatanería con respaldo oficial.

No hay nada pecaminoso en comprobar si los datos se correlacionan. No hay nada pecaminoso en la búsqueda de variables de confusión. El pecado viene al creer que una hipótesis causal es cierta porque en tu estudio ha salido un resultado positivo, o creer lo contrario porque tu estudio fue negativo. Sander Greenland

Discrepo de esta cita. Los que crean los estudios basura tienen gran parte de la culpa del mal uso que se hace de ellos una vez publicados.

Pero la epidemiología no es la única forma en la que se usan los meta-análisis para engañar. Otro ejemplo, éste con ensayos de intervención:

Y si miras los estudios incluidos en el meta-análisis te das cuenta de que es una tomadura de pelo. Pero ahí está el tipo en twitter lanzando la desinformación y dándole «credibilidad» al mensaje con el término «meta-análisis».

El caso es que un dietista-nutricionista llamado Eduard Baladia se pregunta en twitter que quién usaría un meta-análisis para dar a entender una relación causa-efecto a partir de datos observacionales.

Ya he puesto tres ejemplos reales de gente que desinforma en las redes sociales dando a entender relaciones causa-efecto en base a meta-análisis que no permiten extraer las pretendidas conclusiones. En los tres casos, estudios basura cuyas conclusiones coinciden con la ideología de quien los difunde.

Mi mensaje es que no nos dejemos engañar por el término meta-análisis. Que sea un meta-análisis no significa nada en sí mismo: hay que examinar el detalle de los estudios que forman parte de los meta-análisis. No hacerlo es un error.

Por ejemplo, en el que citaba antes de la carne roja nos dicen que han incluido la carne roja PROCESADA como datos de la carne roja:

‘Red meat’ included red meat and processed red meat

Y así se comprueba al hojear un poco los estudios observacionales incluídos en ese meta-análisis. Pero luego en el abstract presentan los datos por separado de carne roja y carne procesada, cuando, como acabamos de ver, dentro de «carne roja» también se incluía carne (roja) procesada:

The pooled RR for metabolic syndrome of the highest versus lowest category of meat intake was 1.14 (95% CI: 1.05, 1.23) for total meat, 1.33 (95% CI: 1.01, 1.74) for red meat, 1.35 (95% CI: 1.18, 1.54) for processed meat, and 0.86 (95% CI: 0.76, 0.97) for white meat.

La persona que nos dice que la carne roja te pone en riesgo de síndrome metabólico ni matiza que el dato de la carne roja incluye carne procesada ni te dice que el risk ratio es de 1.33. Carne procesada… así que estamos poniendo sobre la mesa muchos más factores que «carne roja»: económicos, sociales, el efecto del «consumidor irresponsable» (que consume carne roja y carne roja procesada frente al consejo de los «expertos» de no hacerlo). Y aún así, risk ratio de 1.33. Suficiente para desinformar en twitter:

¿Qué entiende una persona de la calle cuando lee «mayor riesgo de»? ¿Qué es lo que está diciendo ese mensaje? ¿Qué persigue el autor del texto? No sabemos qué causa qué, pero es un hecho que se usa la epidemiología para intentar engañar a la gente.

Y, por cierto, los autores de ese meta-análisis de estudios observacionales no cometen el error de deducir causa-efecto, porque los buenos científicos no hacen esas cosas. ¿Quién haría eso?

Our findings suggest that the effect on health is different by the types of meat and also support current common dietary guidelines to decrease the intake of red and processed meat and increase the consumption of white meat.

Nuestros hallazgos sugieren que el efecto sobre la salud es diferente según los tipos de carne y también respalda las pautas dietéticas comunes actuales para disminuir la ingesta de carne roja y procesada y aumentar el consumo de carne blanca.

Ah, espera, ¡sí que lo hacen!

A donde quería llegar es que al parecer mi entrada era de nivel muy bajo y no tengo ni idea de meta-análisis:

Lo veo realmente interesante. Me gustaría saber dónde he metido la pata en esa entrada. A la gente que lee este blog debería resultarle interesante conocerlo. ¿Cuáles de mis argumentos son erróneos? Tienen que ser muchos, porque la entrada es de nivel muy bajo. Y estoy de acuerdo en que no sé nada de meta-análisis. No es falsa modestia, es la realidad. Pero me gustaría saber qué parte de la entrada me ha delatado en ese sentido. Y también tengo curiosidad por saber qué hice mal citando a Ioannidis. También tiene que haber sido algo muy grave y fácil de explicar.

there is massive production of unnecessary, misleading, and conflicted systematic reviews and meta-analyses. Ioannidis JP

existe una ingente producción de revisiones y meta-análisis innecesarios, engañosos e inconsistentes

Leer más:

• Ciencia basura
• Ciencia nutricional basura (II)
• Los artículos científicos no siempre son científicos
• Cada vez me gustan menos los meta-análisis…
• El meta-análisis, otra forma de mentir
• La ciencia basura tiene consecuencias que pagamos todos
• Las arañas sin patas son sordas
• Otro meta-análisis para el olvido
• Guyenet refuta que el azúcar engorde
• “Sustituir azúcares simples por carbohidratos complejos NO produce una reducción en el peso corporal”
• El  efecto a corto plazo de una dieta puede no tener nada que ver con su efectos a largo plazo
• MRFIT, causalidad y factores de riesgo