¿Quién haría eso?

Hace unos días descubrí que mi nivel es muy bajo y que no tengo ni idea de interpretar meta-análisis. Como mínimo es interesante, de cara a que los lectores de este blog no sean engañados por mi incompetencia. Si he metido la pata, mejor que se sepa.

Ahora cuento de qué estoy hablando. Empiezo por el principio. Hace unas semanas me encontré con el escrito de un señor llamado Joseph Agu (ver) que alababa un meta-análisis que según él mostraba que un aumento en el porcentaje de carbohidratos conducía a un menor riesgo de obesidad.

dos estudios publicados en el último par de semanas sirven para cerrar firmemente el ataúd de los fanáticos de las dietas bajas en carbohidratos. La primera fue una revisión sistemática y un metanálisis publicado en el British Medical Journal hace dos semanas, donde Sartorius y sus colegas se pusieron a prueba la asociación entre las dietas altas y bajas en carbohidratos y la obesidad […] esta vez se encontró lo contrario de los estratos 1; que el aumento del porcentaje de carbohidratos en la dieta conduce a un ligeramente menor riesgo de obesidad (fuente)

conduce a un ligeramente menor riesgo de obesidad”. Causa y efecto. Para él, la demostración definitiva de que las dietas bajas en carbohidratos son incluso engordantes. Y, por supuesto, el estudio no iba sobre dietas bajas en carbohidratos.

Así que le eché un vistazo al meta-análisis y publiqué una entrada con mi análisis sobre ese estudio.

El texto de Agu que dio origen a esa entrada aparece como primer comentario de la misma.

No voy a repetir ahora los argumentos de esa entrada, pero básicamente quiero llamar la atención sobre dos hechos:

  1. A menudo se usa el término “meta-análisis” para dar credibilidad o relevancia a los resultados. Se juntan estudios basura en una única recopilación y se sacan conclusiones que no se sostienen cuando se mira con detalle y espíritu crítico el meta-análisis. Hay una decena de ejemplos en el blog, algunos de ellos enlazados al final de esta entrada.
  2. Casi siempre se usa la palabra “riesgo” para engañar a la gente dando a entender una relación causa-efecto (ver).

El segundo de los engaños es realmente sangrante: es un ejemplo de libro de falacia de ambigüedad:

Falacia de ambigüedad: Se comete cuando en el curso de una argumentación, al menos uno de los términos es utilizado en más de un sentido, o bien una frase esta construida de manera inadecuada.

El cociente de riesgo en el ámbito estadístico es el cociente entre la frecuencia de aparición de una determinada condición (por ejemplo tener síndrome metabólico) en un grupo de personas que tiene ciertas características y la de otro grupo que tiene otras características. Este concepto no implica causalidad. Por ejemplo, la frecuencia de enfermedad de arteria coronaria en hombres calvos es mayor que en los que no son calvos (ver). Usando terminología estadística hablaríamos de que ser calvo está relacionado con un mayor riesgo de padecer esa enfermedad. Pero ni es ser calvo lo que lleva a padecer la enfermedad ni un crecepelo te protege de la enfermedad. No necesariamente. Porque ese “riesgo” no significa que una cosa cause la otra, ni de que sea mayor el riesgo se deduce que sea aconsejable hacer algo para reducir ese “riesgo” definido de esa manera.

Pero en el uso del término “riesgo” hay falacia de ambigüedad, pues se introduce con su definición estadística, pero la gente de la calle no maneja esa definición de “riesgo”. Para el común de los mortales si algo aumenta tu riesgo de padecer una enfermedad, ese algo te está poniendo en peligro y, por tanto, es buena idea reducir ese riesgo. Porque un aumento de riesgo significa que “es más probable que suceda un daño”. Se da a entender causa y efecto, porque si no hay causa-efecto no es más probable. Y con esa falacia de ambigüedad se persigue inducir a la gente a actuar para reducir el riesgo. Todos conocemos este ejemplo: el médico te dice que tener el LDL elevado te pone en riesgo (¿o te dice que aumenta tu riesgo?) de enfermedad cardiovascular así que te da una pastillita para bajar el riesgo. Y crees que estás protegiendo tu salud. Del término riesgo se deduce que existe relación causa-efecto y eso se usa para justificar un tratamiento médico (ver).

Otro ejemplo:

imagen_1916
Estudios observacionales, se supone que no se puede deducir una relación causa-efecto, pero para eso tienen la palabra “riesgo”, para poder engañar a la gente desinformada. Por otro lado, si no se pretende dar a entender una relación causa-efecto, ¿para qué se cuenta? Si le dices a alguien que el síndrome metabólico es más frecuente en los que más consumen carne roja frente a los que menos consumen, ¿no pretendes dar a entender que una cosa causa la otra? Que no nos engañen: ¿para qué se contaría si no es para dar a entender una relación causa-efecto? Porque sin relación causa-efecto esa información carece de interés.

En definitiva, para esto sirve la epidemiología: para engañar. Charlatanería con respaldo oficial.

No hay nada pecaminoso en comprobar si los datos se correlacionan. No hay nada pecaminoso en la búsqueda de variables de confusión. El pecado viene al creer que una hipótesis causal es cierta porque en tu estudio ha salido un resultado positivo, o creer lo contrario porque tu estudio fue negativo. Sander Greenland

Discrepo de esta cita. Los que crean los estudios basura tienen gran parte de la culpa del mal uso que se hace de ellos una vez publicados.

Pero la epidemiología no es la única forma en la que se usan los meta-análisis para engañar. Otro ejemplo, éste con ensayos de intervención:

Y si miras los estudios incluidos en el meta-análisis te das cuenta de que es una tomadura de pelo. Pero ahí está el tipo en twitter lanzando la desinformación y dándole “credibilidad” al mensaje con el término “meta-análisis”.

El caso es que un dietista-nutricionista llamado Eduard Baladia se pregunta en twitter que quién usaría un meta-análisis para dar a entender una relación causa-efecto a partir de datos observacionales.

imagen_1917

Ya he puesto tres ejemplos reales de gente que desinforma en las redes sociales dando a entender relaciones causa-efecto en base a meta-análisis que no permiten extraer las pretendidas conclusiones. En los tres casos, estudios basura cuyas conclusiones coinciden con la ideología de quien los difunde.

Mi mensaje es que no nos dejemos engañar por el término meta-análisis. Que sea un meta-análisis no significa nada en sí mismo: hay que examinar el detalle de los estudios que forman parte de los meta-análisis. No hacerlo es un error.

Por ejemplo, en el que citaba antes de la carne roja nos dicen que han incluido la carne roja PROCESADA como datos de la carne roja:

‘Red meat’ included red meat and processed red meat

Y así se comprueba al hojear un poco los estudios observacionales incluídos en ese meta-análisis. Pero luego en el abstract presentan los datos por separado de carne roja y carne procesada, cuando, como acabamos de ver, dentro de “carne roja” también se incluía carne (roja) procesada:

The pooled RR for metabolic syndrome of the highest versus lowest category of meat intake was 1.14 (95% CI: 1.05, 1.23) for total meat, 1.33 (95% CI: 1.01, 1.74) for red meat, 1.35 (95% CI: 1.18, 1.54) for processed meat, and 0.86 (95% CI: 0.76, 0.97) for white meat.

La persona que nos dice que la carne roja te pone en riesgo de síndrome metabólico ni matiza que el dato de la carne roja incluye carne procesada ni te dice que el risk ratio es de 1.33. Carne procesada… así que estamos poniendo sobre la mesa muchos más factores que “carne roja”: económicos, sociales, el efecto del “consumidor irresponsable” (que consume carne roja y carne roja procesada frente al consejo de los “expertos” de no hacerlo). Y aún así, risk ratio de 1.33. Suficiente para desinformar en twitter:

imagen_1916

¿Qué entiende una persona de la calle cuando lee “mayor riesgo de”? ¿Qué es lo que está diciendo ese mensaje? ¿Qué persigue el autor del texto? No sabemos qué causa qué, pero es un hecho que se usa la epidemiología para intentar engañar a la gente.

Y, por cierto, los autores de ese meta-análisis de estudios observacionales no cometen el error de deducir causa-efecto, porque los buenos científicos no hacen esas cosas. ¿Quién haría eso?

Our findings suggest that the effect on health is different by the types of meat and also support current common dietary guidelines to decrease the intake of red and processed meat and increase the consumption of white meat.

Nuestros hallazgos sugieren que el efecto sobre la salud es diferente según los tipos de carne y también respalda las pautas dietéticas comunes actuales para disminuir la ingesta de carne roja y procesada y aumentar el consumo de carne blanca.

Ah, espera, ¡sí que lo hacen!

A donde quería llegar es que al parecer mi entrada era de nivel muy bajo y no tengo ni idea de meta-análisis:

imagen_1918

Lo veo realmente interesante. Me gustaría saber dónde he metido la pata en esa entrada. A la gente que lee este blog debería resultarle interesante conocerlo. ¿Cuáles de mis argumentos son erróneos? Tienen que ser muchos, porque la entrada es de nivel muy bajo. Y estoy de acuerdo en que no sé nada de meta-análisis. No es falsa modestia, es la realidad. Pero me gustaría saber qué parte de la entrada me ha delatado en ese sentido. Y también tengo curiosidad por saber qué hice mal citando a Ioannidis. También tiene que haber sido algo muy grave y fácil de explicar.

there is massive production of unnecessary, misleading, and conflicted systematic reviews and meta-analyses. Ioannidis JP

existe una ingente producción de revisiones y meta-análisis innecesarios, engañosos e inconsistentes

Leer más:

Anuncios

12 respuestas a “¿Quién haría eso?

  1. ¿Quién haría eso? ¿Quién propondría interpretar basura observacional como prueba de causa-efecto y deducir de ella medidas a tomar relativas a la salud?

    Pues, por ejemplo, Julio Basulto en su campaña contra la carne:
    imagen_1949

    Y también Eduard Baladía, al que le parece “adecuado” usar estudios observacionales para evaluar “determinantes de salud” y “riesgo“. ¿Sí, causa-efecto deducida de basura observacional? ¿Quién haría algo así?

    imagen_1950

    La respuesta de Marco Llen es perfecta: 1) que sean prospectivos no aporta nada al problema base de la basura observacional, que es que no se sabe qué está causando qué, y 2) son los que tienen interés en deducir causa-efecto de las conclusiones de esos estudios los que dicen que es aceptable hacerlo.

    imagen_1951

    Los estudios observacionales no son mejores que los estudios aleatorizados controlados. Pero son los que los charlatanes epidemiólogos quieren/pueden hacer y son los que otros “expertos” quieren emplear para hacer avanzar sus intereses, ya sea económicos o ideológicos. Y que los de cohorte prospectivos sean mejor que los cross-sectional no los hace buenos: son diferentes grados de basura. Mejor no significa bueno ni aceptable.

    Me gusta

  2. Un placer poder aparecer en tu blog, Vicente. La misma gente que me da lecciones sobre epidemiología (lecciones que, como tú, seguramente necesite, no es falsa modestia; pero que sean lecciones sinceras y con el ánimo de enseñar, no de colarme veladamente su ideología y conclusiones), luego recomienda dieta vegana en niños sin estudios que lo respalden.

    Sobre Basulto mejor ni hablar, en esa misma discusión, que provenía de un tuit suyo, sólo se dedicó a retuitear cada comentario de Eduard casi al instante. Cuando hace unos días yo dije que Basulto sólo contesta a los que piensan como él, me dijeron que no es cierto, pero que no tiene tiempo para contestar a todo el mundo. Puse como ejemplo que para retuitear chorradas o comentarios que le bailen el agua tiene todo el tiempo del mundo, y me bloqueó “por irrespetuoso”. Una pena, seguro que el hombre tenía pendiente irme contestando a todo lo que le había preguntado en los últimos meses y que aún no había podido responder por lo ocupado que está 😂

    Por cierto, aquí te pongo material para una futura entrega de “Crónicas Caloréxicas”:

    Un saludo Vicente, sigue así.

    Me gusta

    • Al final del primer párrafo quería poner “SIN estudios que lo respalden.”

      Por cierto Vicente, en el primer tuit mío que aparece en esta entrada obviamente estaba dando mi interpretación sobre tu otra entrada, no quería hablar por ti en ningún momento. Tenía pendiente escribirte por aquí (me lo dijo Ana Muñiz) para que vieras el hilo, pero lo fui dejando y se me olvidó; en ningún momento quería “tirar la piedra y esconder la mano” mencionándote en mis comentarios pero sin que te enteraras, espero que no te haya sentado mal 😃

      Me gusta

      • Hola Marco,

        totalmente al contrario: soy yo el que está encantado de que le prestes atención a este blog. Y es una alegría inmensa que aparezcan voces entre los dietistas-nutricionistas que digan públicamente “a lo mejor esto no es como se nos ha estado contando, a lo mejor esto no es como lo hemos estado contando”.

        En cuanto a Julio Basulto, copio un texto de Álvaro Campillo:

        – MENTIRA Nº4: “Cuando dijo que las dietas tipo Dukan aumentan la mortalidad”. Primero, esa afirmación la hace en base a estudios epidemiológicos y, COMO DEBERÍA SABER, ¡los estudios de este tipo NO SIRVEN PARA SACAR CONCLUSIONES, SINO PARA GENERAR HIPÓTESIS!

        El texto es de 2012. Yo perdería toda esperanza con Basulto.

        En cuanto a esto otro…

        ¿cómo haces entender a alguien que eso que está declarando con absoluta contundencia es una estupidez indiscutible? Y es que además es reconocer que tu formación como profesional, en la que basas tu trabajo, es pseudocientífica. Complicadísimo, por no decir imposible. Antes explota la cabeza de la disonancia cognitiva que aceptar que has estado defendiendo charlatanería.

        En cuanto a tu segundo comentario, no te preocupes lo más mínimo. Ana también vio que Baladía me estaba poniendo a caldo y, con buen criterio, no me dijo nada. Otra cosa es que cuando yo lo vi pues me apeteció escribir esta entrada.

        Nada me ha sentado mal, en absoluto. Todo lo contrario, me dio mucha alegría leer tus argumentos en ese hilo.

        NOTA: he corregido la errata que reportas.

        Me gusta

  3. Lo de la epidemiología buena en la que los datos se manejan con contención y moderación es una leyenda urbana. La epidemiología es lo que es y se usa para lo que se usa.

    Como norma general pedimos un risk ratio de 3 ó 4 para aceptar su publicación (fuente)

    ¿Cuál es la realidad? Miremos en la Tabla1 de este artículo los RR para carne roja y cáncer colorrectal.

    Me gusta

Deja un comentario. Si los comentarios no contribuyen/aportan a los artículos publicados no los publico. Tampoco los publico si intentan forzar un debate o una toma de postura que el autor no ha planteado o que ha dado por cerrada. No publico comentarios descalificativos ni críticas fuera de lugar o que considere que no aportan nada. Si percibo intención de molestar en lugar de participar, o si no detecto vida inteligente, tampoco será publicado.

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

w

Conectando a %s