¿Más proteína vegetal que proteína animal? La Bruja Lola nos da la respuesta.

El tipo de sinAzucar.org sigue a lo suyo, que es repetir las fantasías de ciertos nutricionistas para que estos le perdonen ser un intruso y le acepten como uno más en el rebaño. Estupidez que suelte Julio Basulto, Aitor Sánchez o Lucía Martínez, estupidez que el tipo de sinAzucar.org va a repetir. Que le den su caramelito ya, que se lo ha ganado.

Se le salen los estudios por las orejas, pero lo que presenta es la típica basura epidemiológica.

Association of Animal and Plant Protein Intake With All-Cause and Cause-Specific Mortality.

Observacional. 5 años de seguimiento.

¿Cómo saben qué comían los individuos participantes? Porque les pasaron un cuestionario de frecuencia de consumo de alimentos durante el año anterior.

A semiquantitative food frequency questionnaire was used to assess usual intake of 138 food and beverage items during the previous year.

Vale, o sea que les enseñan fotos de una centena de productos, los participantes dicen “menos de 1 vez al mes” durante el año pasado, los “investigadores” traducen esa frecuencia en un número concreto de veces al mes, se inventan el tamaño de la ración y usan una tabla estándar de composición nutricional para traducir todos esos datos inventados (cuyo punto de partida es el recuerdo de los participantes de lo que hicieron el año pasado) en un consumo de nutrientes concreto. Ni la Bruja Lola aspiraría a inventarse el consumo de nutrientes con ese mecanismo tan “científico”.

Pero espera, que intentaron validar los números con cálculos sacados de registros de comida durante 2 ó 4 semanas y de repetir el cuestionario en parte de los participantes con 1 año de diferencia. Pero aparentemente les dio igual que el consumo de proteína, que es lo que destacan en el título del artículo, no fuera refrendado por este intento de validación:

The correlation coefficient for validity for protein intake was moderate to low.

Da igual, sigue adelante y publica, que de eso se trata, de publicar.

¿Y cuántas veces les pasaron el cuestionario? Porque en 5 años una persona puede cambiar bastante sus hábitos de consumo. Mi inglés no es muy bueno, pero creo que “a single assessment at baseline” significa que sólo pasaron el cuestionario 1 vez, al comienzo del experimento:

Dietary information was also based on a single assessment at baseline, and dietary habits might have changed during follow-up.

Sólo una vez y a dar por sentado que en los 5 siguientes años todos comen como creen recordar haber comido el año anterior, traducido mágicamente a cifras concretas, ¡vaya basura!

Relación encontrada entre consumo de proteína de origen animal y mortalidad: ninguna.

¿Relación entre consumo de proteína de origen vegetal y mortalidad? Ninguna. Porque en un estudio epidemiológico un RR=0.87 (o equivalentemente 1.15) entre extremos de consumo no significa nada.

Relación estadística no significa relación causa-efecto. Pero como la epidemiología es “charlatanería oficial”, es consentida y publicada en revistas científicas. Eso no cambia nada: relación estadística sigue sin significar relación causa-efecto. Pero no pidamos responsabilidad a los “plant-based”, ¿verdad?

Como acabamos de ver, no hay proporcionalidad entre la supuesta causa (consumo de proteína de origen vegetal) y el supuesto efecto (menor mortalidad). De hecho, la diferencia entre el primer quintil y el resto es básicamente la misma para todos ellos: es decir, si hubiese una relación causa efecto, la causa sería la diferencia entre consumir un 4.9% de las calorías procedentes de proteína vegetal o que ese porcentaje fuese del 5.7%. Hay algo mágico en la proteína vegetal y está en ese 1% de diferencia entre grupos. Claro que sí, guapi.

¿Puede ser que la mínima diferencia estadística entre grupos tenga una causa que no sea la que este artículo propone? Es decir, ¿es posible por ejemplo, que consumir más proteína de origen vegetal sea sólo un síntoma de que esas personas están concienciadas con su salud y tienen múltiples hábitos que creen saludables, entre los que se encuentra consumir más proteína de origen vegetal? Los datos hablan por sí solos:

¿Cómo se contrarresta el efecto del “participante saludable”? No se puede contrarrestar, por mucho que matemáticamente se intenten tener en cuenta las diferencias entre grupos. Garbage In Garbage Out: por mucho que proceses los datos, lo que tienes es ruido en el que se mezclan todo tipo de causas-efecto desconocidas. Pretender que la causa-efecto es la correlación (relación meramente estadística) que los autores del estudio quieren resaltar porque la quieren resaltar es ridículo. Pero esto es la epidemiología: charlatanería.

Y esta basurilla es lo que el tipo de sinAzucar.org nos dice que a él le sirve de prueba de que hay que consumir más proteína vegetal y menos animal. Yo creo que el que quiera escuchar a Basulto hará bien en ir directamente a la fuente, sin intermediarios falderos.

Sobre los cuestionarios de frecuencia de consumo:

los métodos basados en recuerdo de consumo son pseudocientíficos y no deberían ser usados para políticas de información al público ni para establecer recomendaciones dietéticas para la población. Archer et al.

Y si los cuestionarios los pasas sólo al principio de un periodo de 5 años y quieres imaginar que el consumo no ha variado más allá del 1% mágico en esos 5 años, entonces ya es pseudociencia al cuadrado, o pseudo-pseudociencia.

¿Quién usa la charlatanería para hacer avanzar sus agendas? Siempre son los mismos.

Leer más:

¿Quién haría eso? (IV)

Deducir una relación causa-efecto de resultados epidemiológicos es charlatanería. Pero la epidemiología nutricional existe para hacerlo, es decir, existe para hacer lo que no se debe hacer. Un caso claro y todavía vigente es el de la campaña contra la carne roja, que ha convertido el consumo de este alimento en una “práctica poco saludable”:

¿Cómo se da a entender una relación causa-efecto? Una de las formas de hacerlo es el uso del término “riesgo” (ver,ver), que da a entender esa relación causa efecto: si nos dicen “aumenta el riesgo” todos entendemos que nos estamos poniendo en peligro, es decir, que existe una relación causa-efecto.

Es absurdo seguirle el juego a los charlatanes hablando de “cocientes de riesgo”: en esta entrada usaré “cociente de prevalencia”, que me parece más ajustado a lo que representa y menos proclive a ser usado de forma tendenciosa.

Un ejemplo de cómo se usa el lenguaje causal para dar a entender lo que con rigor no se puede dar a entender: “el consumo de carne ha incrementado un 0.23% el número de tumores”. No, no lo hace: estadísticamente hablando, un mayor consumo está asociado a un mayor número de tumores. Con rigor, el lenguaje causal no tiene cabida. Con rigor no pueden hacer avanzar su ideología.

La probabilidad tras una intervención no es la probabilidad tras una observación

En pocas palabras la frase anterior resume lo que quería contar en esta entrada. Aunque la prevalencia de una enfermedad X sea un poco mayor entre quienes consumen más producto Y, eso no quiere decir que aumentar nuestro consumo del producto Y aumente la probabilidad de contraer la enfermedad X ni por supuesto que aumente el “riesgo”. Sólo sería así si realmente hubiera una relación causa-efecto.

Meat consumption and mortality – results from the European Prospective Investigation into Cancer and Nutrition

Según relatan en este artículo, a diferencia de los estudios observacionales realizados en USA, en los estudios europeos (EPIC) no se encontró una relación estadística significativa entre el consumo de carne roja y mayor prevalencia de cáncer o de muerte por enfermedad cardiovascular.

Esto es interesante, pues quizá el efecto del consumidor irresponsable es más marcado en USA que en Europa. También es posible que la diferente legislación haga que la carne sea menos saludable en un sitio que en el otro. Los datos observacionales no dicen qué causa qué.

La tabla muestra que no es más frecuente encontrar ni cáncer ni muertes en las personas que más carne roja consumen, en comparación con las que menos consumen:

¿Cómo se distinguen los datos anteriores del ruido? No se pueden distinguir: hablamos de epidemiología: aunque la siempre deficiente recogida de datos (fuente) no impidiese detectar diferencias tan pequeñas, no se sabría qué causa qué.

Nótese la triquiñuela estadística en la tabla anterior: en lugar de escoger como referencia el rango de menor consumo, escogen el siguiente. Sin esa maniobra los cocientes de prevalencia del grupo de mayor consumo (respecto de la referencia) serían aún menores (por ejemplo, 1.17/1.10=1.06 en muerte por causas diferentes de las citadas, en lugar de 1.17).

Meat, fish, and colorectal cancer risk: the European Prospective Investigation into cancer and nutrition

En este artículo encontramos datos para España: un incremento de 100 g en el consumo de carne roja y procesada (lamentablemente dan el dato conjunto para ambas) está asociado a un cociente de prevalencia de cáncer colorrectal de 1.02.

Y para todos los países en conjunto el cociente de prevalencia no llega al 1.2 comparando los rangos extremos de consumo.

Diet and colorectal cancer in UK Biobank: a prospective study

Datos de Reino Unido. En la gráfica se muestran los cocientes de prevalencia de cáncer colorrectal cuando a los participantes se les clasifica en función de su consumo de carne roja:

Cogiendo los datos de la gráfica anterior, supongamos que consumimos carne roja menos de una vez a la semana (HR=1.00). Si cambiamos de hábitos y pasamos a consumir carne roja más de tres veces a la semana (HR=1.15), eso no necesariamente aumenta nuestra probabilidad de desarrollar cáncer colorrectal. Hablar de que “aumenta el riesgo” es sencillamente engañar a la gente: falacia de ambigüedad en la que se usa la palabra riesgo para dar a entender algo que es falso.

Imaginemos que lo que reflejan las cifras de la gráfica es que simplemente las personas que ignoran las recomendaciones oficiales sobre la carne roja, en general no hacen mucho por cuidarse o viven en entornos poco favorables a la salud. Es posible que su consumo de carne roja, algo desaconsejado por nuestras incompetentes autoridades en materia de salud, sea una característica más de la forma de vida de esas personas entre las que también estará la verdadera causa de que la prevalencia de ese tipo de cáncer sea ligeramente mayor que en otras personas. Bajo ese supuesto, consumir más carne roja no aumentaría la probabilidad de que contrayésemos ese tipo concreto de cáncer, porque no habría relación causa-efecto.

Ahora contrastemos esta posibilidad con el mensaje que da por supuesta la existencia de una relación causa-efecto: “el consumo de carne ha incrementado”.

Con el ejemplo del tabaco todo el mundo lo entiende: es probable que exista una relación estadística entre tener los dientes amarillentos y desarrollar cáncer de pulmón. Usar una pasta de dientes blanqueante no altera la probabilidad de desarrollar cáncer de pulmón. Ni siquiera es aplicable la estadística obtenida como observación (la correspondiente a tener los dientes más blancos) cuando lo que se ha hecho es realizar una intervención (blanquear los dientes) que causa el efecto por una vía diferente de la que existe en la mera observación.

La epidemiología es pseudociencia. Y es una lacra para el verdadero conocimiento en el campo de la nutrición.

Leer más:

¿Quién haría eso? (III)

Dietary carbohydrate intake and mortality: a prospective cohort study and meta-analysis

Estudio de tipo observacional (i.e. no se hace ningún experimento, sólo se observan y manipulan datos).

En los años 1988 y 1994 a los participantes se les pasó un cuestionario en el que tenían que identificar su frecuencia de consumo de los 66 elementos dietarios por los que se les preguntaba.

Participants completed an interview that included a 66-item semi-quantitative food frequency questionnaire (FFQ), modified from a 61-item FFQ designed and validated by Willett and colleagues, at Visit 1 (1987–89) and Visit 3 (1993–95). Participants reported the frequency with which they consumed particular foods and beverages in nine standard frequency categories (extending from never or less than one time per month, to six or more times per day). […] The primary outcome was all-cause mortality, subsequent to the first visit, until the end of 2013.

Los participantes completaron una entrevista que incluyó un cuestionario semicuantitativo de frecuencia de alimentos (FFQ) de 66 ítems, modificado a partir de un FFQ de 61 ítems diseñado y validado por Willett y colegas, en la Visita 1 (1987-89) y la Visita 3 (1993-95). ) Los participantes informaron de la frecuencia con la que consumieron alimentos y bebidas particulares en nueve categorías de frecuencia estándar (que se extiende desde nunca o menos de una vez por mes, hasta seis o más veces por día). […] El resultado primario fue la mortalidad por todas las causas, posterior a la primera visita, hasta el final de 2013.

Como podemos imaginar, esos cuestionarios ni siquiera son fiables para las dos ocasiones en que se usaron.

we conclude that M-BM data cannot be used to inform national dietary guidelines and the continued funding of M-BM constitutes an unscientific and significant misuse of research resources.

Concluimos que los datos de M-BM [métodos basados en memoria] no pueden utilizarse como fuente de información para las pautas dietarias nacionales y que la financiación continuada de M-BM constituye un acientífico y significativo maluso de los recursos de investigación.

Fuente:

Y, de hecho, si hacemos caso a los datos obtenidos con esos cuestionarios los participantes consumían una cantidad de comida insosteniblemente baja, en el entorno de las 1600 kcal/d. Así 25 años. ¿Resulta creíble?

imagen_2444imagen_2445

Uno de los notables defectos de este estudio es que presupone que desde el segundo cuestionario (alrededor de 1994) hasta el final del estudio a finales de 2013 o el momento de la muerte no hubo cambios en la dieta. O sea, que los autores presuponen, porque sí, que en prácticamente 20 años esas personas siempre comieron lo mismo. Y, además, presuponen que ese “lo mismo” coincide con los resultados obtenidos a partir de los dos cuestionarios pasados al inicio de ese periodo. ¿No es eso mucho imaginar?

Por otro lado nótese en la siguiente tabla que los HR [cocientes de riesgo] en los rangos extremos de consumo son próximos a 1 (se toma arbitrariamente un 50-55% de carbohidratos como referencia=1) y que, además, el número de participantes involucrados en esos rangos extremos de consumo es muy pequeño.

imagen_2443

Pero podemos representar de forma espectacular estos HR que no llegan a 2:

imagen_2447

El común de los mortales no se fija en la escala de la gráfica, ni se plantea si hay datos reales y fiables para representarla por debajo del 40%. ¿Los hay? Los datos del 20% de carbohidratos, ¿de dónde salen? Los datos del 30% ¿de dónde salen?

¿Quién usaría HR próximos a 1 para desinformar a la población? Sí, ¿quién haría eso?

Mis reflexiones:

  1. No sabemos qué comían las personas que murieron ni qué comían las que no murieron. Ni siquiera sabemos qué comían en los dos momentos en que se les pasó el cuestionario, y por tanto, mucho menos en las dos décadas posteriores. Tampoco sabemos cuál fue la alimentación de esas personas antes de 1988, es decir, antes de iniciarse este estudio. Y la media de edad era de unos 50-55 años en ese momento. Son muchos años comiendo. ¿Atribuimos su muerte a la dieta medida por procedimientos más que cuestionables en dos momentos puntuales de sus vidas, dando por supuesto además que esa dieta no cambió en los años posteriores? ¿Y de esa dieta escogemos los carbohidratos en conjunto como únicos posibles culpables?
  2. ¿Deducimos causalidad de HR próximos a 1, basado además en un número pequeño de participantes en los rangos extremos de consumo?
  3. ¿Atribuimos el resultado a las dietas bajas en carbohidratos, siendo que en este estudio no se analizaron los efectos de las dietas bajas en carbohidratos, sino de un continuo de consumo de carbohidratos que apenas bajaba del 40% en su rango más bajo? (37% de media en el quintil de menor consumo)
  4. Asumiendo que los datos de ingesta usados fueran correctos (aun cuando realmente son desconocidos), ¿cuál sería en tal caso la causa real del resultado obtenido? ¿Quizá el efecto del participante “health conscious” (que está pendiente de lo que come por motivos de salud) que no sólo sigue la dieta de las harinas, sino que lo compensa cuidándose de muchas otras formas? Los que se mueven lejos de las recomendaciones oficiales pueden estar ahí por tener buena información sobre salud, pero también por ser unos dejados que no se cuidan. Este efecto no se corrige cocinando los números.
  5. Quizá hacer un estudio aleatorizado y controlado que dure 25 años sea inviable, pero eso no hace buena la epidemiología. La epidemiología es una disciplina acientífica, prima hermana de la astrología. Pero a la vista está que los charlatanes le encuentran gran “utilidad” para hacer avanzar sus intereses.
  6. ¿Se habría publicado este estudio de no haber podido cocinar los datos hasta llegar a las conclusiones deseadas de antemano por sus autores? Me llama la atención que enviarlo a publicación o no sea algo que se pueda decidir a la luz de lo que se obtiene o de lo que se cree obtener (The corresponding author had full access to all the data in the study and had final responsibility for the decision to submit for publication). ¿Qué resultados podrían haber hecho que no se enviara para su publicación?

Un cita de John Ioannidis:

Assuming the meta-analyzed evidence from cohort studies represents life span-long causal associations, for a baseline life expectancy of 80 years, eating 12 hazelnuts daily (1 oz) would prolong life by 12 years (ie, 1 year per hazelnut), drinking 3 cups of coffee daily would achieve a similar gain of 12 extra years, and eating a single mandarin orange daily (80 g) would add 5 years of life). Conversely, consuming 1 egg daily would reduce life expectancy by 6 years, and eating 2 slices of bacon (30 g) daily would shorten life by a decade, an effect worse than smoking). Could these results possibly be true? Authors often use causal language when reporting the findings from these studies (eg, “optimal consumption of risk-decreasing foods results in a 56% reduction of all-cause mortality”). Burden-of-disease studies and guidelines endorse these estimates. Even when authors add caveats, results are still often presented by the media as causal. John Ioannidis

Suponiendo que la evidencia metaanalizada de los estudios de cohortes representa asociaciones causales de toda la vida, para una expectativa de vida de 80 años, comer 12 avellanas diarias (1 onza) prolongaría la vida en 12 años (i.e., 1 año por avellana), bebiendo 3 tazas de café al día se obtendría una ganancia similar de 12 años adicionales, y comer una sola naranja mandarina al día (80 g) agregaría 5 años de vida). Por el contrario, consumir 1 huevo al día reduciría la esperanza de vida en 6 años, y comer 2 rebanadas de tocino (30 g) al día acortaría la vida por una década, un efecto peor que fumar. ¿Es posible que estos resultados sean ciertos? Los autores a menudo usan el lenguaje causal al informar de los hallazgos de estos estudios (p. Ej., “El consumo óptimo de alimentos que reducen el riesgo resulta en una reducción del 56% de la mortalidad por todas las causas”). Los estudios y guías sobre la carga de morbilidad respaldan estas estimaciones. Incluso cuando los autores agregan advertencias, los resultados a menudo son presentados como causales por los medios de comunicación.

¿Has leído algún titular en el que se daba a entender que las dietas bajas en carbohidratos acortan tu vida?

imagen_2448

Eso es dar a entender que existe una relación causal. No se puede hacer, pero les da igual: lo hacen. Y no es culpa exclusiva de los periodistas: la epidemiología existe para hacer lo que no se puede ni se debe hacer. No necesita una reforma, sino su prohibición.

Leer más:

 

¿Quién haría eso? (II)


Recomiendo, antes de leer esta entrada, ver unos segundos de este vídeo (pinchar en la tercera pestaña en la parte de la derecha, la que tiene el típico triángulo de “play”, y seleccionar a partir del minuto 0:54). Lo que nos cuentan:

individuals that consume the highest amount of animal-based proteins have somewhat higher rates of mortality, in particular cardiovascular mortality

las personas que consumen mayor cantidad de proteínas de origen animal tienen tasas de mortalidad algo mayores, en particular la mortalidad cardiovascular

¿Es eso cierto? Vamos a verlo.

Resumen de la noticia en una página web (sciencedaily): hay asociación con una mayor mortalidad

The largest study to examine the effects of different sources of dietary protein found that a high intake of proteins from animal sources — particularly processed and unprocessed red meats — was associated with a higher mortality rate,

El texto de esa misma noticia (sciencedaily): débilmente asociado con una mayor mortalidad

After adjustment for lifestyle and other dietary risk factors, a high consumption of protein from animal sources — any types of meat, eggs or dairy — was weakly associated with an increased rate of death, while high consumption of protein from plant sources — breads, cereals, pasta, beans, nuts and legumes — was associated with a lower mortality rate.

El abstract del artículo en revista científica: no asociado con una mayor mortalidad

After adjusting for major lifestyle and dietary risk factors, animal protein intake was not associated with all-cause mortality (HR, 1.02 per 10% energy increment; 95% CI, 0.98-1.05; P for trend = .33)

Tabla de datos del artículo en revista científica: el HR en mortalidad por cualquier causa no pasa de 1.03 en ningún quintil de consumo de proteína animal

 

¿Qué explicación tiene?

En su artículo original los autores habían dado a entender que sí había una asociación con una mayor mortalidad (el mensaje que hemos visto en el vídeo, sin ir más lejos) y tuvieron que corregir esa tomadura de pelo, negando posteriormente esa asociación y haciendo explícito que el HR era —un ridículo— 1.02 en la mortalidad por cualquier causa:

“After adjusting for major lifestyle and dietary risk factors, animal protein intake was weakly associated with higher mortality, particularly cardiovascular mortality (HR, 1.08 per 10% energy increment; 95% CI, 1.01-1.16; P for trend = .04), whereas plant protein was associated with lower mortality (HR, 0.90 per 3% energy increment; 95% CI, 0.86-0.95; P for trend < .001).” should be replaced with “After adjusting for major lifestyle and dietary risk factors, animal protein intake was not associated with all-cause mortality (HR, 1.02 per 10% energy increment; 95% CI, 0.98-1.05; P for trend = .33) but was associated with higher cardiovascular mortality (HR, 1.08 per 10% energy increment; 95% CI, 1.01-1.16; P for trend = .04).

Aun así, mantuvieron en sus conclusiones que sí hubo asociación con un tipo concreto de causa de muerte (enfermedad cardiovascular). HR de 1.08 por 10% de incremento en la energía, nos dicen. Ésta es la tabla de datos del artículo:

No te mueres más, pero sí más por causa cardiovascular y, aunque no se puede hacer, intentan dar a entender una relación causa-efecto. ¿Quién haría eso? Por otro lado, para una persona es muy importante no morir de causa cardiovascular, aunque mueras igual, sólo que por una causa diferente. Es el típico engaño de los estudios de fármacos que reducen el colesterol y que se cuentan como un éxito aunque no muestren diferencias en la mortalidad total (ver). Para vender como éxito lo que no lo es sólo hay que definir un parámetro irrelevante para el cliente como objetivo principal del estudio para poder concluir que el fármaco es exitoso, aunque no retrase ni un día la muerte de los participantes y venga acompañado de efectos secundarios. Y, ya que estamos, recordemos que ningún fármaco salva vidas: sólo retrasan la muerte, en el mejor de los casos.

HR=1.08… Evidencia mucho más sólida que un HR=1.02… ¿cómo no alertar a la población del gran peligro que corremos por no volvernos veganos? ¡¡Por nuestro bien!!

¿Quién usaría la epidemiología para hacer avanzar su agenda? Sí, ¿quién haría eso?

Leer más:

¿Quién haría eso?

Hace unos días descubrí que mi nivel es muy bajo y que no tengo ni idea de interpretar meta-análisis. Como mínimo es interesante, de cara a que los lectores de este blog no sean engañados por mi incompetencia. Si he metido la pata, mejor que se sepa.

Ahora cuento de qué estoy hablando. Empiezo por el principio. Hace unas semanas me encontré con el escrito de un señor llamado Joseph Agu (ver) que alababa un meta-análisis que según él mostraba que un aumento en el porcentaje de carbohidratos conducía a un menor riesgo de obesidad.

dos estudios publicados en el último par de semanas sirven para cerrar firmemente el ataúd de los fanáticos de las dietas bajas en carbohidratos. La primera fue una revisión sistemática y un metanálisis publicado en el British Medical Journal hace dos semanas, donde Sartorius y sus colegas se pusieron a prueba la asociación entre las dietas altas y bajas en carbohidratos y la obesidad […] esta vez se encontró lo contrario de los estratos 1; que el aumento del porcentaje de carbohidratos en la dieta conduce a un ligeramente menor riesgo de obesidad (fuente)

conduce a un ligeramente menor riesgo de obesidad”. Causa y efecto. Para él, la demostración definitiva de que las dietas bajas en carbohidratos son incluso engordantes. Y, por supuesto, el estudio no iba sobre dietas bajas en carbohidratos.

Así que le eché un vistazo al meta-análisis y publiqué una entrada con mi análisis sobre ese estudio.

El texto de Agu que dio origen a esa entrada aparece como primer comentario de la misma.

No voy a repetir ahora los argumentos de esa entrada, pero básicamente quiero llamar la atención sobre dos hechos:

  1. A menudo se usa el término “meta-análisis” para dar credibilidad o relevancia a los resultados. Se juntan estudios basura en una única recopilación y se sacan conclusiones que no se sostienen cuando se mira con detalle y espíritu crítico el meta-análisis. Hay una decena de ejemplos en el blog, algunos de ellos enlazados al final de esta entrada.
  2. Casi siempre se usa la palabra “riesgo” para engañar a la gente dando a entender una relación causa-efecto (ver).

El segundo de los engaños es realmente sangrante: es un ejemplo de libro de falacia de ambigüedad:

Falacia de ambigüedad: Se comete cuando en el curso de una argumentación, al menos uno de los términos es utilizado en más de un sentido, o bien una frase esta construida de manera inadecuada.

El cociente de riesgo en el ámbito estadístico es el cociente entre la frecuencia de aparición de una determinada condición (por ejemplo tener síndrome metabólico) en un grupo de personas que tiene ciertas características y la de otro grupo que tiene otras características. Este concepto no implica causalidad. Por ejemplo, la frecuencia de enfermedad de arteria coronaria en hombres calvos es mayor que en los que no son calvos (ver). Usando terminología estadística hablaríamos de que ser calvo está relacionado con un mayor riesgo de padecer esa enfermedad. Pero ni es ser calvo lo que lleva a padecer la enfermedad ni un crecepelo te protege de la enfermedad. No necesariamente. Porque ese “riesgo” no significa que una cosa cause la otra, ni de que sea mayor el riesgo se deduce que sea aconsejable hacer algo para reducir ese “riesgo” definido de esa manera.

Pero en el uso del término “riesgo” hay falacia de ambigüedad, pues se introduce con su definición estadística, pero la gente de la calle no maneja esa definición de “riesgo”. Para el común de los mortales si algo aumenta tu riesgo de padecer una enfermedad, ese algo te está poniendo en peligro y, por tanto, es buena idea reducir ese riesgo. Porque un aumento de riesgo significa que “es más probable que suceda un daño”. Se da a entender causa y efecto, porque si no hay causa-efecto no es más probable. Y con esa falacia de ambigüedad se persigue inducir a la gente a actuar para reducir el riesgo. Todos conocemos este ejemplo: el médico te dice que tener el LDL elevado te pone en riesgo (¿o te dice que aumenta tu riesgo?) de enfermedad cardiovascular así que te da una pastillita para bajar el riesgo. Y crees que estás protegiendo tu salud. Del término riesgo se deduce que existe relación causa-efecto y eso se usa para justificar un tratamiento médico (ver).

Otro ejemplo:

imagen_1916
Estudios observacionales, se supone que no se puede deducir una relación causa-efecto, pero para eso tienen la palabra “riesgo”, para poder engañar a la gente desinformada. Por otro lado, si no se pretende dar a entender una relación causa-efecto, ¿para qué se cuenta? Si le dices a alguien que el síndrome metabólico es más frecuente en los que más consumen carne roja frente a los que menos consumen, ¿no pretendes dar a entender que una cosa causa la otra? Que no nos engañen: ¿para qué se contaría si no es para dar a entender una relación causa-efecto? Porque sin relación causa-efecto esa información carece de interés.

En definitiva, para esto sirve la epidemiología: para engañar. Charlatanería con respaldo oficial.

No hay nada pecaminoso en comprobar si los datos se correlacionan. No hay nada pecaminoso en la búsqueda de variables de confusión. El pecado viene al creer que una hipótesis causal es cierta porque en tu estudio ha salido un resultado positivo, o creer lo contrario porque tu estudio fue negativo. Sander Greenland

Discrepo de esta cita. Los que crean los estudios basura tienen gran parte de la culpa del mal uso que se hace de ellos una vez publicados.

Pero la epidemiología no es la única forma en la que se usan los meta-análisis para engañar. Otro ejemplo, éste con ensayos de intervención:

Y si miras los estudios incluidos en el meta-análisis te das cuenta de que es una tomadura de pelo. Pero ahí está el tipo en twitter lanzando la desinformación y dándole “credibilidad” al mensaje con el término “meta-análisis”.

El caso es que un dietista-nutricionista llamado Eduard Baladia se pregunta en twitter que quién usaría un meta-análisis para dar a entender una relación causa-efecto a partir de datos observacionales.

imagen_1917

Ya he puesto tres ejemplos reales de gente que desinforma en las redes sociales dando a entender relaciones causa-efecto en base a meta-análisis que no permiten extraer las pretendidas conclusiones. En los tres casos, estudios basura cuyas conclusiones coinciden con la ideología de quien los difunde.

Mi mensaje es que no nos dejemos engañar por el término meta-análisis. Que sea un meta-análisis no significa nada en sí mismo: hay que examinar el detalle de los estudios que forman parte de los meta-análisis. No hacerlo es un error.

Por ejemplo, en el que citaba antes de la carne roja nos dicen que han incluido la carne roja PROCESADA como datos de la carne roja:

‘Red meat’ included red meat and processed red meat

Y así se comprueba al hojear un poco los estudios observacionales incluídos en ese meta-análisis. Pero luego en el abstract presentan los datos por separado de carne roja y carne procesada, cuando, como acabamos de ver, dentro de “carne roja” también se incluía carne (roja) procesada:

The pooled RR for metabolic syndrome of the highest versus lowest category of meat intake was 1.14 (95% CI: 1.05, 1.23) for total meat, 1.33 (95% CI: 1.01, 1.74) for red meat, 1.35 (95% CI: 1.18, 1.54) for processed meat, and 0.86 (95% CI: 0.76, 0.97) for white meat.

La persona que nos dice que la carne roja te pone en riesgo de síndrome metabólico ni matiza que el dato de la carne roja incluye carne procesada ni te dice que el risk ratio es de 1.33. Carne procesada… así que estamos poniendo sobre la mesa muchos más factores que “carne roja”: económicos, sociales, el efecto del “consumidor irresponsable” (que consume carne roja y carne roja procesada frente al consejo de los “expertos” de no hacerlo). Y aún así, risk ratio de 1.33. Suficiente para desinformar en twitter:

imagen_1916

¿Qué entiende una persona de la calle cuando lee “mayor riesgo de”? ¿Qué es lo que está diciendo ese mensaje? ¿Qué persigue el autor del texto? No sabemos qué causa qué, pero es un hecho que se usa la epidemiología para intentar engañar a la gente.

Y, por cierto, los autores de ese meta-análisis de estudios observacionales no cometen el error de deducir causa-efecto, porque los buenos científicos no hacen esas cosas. ¿Quién haría eso?

Our findings suggest that the effect on health is different by the types of meat and also support current common dietary guidelines to decrease the intake of red and processed meat and increase the consumption of white meat.

Nuestros hallazgos sugieren que el efecto sobre la salud es diferente según los tipos de carne y también respalda las pautas dietéticas comunes actuales para disminuir la ingesta de carne roja y procesada y aumentar el consumo de carne blanca.

Ah, espera, ¡sí que lo hacen!

A donde quería llegar es que al parecer mi entrada era de nivel muy bajo y no tengo ni idea de meta-análisis:

imagen_1918

Lo veo realmente interesante. Me gustaría saber dónde he metido la pata en esa entrada. A la gente que lee este blog debería resultarle interesante conocerlo. ¿Cuáles de mis argumentos son erróneos? Tienen que ser muchos, porque la entrada es de nivel muy bajo. Y estoy de acuerdo en que no sé nada de meta-análisis. No es falsa modestia, es la realidad. Pero me gustaría saber qué parte de la entrada me ha delatado en ese sentido. Y también tengo curiosidad por saber qué hice mal citando a Ioannidis. También tiene que haber sido algo muy grave y fácil de explicar.

there is massive production of unnecessary, misleading, and conflicted systematic reviews and meta-analyses. Ioannidis JP

existe una ingente producción de revisiones y meta-análisis innecesarios, engañosos e inconsistentes

Leer más:

Guyenet refuta que el azúcar engorde

imagen_0411

Supongamos que lo que engordas cada año es proporcional a la cantidad de azúcar que consumes. O en otras palabras, si consumes 100 g/d engordas unos kilos, y si consumes 50 g/d engordas la mitad que en el caso anterior.

Supongamos que has estado consumiendo cada vez más azúcar y estabas engordando. Has llegado a consumir 110 g/d de azúcar. Pero en los últimos 15 años has ido bajando progresivamente tu consumo, de forma que actualmente consumes un poco menos: 95 g/d. ¿Cómo es de esperar que evolucione tu peso corporal? Bajo el supuesto de que el azúcar te está engordando, si reduces un poco el consumo, seguirás subiendo de peso, pero a una velocidad ligeramente menor.

Es lo que muestro en la siguiente gráfica, calculada suponiendo que el engorde es directamente proporcional a la ingesta de azúcar. En azul tenemos el consumo de azúcar (gramos al día); con estrellas tendríamos el peso corporal que habríamos tenido de no haber cambiado la tendencia en nuestro consumo de azúcar; y en naranja tenemos la evolución real del peso corporal (cuando en lugar de consumir cada vez más azúcar hemos reducido ligeramente el consumo en los último 15 años, según indica la curva azul):

sgsp

En resumen, si el azúcar es engordante, ¿qué cabe esperar si reduzco un poco el consumo? Seguir engordando, pero a una velocidad un poco menor. Es lo que confirma la curva naranja en la gráfica anterior.

Hace unos días (ver) Stephan Guyenet, PhD quiso refutar la idea de que el azúcar nos está engordando. Para él, todo es tan sencillo como que comemos demasiado porque nos gusta demasiado comer, es decir, una versión más de la pseudocientífica teoría del balance energético.

Uno de los argumentos que presenta Guyenet es que en los últimos 15 años se ha reducido el consumo de azúcar y, según él, el hecho de que la tasa de obesidad no sólo no se haya reducido, sino que haya seguido aumentando, hace “altamente improbable” que el azúcar sea la causa principal de la obesidad. La gráfica que presenta es la siguiente:

Es decir, su planteamiento es que si consumir 110 g/d engorda, consumir entre 95 y 110 g/d ¡debería hacernos adelgazar! Y como eso no es lo que ha sucedido, según él, se deduce que es altamente improbable que el azúcar sea la causa principal de la obesidad.

Americans have been reining in our sugar intake for more than fourteen years, and not only has it failed to slim us down, it hasn’t even stopped us from gaining additional weight. This suggests that sugar is highly unlikely to be the primary cause of obesity or diabetes in the United States, although again it doesn’t exonerate sugar.

Su “razonamiento” es que si golpear diez veces nuestra cabeza contra la pared produce dolor, golpear sólo nueve veces no debe provocar dolor: debe ser placentero. Y si no lo es, si te sigue produciendo dolor, aunque sea en menor medida, para él se demuestra que no hay relación entre los golpes contra la pared y el dolor. Un argumento absolutamente estúpido.

Es más: fijémonos que entre 1980 y 1999 el consumo de azúcar estuvo en el rango de 85 a 110 g/d y el peso corporal aumentaba. Guyenet propone que entre 2000 y 2013, cuando el consumo estuvo entre 95 y 110 g/d el peso corporal tenía que bajar.

Por otro lado, nótese que Guyenet interpreta los datos de la gráfica anterior como si se tratara de un experimento controlado, cuando en realidad no son más que datos observacionales. No se ha realizado ningún experimento.

Nótese también que la curva azul que presenta Guyenet no empieza en cero g/d, lo que hace parecer el supuesto descenso en el consumo de azúcar mayor de lo que realmente es.

Edito (18/1/2017): hay una segunda parte de este artículo, con explicaciones más detalladas.

Leer más:

Carne roja, ¿mortífera o letal?

Estudio de 2013, de título “Meat consumption and mortality – results from the European Prospective Investigation into Cancer and Nutrition“.

Es un estudio observacional en el que se analiza la dieta y mortalidad en 448,568 personas, hombres y mujeres.

Clasifican a la gente según la cantidad de carne roja que consumen, y el resultado es que si, por ejemplo, 2 de cada 100 personas muere de cáncer en el grupo de menor consumo, si consideramos a las personas que consumen 100g diarios más de carne roja la mortalidad por cáncer sería 2 de cada 100 personas.

Selección_478

Ésa sería la conclusión del análisis: el consumo de carne roja NO guarda relación alguna con el cáncer.

No perdamos de vista que esto es un estudio observacional. Estos estudios no permiten deducir que una cosa cause otra, salvo en casos extremos. Si hablásemos de tabaquismo y cáncer, ese valor resaltado en verde andaría en el entorno de 20-30, en lugar de 1. Y si, como es el caso, los valores son próximos a 1, lo que se puede concluir es que probablemente no hay relación causal. Si la carne roja causase cáncer los valores no andarían cerca del 1 en ningún estudio. Si hubiese algo, habría algo.

Fijémonos en cómo los autores de este estudio no han tomado como referencia el grupo de menor consumo de carne roja, sino el siguiente. ¿Por qué? Para tratar de inflar las cifras del grupo de mayor consumo de carne roja. En el caso del cáncer el hazard ratio (cociente de riesgo) de ese grupo habría sido 1.16 de haber tomado como referencia al grupo de menor consumo, en lugar del 1.21 que aparece en la tabla por usar una referencia diferente. No es que cambie mucho, pero es evidente que eso es lo que han buscado.

El principal problema de los estudios observacionales es que son los participantes los que escogen lo que comen, y eso hace imposible sacar conclusiones en la mayoría de los casos. Las personas que más carne roja consumen se parecen entre sí y se diferencian de los que menos consumen. Beben más alcohol, consumen más carne procesada, fuman más y tienen menos formación universitaria. Los “investigadores” intentan anular los efectos de todos esos factores, pero creer que lo consiguen es un acto de fe. Si a eso le añadimos la escasa fiabilidad de los métodos empleados para registrar qué consumen los participantes (ver), sólo podemos concluir que el intento de sacar conclusiones de cocientes de riesgo cercanos a 1 es abusar del desconocimiento de la gente llana en estos temas. O lo que es lo mismo: engañar y manipular a la gente.

La epidemiología no entra en el concepto de ciencia. Sus resultados no son científicos. Es tan científica como la astrología.

Con esta entrada de Tom Naughton puedes entender cómo de fiables son los estudios epidemiológicos. La epidemiología no es ciencia, es un chiste.

Un ejemplo: este estudio dice que el cáncer colorrectal es más frecuente entre los vegetarianos que entre los consumidores de carne, mientras que este otro concluye exactamente lo contrario.

Y si estás pensando en que juntar varios estudios epidemiológicos es más fiable que uno suelto, discrepo. Los problemas de estos estudios no desaparecen por acumular los resultados de varios de ellos. Perdón por ser soez, pero si un estudio es mierda, juntando varios lo que tienes es mucha mierda. Negaré haberme expresado en esos términos. Richard Feinman lo explica de forma más educada: “el meta-análisis es al análisis lo que la meta-física es a la física”. Podemos obtener de forma consistente que los que comen una cantidad extrema de carne roja al día tienen peor salud que los que comen una cantidad sensata. Puede que todos los estudios observacionales digan lo mismo, pero juntar todos esos estudios no elimina el problema de raíz, presente en todos ellos, que es la falta de aleatorización (i.e. asignación al azar) de las dietas. El argumento de que “esto se sabe desde hace muchos años” hay que interpretarlo correctamente: hay grupos de presión que llevan muchos años intentando colar como evidencia científica lo que no lo es.

¿Y las carnes procesadas?

Si la carne no tiene ningún problema, ni roja, ni blanca, ¿qué pasa con la “carne procesada”? En mi opinión, la respuesta depende del producto. Mira la lista de ingredientes, y si ves azúcar, gluten, cereales, soja, fécula de patata, aceites de semillas (girasol, soja, etc.), carragenanos, etc. no te lo comas. No por lo que diga la OMS —que ya deberías saber que no es de fiar— sino porque ese producto no es comida.

Leer más: