Hablé hace un tiempo (en la entrada «Ciencia Basura«) de un meta-análisis que analizaba la efectividad de las dietas low-carb, titulado “Low Carbohydrate versus Isoenergetic Balanced Diets for Reducing Weight and Cardiovascular Risk: A Systematic Review and Meta-Analysis“. Esa entrada del blog fue una de las más visitadas en el año 2014.

El caso es que en su momento revisé algunas, no todas, de las fuentes originales de datos usadas en ese meta-análisis, encontrando «errores» clamorosos (¿de verdad fueron «errores»?). Vimos errores en la figura 3 y vimos que el dato más influyente de la figura 4, el de Sacks 2009, está invertido: debería favorecer a las dietas low-carb, y no perjudicarlas. Gravísimo «error».

Quiero comentar algunas cosas más sobre el meta-análisis y los datos que emplearon.

Lim 2010

Por curiosidad he comprobado otro de los artículos incluidos en la figura 4 del meta-análisis, el que aparece como Lim 2010. Aparentemente en ese estudio se perdió más peso con una dieta «equilibrada» que con una «low-carb».

¿Fue así realmente? Tengo mis dudas.

El estudio es de 2010, titulado «Long-term effects of a low carbohydrate, low fat or high unsaturated fat diet compared to a no-intervention control«

Se comparan tres dietas con un grupo de control que no hace dieta. Una de esas dietas supuestamente es baja en hidratos de carbono, la que llaman VLC. En la siguiente gráfica se muestra la evolución del peso corporal con las distintas dietas (del grupo de control únicamente se muestra el peso inicial y final, con un círculo hueco):

El texto al pie de la figura anterior es erróneo, pues supuestamente una de las dietas se identifica con círculos negros, y no hay círculos negros en la gráfica. Eso hace dudar sobre qué curva se corresponde con cada dieta. Afortunadamente, los pesos en el mes cero (baseline) se nos dan en la Tabla 1 y son diferentes para cada grupo, lo que permite identificar sin problemas las curvas:

• La curva que parte de menor peso corporal es la VLC,
• la que parte de mayor peso corporal es la HUF. y
• la que parte de un peso corporal similar al grupo de control es la VLF.

Por tanto, en la gráfica, el cambio total en el peso corporal experimentado con la dieta VLC (la supuestamente low-carb) se corresponde con la recta roja. Las otras dos dietas se corresponden con las curvas azul (HUF) y verde (VLF).

¿Con qué dieta se ha perdido más peso? Aparentemente con la dieta VLC, que es la que tiene la recta con mayor inclinación descendente. Eso no encaja con la información que se incluyó en el meta-análisis:

El origen de la discrepancia es que en Lim 2010 se dan tres versiones diferentes de los resultados: 1) la que hemos visto en figura 2, 2) la que cuentan en el texto y 3) la que se da en la tabla 3.

En la tabla 3 se nos dice que es la dieta HUF la que más peso ha hecho perder a los 15 meses.

Y los valores en el texto también son diferentes y claramente erróneos, al menos en los datos de error que se dan (¿0.1 y 0.01 kg?):

The estimated weight change from baseline to 15 months was 3.0 ±0.2 kg for VLC, 2.0 ±0.1 kg for VLF, 3.7 ±0.01 kg for HUF.

Esas desviaciones estándar de 0.1, 0.2 y 0.01 kg también aparecen en el abstract del artículo. Son claramente erróneas.

¿Qué creemos? ¿la gráfica, la tabla o el texto? Al menos dos de las tres fuentes son erróneas. Quizá todas. Los autores del meta-análisis se quedaron con el dato de la tabla, pero yo creo que, a falta de una explicación, no se puede confiar en los datos de Lim 2010.

Tampoco entiendo que en el meta-análisis, a efectos de comparación, sólo se incluyeran los datos de la dieta HUF, la que supuestamente gana a la VLC (según la tabla 3), y no también los de la VLF, que supuestamente pierde con la VLC (según todas las fuentes), aunque los porcentajes de macronutrientes de VLF y HUF son muy parecidos. Aun dando por buenos los datos de la tabla 3 frente a los de la figura 2 o el texto, la dieta VLC empataría con las otras dos dietas consideradas en conjunto. Pero, insisto, sería mejor que ellas si hacemos caso a los datos de la figura 2.

Y la dieta VLC de low-carb tuvo bien poco, con un porcentaje de kcal procedentes de carbohidratos que fue creciendo con el tiempo y que sólo fue low-carb al principio del estudio:

Por ejemplo, a los 15 meses 0.365 * 1635 kcal = 597 kcal lo que nos da 149 g de carbohidratos. Demasiados para una dieta low-carb.

¿Achacamos el resultado de este estudio a una dieta low-carb, cuando en verdad los participantes del estudio no han seguido una dieta low-carb? Ése es en realidad el principal error del meta-análisis del que estamos hablando (aparte de todos los errores detectados en los datos, que curiosamente siempre van en el sentido de perjudicar a las dietas low-carb), que han considerado low-carb dietas que los que seguimos una alimentación low-carb no consideraríamos low-carb. Eso lo que hace es crear desinformación.

Por otro lado, supuestamente las dietas eran isocalóricas, pero la realidad es que la dieta VLC (curva roja) tuvo una ingesta superior a la de la dieta HUF (curva azul). Las dietas NO fueron isocalóricas. Se muestran las kcal/día a los 3, 6, 9, 12 y 15 meses.

En definitiva,

• tres versiones diferentes de datos de pérdida de peso. Dos de esas fuentes, o las tres, son erróneas.
• dieta VLC que no fue low-carb salvo los primeros meses
• dietas comparadas que no eran isocalóricas, con diferencias en kcal/día cuyo orden de magnitud puede no ser despreciable al cabo de un año. El meta-análisis sólo incluía dietas isocalóricas.
• sólo se usa una de las dietas alternativas en la comparación, la que supuestamente supera a la dieta etiquetada como low-carb. Se deja fuera del meta-análisis a la que pierde en la comparación con la VLC.

Como comentario final sobre este artículo, si los autores del meta-análisis tenían que escoger entre los datos de la tabla, los de la gráfica o los del texto, de las tres posibilidades escogieron la opción más desfavorable para las dietas low-carb, los de la tabla. Quizá no se les puede culpar de no darse cuenta del desastre que era el artículo original. Pero dentro de la tabla 3 también se quedaron, sin una razón evidente, sólo con la dieta cuyo resultado perjudicaba a las dietas low-carb, ignorando la que las beneficiaba. Es posible que no vieran las incoherencias entre gráfica, texto y tablas, pero tuvieron que ver que había otra dieta. Y tuvieron que tomar la decisión de ignorarla.

Keogh 2007

Siguiendo con el meta-análisis, también me ha llamado la atención que en la gráfica 4 incluyan un artículo de sólo 13 participantes, Keogh 2007, pero no uno de los mismos autores con muchos más participantes.

Unos 130 g/día de proteína en el que no incluyeron, 134 g/día en el que sí incluyeron. Misma duración, 52 semanas.

El artículo de esos mismos autores al que me refiero es  «Long-term effects of a very-low-carbohydrate weight loss diet compared with an isocaloric low-fat diet after 12 mo«, y acabaron el estudio 69 participantes, no 13. Se perdieron 1.9 kg más de grasa corporal con la dieta low-carb (LC), que sí era low-carb y que además tenía unas pocas más calorías que la low-fat (LF). Más grasa corporal perdida, con básicamente las mismas calorías. Ese artículo, con una diferencia de 2.9 Kg en peso corporal y 69 participantes habría tenido bastante peso en el resultado final.

 

No se forzó que las dietas fueran isocalóricas, pero las diferencias entre dietas fueron menores que en el estudio de Lim et al. 2010 que hemos visto antes (y ese otro estudio sí fue incluido en el meta-análisis). En cualquier caso Brinkworth et al. 2009 no se descartó por esa razón: según la Tabla 7 del meta-análisis el artículo de Brinkworth et al. 2009 es excluido por «Duplicate and/or complimentary«, pero este estudio no tiene que ver con otros ya incluídos.  Todos los estudios tienen un número de registro diferente, luego no son duplicados ni complementarios:

• Brinkworth 2009. Trial ACTRN12606000203550. E.g. 391 respondieron al anuncio, 69 particpantes completaron el estudio
• Wycherley 2012. Trial ACTRN12606000002583. E.g. 1150 respondieron al anuncio, 68 participantes completaron el estudio
• Keogh 2007. Trial ACTRN012605000614695 (es el de 13 participantes)

El de Layman 2009 no lo incluyo en la lista anterior porque es de otros autores. Puesto que el resultado de Brinkworth et al. 2009 es claramente favorable a la dieta low-carb, se descarta que los autores del meta-análisis lo consideraran un duplicado de Keogh et al. 2007. Eso sólo deja viva la hipótesis de que crean que hay un conclicto con Wycherley et al. 2012, un estudio con número de registro diferente, diferente número de participantes y publicado tres años más tarde. Si por alguna razón que no entiendo decidieron escoger entre los dos, escogieron el de resultado menos favorable para las dietas low-carb.

Layman 2009

Aunque no tenga importancia, porque no afecta al resultado final, de otro estudio de la Figura 4, el de Layman 2009, lo que se usa en el meta-análisis son datos de «intention-to-treat» (ITT), es decir datos inventados. Aunque eso no cambia la diferencia de peso perdido entre dietas, que es de 2 Kg, sí que le da un peso al estudio en el meta-análisis que no es el que le corresponde, pues pasa de tener 71 participantes, que es el dato real, a tener 103, que son los participantes totales una vez añadidos los datos inventados. Y con menos desviación estándar de la real, lo que hace que los datos inventados sean contabilizados como más fiables que los reales. Tiene narices.

Lo del «intention-to-treat», donde se inventan el resultado final de los participantes que no acabaron el estudio, puede parecerle normal a los «científicos», pero a la gente «normal» no puede parecernos sino una tomadura de pelo (ver).

Repito que esto no afecta al meta-análisis de forma sustancial, pero no quería dejar de criticar que se nos ofrezcan datos falsos como si fueran reales. Los datos «intention-to-treat» no son resultados de un experimento científico, son un producto de la imaginación de los autores. Y no es aceptable que los presenten como resultado del experimento.

Nota final: agradezco a Andrés sus acertadas sugerencias sobre esta entrada.

Leer más:

• Otro meta-análisis para el olvido
• Ciencia Basura