Etiquetado: mala ciencia

Que no se pueda medir lo que importa no hace importante lo que sí se puede medir

¿Es posible realizar un experimento científico que compruebe la efectividad de un paracaídas?

Me refiero a un experimento aleatorizado donde unos participantes llevan paracaídas y otros no, con doble ciego y se evalúa la efectividad salvando vidas: «tantos muertos con paracaídas, tantos muertos sin paracaídas, luego la efectividad es ésta».

¿Es posible hacerlo? ¿Sería ético hacerlo?

Sí, es posible. Y ya se ha realizado, con un resultado sorprendente. ¡¡No se encontraron diferencias entre usar paracaídas y no usarlo!!

el primer ensayo clínico aleatorizado, bautizado como PARACHUTE, sobre la eficacia del paracaídas frente a la falta de él: no se encontraron diferencias entre quienes portaban un paracaídas o quienes llevaban una mochila vacía.

Y sin cruzar líneas rojas.

El experimento se hizo con el avión parado y realizando el salto a 60cm de altura.

Los autores son conscientes de las posibles limitaciones de su experimento:

Nuestros hallazgos pueden no ser generalizables al uso de paracaídas en aeronaves que viajan a mayor altura o velocidad

A lo mejor viajando a mayor altura y velocidad, el resultado es diferente. Puede ser, ¿verdad?

Bromas aparte, fijémonos en lo que sucede en el experimento PARACHUTE: la situación de interés no se puede someter a un experimento científico. Es decir, NO SE PUEDE MEDIR LO QUE IMPORTA. Y el experimento PARACHUTE lo que deja en evidencia  es que:

De hecho, nadie puede tomar en serio un experimento en el que la caída dura menos de un segundo, cuando en la situación de interés es la de un salto que dura entre 40 segundos (sin paracaídas) y varios minutos (con paracaídas). La duración del salto es relevante. O su altura total, o la velocidad que se alcanza, o como queramos medir la peligrosidad del salto.

para cualquier propósito práctico es irrelevante llevar paracaídas o no llevarlo cuando se salta desde un avión

¿Es «ciencia» sacar esa conclusión usando como dato lo que sucede en un salto a 60 cm de altura?

Las consecuencias de caer durante menos de un segundo no nos dicen nada sobre lo que sucederá cuando caigamos durante más tiempo. Y que no podamos hacer el experimento bien hecho no da validez a un experimento basura, ¡¡aunque sea lo único que se puede medir!!

Dieta seguida 6 días

¿Podemos hacer un experimento de 6 días de duración y sacar conclusiones sobre si una dieta engorda más que otra?

Este estudio demostró que, a igualdad de calorías, la restricción de grasa produce mayor pérdida de grasa corporal que la restricción de carbohidratos en adultos con obesidad. Kevin Hall, PhD

¿Podemos coger datos de experimentos científicos, ignorar que prácticamente todos son de menos de 10 días de duración, un par de meses en los de más duración, y sacar conclusiones «para cualquier propósito práctico«?

para cualquier propósito práctico “una caloría es una caloría” cuando se trata de diferencias en grasa corporal y gasto energético entre dietas isocalóricas controladas que se diferencian en el ratio de carbohidratos a grasa. Kevin Hall, PhD

¿Para cualquier propósito práctico, o sólo bajo las condiciones en que se han obtenido los datos que se usan para sacar esa conclusión? ¿Es esa conclusión válida también cuando una dieta se sigue durante años? ¿O es que seguir una dieta más de dos meses no es un «propósito práctico» para este «científico»? ¿Para cualquier propósito práctico? ¿En serio?

Al menos en el experimento del paracaídas los autores tenían el sentido común de poner en duda que sus resultados fueran generalizables a condiciones diferentes de las contempladas en el experimento.

Nuestros hallazgos pueden no ser generalizables al uso de paracaídas en aeronaves que viajan a mayor altura o velocidad

Aunque fuera en broma, no cometen el error de presuponer lo que en realidad no han comprobado. Kevin Hall, PhD, por el contrario, ni siquiera se plantea que, con rigor, no puede afirmar las cosas que afirma.

Let’s take an analogy. Suppose we were to study the development of rust in a pipe. We know that rusting is a time-dependent process that occurs over months of exposure to moisture. There would be no point in looking at studies of only one- or two-days’ duration, as we might very well conclude that water does not cause pipe rust since we did not observe any rust forming during that forty-eight hours.

But this mistake is made in human obesity studies all the time. Obesity develops over decades. Yet hundreds of published studies consider only what happens in less than a year. Thousands more studies last less than a week. Still, they all claim to shed light on human obesity. (The Obesity Code. Jason Fung)

Consideremos una analogía. Supongamos que estudiamos el desarrollo del óxido en una tubería. Sabemos que la oxidación es un proceso dependiente del tiempo que ocurre durante los meses de exposición a la humedad. No tendría sentido mirar estudios de sólo uno o dos días de duración, ya que podríamos llegar a la conclusión de que el agua no causa la oxidación de las tuberías, ya que no observamos ninguna formación de óxido durante esas cuarenta y ocho horas.

Pero este error se comete en los estudios de obesidad humana todo el tiempo. La obesidad se desarrolla a lo largo de décadas. Sin embargo, cientos de estudios publicados consideran sólo lo que sucede en menos de un año. Otros miles de estudios duran menos de una semana. Sin embargo, todos afirman arrojar luz sobre la obesidad humana.

Leer más: