El conocido como argumentum ad populum nos va a conducir a defender vehementemente y arriesgadamente una vacuna frente a la otra, pero ¿es
realmente cierto que una vacuna es más eficaz que la otra?
La clave para evitar el riesgo está en la aplicación del pensamiento crítico y el método científico, que ya describió Descartes en 1637 en
su “Discurso del método”, en el que exhortaba al mundo a “poner todo en duda como si nadie hubiera dicho nada jamás”.
Ello implica tomar siempre una postura crítica, que no es lo mismo que no creerse nada de nada. Casi tres siglos después de Descartes, Einstein sentenció: “lo importante es no dejar de hacerse preguntas”.
La clave para evitar el riesgo está en la aplicación del pensamiento crítico y el método científico
El diseño del experimento deberá cumplir con dos premisas fundamentales, simplicidad y precisión
Preguntas
La manera de plantearnos las preguntas es absolutamente fundamental . Una pregunta correcta y bien formulada condicionará el éxito futuro
de nuestras afirmaciones o conclusiones.
Respuestas
Las respuestas a nuestras preguntas deben estar basadas en observaciones medibles y datos objetivos para poder responder a las
preguntas.
El orden debe ser SIEMPRE ese
- Planteamiento de las preguntas
- Toma de datos
- Respuesta a las preguntas
Después, el éxito estará condicionado por la meticulosidad en la forma de tomar los datos, la forma de anotarlos y, por supuesto, el acierto en el uso de los métodos de análisis de estos.
La mejor forma de sacar conclusiones válidas y generalizables sería el planteamiento de un experimento, que no es nada más que la planificación de
las preguntas, la posterior toma de datos y finalmente su análisis.
Experimento no implica necesariamente el trabajo en un laboratorio. Por supuesto se puede plantear un experimento en una granja, en varias granjas, con lotes de animales,… pero siempre el diseño del experimento deberá cumplir con dos premisas fundamentales: simplicidad y precisión.
Simplicidad
La simplicidad no es siempre fácil de conseguir. ¿En qué consiste pues?
Un experimento simple: Consigue responder ÚNICAMENTE y EXCLUSIVAMENTE a las preguntas que nos hemos planteado
EXCLUYE FACTORES DE VARIACIÓN que puedan confundirnos haciéndonos llegar a conclusiones erróneas.
Precisión
La precisión la podemos conseguir con unos BUENOS MÉTODOS DE OBTENCIÓN DE DATOS, pero fundamentalmente, gracias al TAMAÑO MUESTRAL, es decir, a la cantidad de datos que hemos obtenido y que tendremos que analizar.
EL DISEÑO DE UN EXPERIMENTO
Retomando el ejemplo de las vacunas, ¿Por ejemplo qué podríamos hacer para comprobar si realmente una vacuna ha tenido un mejor efecto que otra sobre el crecimiento de unos pollos de carne?
El experimento deberá permitir analizar únicamente el efecto de la vacuna
Factor de variación
Si comparamos 2 vacunas establecermos 2 grupos asegurándonos que NO exista ningún otro FACTOR DE VARIACIÓN que pueda enmascarar el efecto de la vacuna.
Por ejemplo, es posible que en nuestro diseño hayamos pensado en utilizar una vacuna en determinadas granjas y la otra vacuna en otras granjas.
Pues bien, ambos grupos de granjas deben tener las mismas características medias, el origen de los animales debe ser el mismo, el pienso que consumen debe ser el mismo, etc.
Si no tenemos esa precaución, podríamos confundir el efecto de la vacuna con, por ejemplo, el efecto del pienso suministrado y llegar a la conclusión de que una vacuna tiene un mejor efecto sobre rendimiento de los animales cuando realmente es el pienso quien produce dicho efecto.
Estudio de factores
El número de grupos que deberíamos hacer depende del número de factores que queramos estudiar y de cuántas variedades (también llamadas opciones o tratamientos) tenga cada uno de los factores a estudiar.
Ejemplo. En el ejemplo, el número de factores es solamente uno, el factor vacuna. Y el número de tratamientos es de dos (las dos diferentes vacunas). Así pues, se deberán establecer únicamente 2 grupos.
Ejemplo. Sin embargo, el número de vacunas a probar podría ser mayor (incluso se podría incluir algún grupo de animales sin vacunar).
Imaginemos que queremos probar 3 vacunas y compararlas también con animales sin vacunar. En este caso, seguiríamos teniendo únicamente el factor vacuna, pero con 4 tratamientos, lo que nos obliga a trabajar con 4 grupos de animales (o de granjas).
Figura 1. Ejemplo de la distribución de los tratamientos. Comparamos 2 vacunas en 3 zonas geográficas diferentes
En este caso, seguiríamos teniendo únicamente el factor vacuna, pero con 4 tratamientos, lo que nos obliga a trabajar con 4 grupos de animales (o de granjas).
Ejemplo. Ahora imaginemos que tenemos interés en conocer el efecto de las 3 vacunas más el grupo sin vacunar, pero sospechamos que su eficacia puede no ser igual en diferentes áreas geográficas.
Supongamos que existen 3 áreas geográficas diferentes. En este caso, nuestro experimento tendrá dos factores (el factor vacuna y el factor área) y el número de tratamientos será de 4 y 3 respectivamente.
Así, el número de grupos de animales (o granjas) que necesitamos será de 12, resultado de multiplicar los 4 tratamientos de vacuna por las 3 zonas geográficas (Figura 1).
Ejemplo. Un tercer factor de variación (como la estación del año de aplicación de la vacuna, con 4 opciones) haría que el número de grupos necesarios fuese 48 (4 x 3 x 4)
Así, podríamos añadir cuantos factores de variación quisiéramos, multiplicando entre sí el número de variedades de cada uno de los factores,aunque el experimento se hace cada vez más complejo ya que para cada uno de los grupos únicamente pueden existir los factores de variación planteados y las condiciones de los animales deben ser exactamente las mismas.
Ejemplo. En nuestro ejemplo, observaríamos cómo se comporta cada una de las vacunas en función del área geográfica o la estación del año.
Puede que el efecto de la vacuna sea similar en todas las áreas y/o estaciones o que algunas vacunas funcionen mejor que otras según la región o la época del año.
Con un buen diseño del experimento podríamos conocer no solo los efectos principales, sino también las interacciones que existen entre ellos, de manera que obtendríamos información de cómo varía el efecto de un factor cuando varían los otros
EL DISEÑO MUESTRAL
¿QUÉ SIGNIFICA TAMAÑO MUESTRAL?
Es el número de unidades experimentales con las que debemos trabajar. La unidad experimental es el individuo o grupo de individuos del que queremos obtener un valor medio. En el ejemplo anterior cada unidad experimental podría ser una nave (o granja) diferente.
Tan importante como el diseño del experimento es el tamaño muestral, que nos proporcionará información sobre la PRECISIÓN y la FIABILIDAD del experimento planteado.
El tamaño muestral debe ser calculado para cada uno de los grupos de los que hemos hablado en el diseño del experimento.
Un número de datos escaso no permitirá obtener conclusiones fiables, mientras que trabajar con un número de datos excesivo conlleva un innecesario trabajo extra
Variabilidad
La variabilidad indica lo dispersos que están los valores que queremos medir, por el hecho de que los individuos son diferentes.
Con una VARIABILIDAD ALTA los datos que recogemos están muy dispersos y hay muchos valores que se alejan de la media
Con una VARIABILIDAD BAJA indica que la mayoría de los valores que medimos se parecen mucho a la media.
Precisión
La precisión nos indica la magnitud a partir de la cual somos capaces de detectar diferencias entre individuos.
Una ALTA PRECISIÓN significará, pues, que somos capaces de detectar diferencias muy pequeñas entre individuos.
Ese cálculo del tamaño muestral se realiza teniendo en cuenta dos conceptos muy importantes en estadística: la variabilidad y la precisión que se desea
CÁLCULO DEL TAMAÑO MUESTRAL
A modo de orientación, el tamaño muestral para variables cuantitativas se puede calcular de la siguiente manera: n = 2 · (Zα + Zβ)2 · σ2/d2
- Siendo:
-n el tamaño muestral
-Zα y Zβ dos valores que dependen de la confianza y la potencia que queramos obtener
-σ2 la varianza (medida de la variabilidad)
-d la precisión que deseamos
Este valor, n, del tamaño muestral se refiere a cada uno de los grupos que hemos determinado en función del diseño del experimento.
Esta forma de determinar el tamaño muestral es válida para datos cuantitativos.
TAMAÑO MUESTRAL
El tamaño muestral deberá ser tanto mayor cuanto mayor sea la variabilidad de los datos que pretendemos obtener y cuanta mayor precisión seamos capaces de medir.
Por ello, los grupos de individuos muy heterogéneos nos obligarán a trabajar con grandes tamaños muestrales. Lo mismo ocurrirá cuando pretendamos tener precisiones muy altas.
Continuando con el ejemplo de las vacunas.
Ejemplo. Supongamos que gracias a experimentos anteriores o a la bibliografía, hemos averiguado que la variabilidad normal en el crecimiento de los pollos en las granjas (GMD) es de σ2 = 85 g2 (variabilidad) y que queremos detectar una diferencia entre grupos de GMD= 10 g (precisión).
En este caso, aplicando la fórmula anterior (y utilizando unos valores típicos de Zα = 1,96 y de Zβ = 1,28), resulta que necesitamos 18 unidades experimentales por cada grupo de tratamiento planteado en el diseño del experimento.
Si habíamos decidido estudiar 4 diferentes vacunas (3 más el grupo sin vacunar), en 3 diferentes áreas geográficas y diferenciando las 4 estaciones del año, necesitaríamos hacer un experimento con nada menos que ¡864 granjas!
Si tuviéramos una menor disponibilidad de granjas, deberíamos rediseñar el experimento y ser menos ambiciosos en el número de factores a estudiar, o conformarnos con una menor precisión a la hora de determinar diferencias entre tratamientos.
Los grupos de individuos muy heterogéneos nos obligarán a trabajar con grandes tamaños muestrales
En resumen, cada factor que queramos introducir en el modelo, debemos tenerlo en cuenta al establecer el número de grupos y ser conscientes de que cuantos más grupos haya, deberemos obtener un mayor número de datos.
Esto nos debería llevar a plantear experimentos lo más sencillos posible.
HIPÓTESIS, ERRORES, SIGNIFICACIÓN Y POTENCIA DE UN EXPERIMENTO
En lo anterior han aparecido en la fórmula del calculo de tamaño de muestra que merecen explicación: Zα y Zβ.
Zα y Zβ introducen el concepto de hipótesis y de error en estadística
Hipótesis nula y alternativa
Definiremos hipótesis (1) como “suposición de algo posible o imposible para sacar de ello una consecuencia”.
En un experimento, generalmente, se plantean dos hipótesis mutuamente excluyentes:
-la HIPÓTESIS NULA (H0) y la HIPÓTESIS DE INVESTIGACIÓN o hipótesis alternativa (Hi).
La HIPÓTESIS DE INVESTIGACIÓN es una afirmación especial cuya validez se pretende demostrar.
Si las pruebas empíricas no apoyan decididamente la hipótesis de investigación, entonces se aceptará la HIPÓTESIS NULA, abandonándose la hipótesis de investigación.
En nuestro ejemplo de las vacunas, y volviendo a un único factor de variación (es decir, sin tener en cuenta ni la zona geográfica y la época del año), la hipótesis de investigación es la suposición de que habrá alguna vacuna que es mejor que otras en cuanto al rendimiento productivo de los animales.
Por lo tanto, la hipótesis nula es la complementaría de esta, es decir, aquella que afirma que las vacunas son similares en cuanto al efecto sobre el crecimiento de los pollos.
La hipótesis de investigación siempre planteará que existen diferencias entre tratamientos y la hipótesis nula que no las hay.
Ejemplo.Así pues, diremos como hipótesis de investigación que hay vacunas mejores que otras y nuestro objetivo será demostrarlo.
Para conseguir probarlo, debemos asegurarnos muy bien de que no nos equivocamos en la afirmación de que hay vacunas mejores que otras.
En caso de que no estemos muy seguros de ello, simplemente aceptaremos la hipótesis nula (recordemos que es la hipótesis complementaria de la de investigación) y diremos que no hemos podido demostrar que haya vacunas mejores que otras.
Como ejemplo, en otro ámbito, la hipótesis nula equivaldría a la presunción de inocencia en un estado de derecho y la hipótesis de investigación a la culpabilidad de una persona, de manera que para condenar a alguien por un delito hay que estar muy seguros de que realmente lo ha cometido. Cualquier duda de su culpabilidad, llevaría a exculparlo.
ERROR ESTADÍSTICO
¿Y cómo podemos cuantificar la aceptación o rechazo de las hipótesis planteadas? ¿Qué herramientas tenemos para decidir si aceptamos o no las hipótesis planteadas? Aquí es donde entra en juego el concepto de error estadístico.
Ejemplo.Así, en el ejemplo de las vacunas, podríamos equivocarnos al decir que hay vacunas mejores que otras si realmente son todas similares.
Pero también nos equivocaríamos al afirmar que las vacunas son similares si realmente hay algunas mejores que las otras. En cualquiera de los dos casos, es evidente que estamos cometiendo un error. Pues bien, ambos errores no son ni intercambiables ni complementarios, es decir, que teniendo uno de ellos bajo control, el otro no tiene por qué estarlo.
FALSO POSITIVO
El primero de los errores mencionados es un falso positivo y se le llama error de tipo I (también se le llama a veces error α)
FALSO NEGATIVO
El segundo es un falso negativo y se le llama error de tipo II (o error β).
TIPO 1 -NIVEL DEL SIGNIFICACIÓN
Cometer un error de tipo I podría tener graves consecuencias, es muy importante asegurarnos de que el error de tipo I se mantenga en niveles muy bajos.
Ejemplo. Recordemos que significaría decir que hay vacunas mejores que otras cuando realmente no lo son. Debemos estar muy seguros de que hay vacunas que son mejores que otras para hacer esa afirmación que podríamos considerar grave.
Estableceremos un valor umbral de este error, que expresamos con la letra α y al que llamamos nivel de significación.
Estableciendo un nivel de significación α = 0,05 estamos manteniendo a raya al error de tipo I.
Con un nivel de significación α = 0,05 diremos que la probabilidad de aceptar que una vacuna es mejor que las otras cuando realmente no lo es (falso positivo) será como máximo de un 5%.
El error estadístico es la probabilidad de equivocarnos al hacer una afirmación
El “valor p” es la probabilidad de cometer un error de tipo I y corresponde a la probabilidad de aceptar como bueno un falso positivo
VALOR P PRUEBAS ESTADÍSTICAS DE CONTRASTE
¿Qué parámetro debemos observar para poner un límite a la aceptación o no de las hipótesis y no incurrir en un error de tipo I?
En este momento, aparece el “valor p”, obtenido en la mayoría de las pruebas estadísticas de contraste (o de comparación).
El “valor p” toma valores entre 0 y 1. Cuando el “valor p” se acerca a 0 y sobre todo cuando está por debajo del que hemos establecido como nivel de significación α, estaremos muy seguros de que el error es suficientemente bajo.
El “valor p” es la probabilidad de cometer un error de tipo I y corresponde a la probabilidad de aceptar como bueno un falso positivo.
Ejemplo.En el caso de nuestro ejemplo, si al hacer una prueba de contraste obtenemos un valor p < 0,05 diremos que hemos hallado diferencias significativas entre las vacunas, o lo que es lo mismo, que hay vacunas mejores que otras.
TIPO II – ERROR β- POTENCIA DEL EXPERIMENTO
¿Y qué ocurre con el error de tipo II (β)? Cometer un error de este tipo siempre es menos grave que incurrir en un error de tipo I, pero aun así, hay que procurar no cometerlo.
Contrariamente al error tipo I, en la mayoría de los casos no es posible calcular la probabilidad del error tipo II
La razón de esto se encuentra en la manera en que se formulan las hipótesis (H0 y Hi) en una prueba estadística que, recordemos, siempre se hace de la misma forma. Por eso, se acepta en un experimento que el valor del error β esté entre el 5 y el 20%.
CONCLUSIONES
Si β es el error de tipo II de una prueba de contraste, a su complementario, es decir 1-β le llamamos poder o potencia del experimento y nos da una idea de la fiabilidad de la prueba.
En el caso de nuestro ejemplo, nos indicaría si, al hacer el experimento de las vacunas, podemos fiarnos de los resultados obtenidos. Así, si hemos concluido que hay diferencias significativas entre las vacunas, la potencia del estudio nos dirá si debemos fiarnos o no de nuestra conclusión.
La potencia del experimento nos da la probabilidad de que nuestras afirmaciones sean extrapolables a toda la población
Zα – Zβ
Zα y Zβ utilizados en la formula del tamaño muestral son valores asociados al NIVEL DE SIGNIFICACIÓN y POTENCIA DEL ESTUDIO asignados a nuestro experimento.
Para niveles de significación más bajos deberemos utilizar valores de Zα mayores y para potencias del test mayores deberemos utilizar valores de Zβ mayores.
Los valores Zα y Zβ están cuantificados en tablas y son constantes para cada valor preestablecido de α y β
El número de factores a estudiar condicionará el mayor o menor número de grupos en el experimento.
Trabajar con un nivel de significación bajo y una potencia de la prueba alta, hará necesario un gran tamaño muestral.
Para poder afirmar que una vacuna es mejor que otra será indispensable:
- Hacernos una pregunta
- Planificar cómo vamos a tomar los datos
- Saber qué datos vamos a tomar
- Definir como analizar esos datos
- Sacar conclusiones que puedan ser generalizables
