La potencia de una prueba se refiere a la probabilidad de que la prueba detecte un efecto verdadero cuando existe uno, es decir, la capacidad de la prueba para rechazar la hipótesis nula cuando ésta es falsa. Es una medida importante porque indica la eficacia de la prueba para identificar diferencias reales. La potencia se denota generalmente como 1−β1 - \beta, donde β\beta es la probabilidad de cometer un error de Tipo II (no rechazar la hipótesis nula cuando es falsa).

Factores que Afectan la Potencia de una Prueba

1. Tamaño del Efecto: Un efecto más grande es más fácil de detectar, aumentando la potencia.

2. Tamaño de la Muestra: Una muestra más grande proporciona más información, lo que aumenta la potencia.

3. Nivel de Significancia (α): Un nivel de significancia más alto puede aumentar la potencia, pero también incrementa la probabilidad de un error de Tipo I.

4. Variabilidad de los Datos: Menos variabilidad en los datos generalmente aumenta la potencia.

Beta y Potencia de una prueba.

Beta (β) en estadística, específicamente en el contexto de las pruebas de hipótesis, representa la probabilidad de cometer un error tipo II.

Probabilidad de β: Indica la probabilidad de que, a pesar de que exista una diferencia real entre los grupos o variables que estamos comparando, nuestra prueba estadística no lo detecte y concluyamos que no hay diferencia.

Potencia (1-β): La potencia de una prueba estadística es la probabilidad de rechazar correctamente una hipótesis nula que es falsa. En otras palabras, es la capacidad de una prueba para detectar un efecto cuando ese efecto realmente existe.

Importancia de la Beta y Potencia de una prueba

La potencia de una prueba es un indicador de la calidad de la prueba

1. Confianza en los resultados: Si una prueba tiene alta potencia, podemos tener más confianza en los resultados cuando rechazamos la hipótesis nula.

2. Diseño de estudios: La potencia es un factor clave al diseñar estudios, ya que nos permite determinar el tamaño de muestra necesario para detectar un efecto de un tamaño determinado con una probabilidad específica.

3. Evita falsos negativos: Una alta potencia (1-β) reduce la probabilidad de cometer un error tipo II (β) (no rechazar una hipótesis nula falsa).

Factores que afectan la potencia de una prueba:

• Tamaño de la muestra: A mayor tamaño de muestra, mayor potencia. Con más datos, es más fácil detectar diferencias reales.

• Nivel de significancia (α): Al disminuir α (por ejemplo, de 0.05 a 0.01), aumentamos la probabilidad de cometer un error tipo II y disminuye la potencia.

• Tamaño del efecto: A mayor tamaño del efecto (la diferencia real entre los grupos o variables), mayor potencia. Es más fácil detectar una diferencia grande que una pequeña.

• Varianza de los datos: Una menor varianza en los datos aumenta la potencia, ya que reduce el ruido y hace que sea más fácil distinguir el efecto real.

Ejemplo:

Imaginese un estudio para evaluar la efectividad de un nuevo medicamento para reducir el colesterol. La potencia de la prueba nos indica la probabilidad de que el estudio detecte una disminución significativa en el colesterol si el medicamento realmente funciona. Una alta potencia nos asegura que si el medicamento es efectivo, es probable que nuestro estudio lo demuestre.

Potencia (1-β) vs. Nivel de Significancia (α):

• Potencia (1-β): Como ya hemos visto, es la probabilidad de rechazar correctamente una hipótesis nula que es falsa. Representa la sensibilidad de nuestra prueba para detectar un efecto real cuando existe. Es decir, qué tan bien podemos evitar un error tipo II (no detectar una diferencia cuando realmente hay una).

• Nivel de Significancia (α): Es la probabilidad de rechazar incorrectamente una hipótesis nula que es verdadera. Representa el riesgo de cometer un error tipo I. Es decir, qué tan dispuestos estamos a aceptar un falso positivo.

¿Por qué no son iguales?

• Hipótesis diferentes: La potencia se calcula bajo la hipótesis alternativa (es decir, asumiendo que la hipótesis nula es falsa), mientras que el nivel de significancia se calcula bajo la hipótesis nula.

• Objetivos distintos: La potencia busca maximizar la probabilidad de detectar un efecto real, mientras que el nivel de significancia controla la probabilidad de cometer un error tipo I.

• Valores diferentes: Los valores de α y β son independientes y se establecen antes de realizar la prueba. Por ejemplo, podemos fijar α en 0.05 (un nivel de significancia común) y calcular la potencia correspondiente para un determinado tamaño de muestra y tamaño del efecto.

Relación entre α y β:

• Inversa: Existe una relación inversa entre α y β. Si disminuimos α (para reducir el riesgo de un error tipo I), aumentamos β (y por lo tanto disminuimos la potencia). Esto se debe a que al hacer más difícil rechazar la hipótesis nula, también es más difícil detectar un efecto real.

En resumen:

• α: Controla el riesgo de un falso positivo (error tipo I).

• 1-β: Controla el riesgo de un falso negativo (error tipo II).

• Ambos son importantes: Al diseñar un estudio, debemos encontrar un equilibrio entre α y β para maximizar la potencia de la prueba sin aumentar excesivamente el riesgo de cometer un error tipo I.

Ejemplo:

Imaginemos un estudio para evaluar la efectividad de un nuevo medicamento. Si fijamos α en 0.05 (un nivel de significancia común), estamos diciendo que estamos dispuestos a aceptar un 5% de probabilidad de concluir erróneamente que el medicamento es efectivo cuando en realidad no lo es. Sin embargo, si la potencia de la prueba es baja (por ejemplo, 0.4), existe un 60% de probabilidad de que no detectemos la efectividad del medicamento si realmente existe.

Ejemplo de potencia en función del tamaño

Este ejemplo se desarrolla en python, en jupyer notebook y se comparte en github. La grafica resultante se ve en la fitura correspondiente. Este código genera un gráfico que muestra cómo la potencia de una prueba t varía con el tamaño de la muestra para un tamaño de efecto específico y un nivel de significancia dado.