Statistical Significance

Significancia estadística: qué es y cómo calcularla

La significancia estadística es una medida de fiabilidad en el resultado de un análisis que te permite tener confianza a la hora de tomar decisiones.

La cantidad de datos creados solo en 2020 se estima en alrededor de 50,5 zettabytes (es decir, 50,5 seguido de 21 ceros); algunos afirman que los datos son el producto más valioso del siglo XXI: el nuevo petróleo de la economía digital.

Dado que la cantidad de datos generados sigue creciendo exponencialmente, el análisis se ha vuelto aún más importante. Pero ningún análisis es útil si no es exacto.

¿Qué es la significancia estadística?

La significacia estadística es la probabilidad de que una relación entre dos o más variables en un análisis no sea pura coincidencia, sino que en realidad sea causada por otro factor. En otras palabras, la significancia estadística es una forma de demostrar matemáticamente que puedes confiar en una estadística determinada.

¿Por qué es importante para las empresas la significancia estadística?

En el mundo real, las empresas utilizan la significacia estadística para comprender en que grado deben influir los resultados de sus encuestas, experimentos, votaciones, o datos del usuario en la toma de decisiones.

La signfificancia estadística es importante porque le da credebilidad a tu análisis y consecuentemente, a los insights que obtendrás como resultado. No tiene ningún valor comercial tomar decisiones en base a información engañosa o incorrect. Es más, las decisiones tomadas en base a información engañosa también evitará que puedas invertir tus recursos correctamente.

¿Cómo calcular la significancia estadística?

La significancia estadística a menudo se calcula con pruebas de hipótesis estadísticas que comprueban la validez de una hipótesis calculando la probabilidad de que sus resultados hayan ocurrido por casualidad.

Aquí, una «hipótesis» es una suposición o creencia sobre la relación entre sus conjuntos de datos. El resultado de una prueba de hipótesis nos permite ver si esta suposición se mantiene bajo escrutinio o no.

Una prueba de hipótesis estándar se basa en dos hipótesis.

  • Hipótesis nula: la suposición predeterminada de una prueba estadística que está intentando refutar (por ejemplo, un aumento en el coste no afectará el número de compras).
  • Hipótesis alternativa: una teoría alternativa que contradice su hipótesis nula (por ejemplo, un aumento en el coste reducirá el número de compras). Esta es la hipótesis que se espera probar.

Esto nos permitirá determinar qué teoría, la nula o alternativa, está mejor respaldada por los datos. Hay muchas metodologías de prueba de hipótesis, y una de las más comunes es el test Z (Z-test en inglés), que es lo que veremos en el siguiente ejemplo.

Antes de adentrarnos en el test-Z, es importante revisar algunos de los conceptos estadísticos en los que se basa la dicho test.

Distribución normal

La distribución normal es se utiliza para representar cómo se distribuyen los datos y se define principalmente por:

  • La media (μ): la media representa la ubicación del centro de sus datos (o el promedio).
  • La desviación estándar (σ): la desviación estándar es una medida de la cantidad de variación o dispersión de un conjunto de valores y representa la extensión de sus datos.

Una curva de distribución normal (Fuente de la imagen – Wikipedia)

La distribución normal se representa gráficamente mediante lo que se llama una “curva de campana ”(por su forma). Se utiliza una curva de distribución normal para evaluar la ubicación de un punto de datos en términos de la desviación estándar y la media. Esto te permite determinar qué tan anómalo es un punto de datos en función de cuántas desviaciones estándar tiene de la media estadística. Las propiedades de una distribución normal significan que:

  • ≈68,3% de todos los puntos de datos están dentro de un rango de 1 desviación estándar a cada lado de la media.
  • ≈95.4% de todos los puntos de datos están dentro de un rango de 2 desviaciones estándar en cada lado de la media.
  • ≈99.7% de todos los puntos de datos están dentro de un rango de 3 desviaciones estándar en cada lado de la media.

Si tenemos una distribución normal para un conjunto de datos, podemos ubicar cualquier punto de datos por el número de desviaciones estándar está lejos de la media.

Por ejemplo, consideremos que el número promedio de descargas de una aplicación de transmisión de música es 1000, con una desviación estándar de 100 descargas. Si una aplicación llamada MixTunes tiene 1200 descargas, podemos decir que está 2 desviaciones estándar por encima de la media y se encuentra en el 2,3% superior de las aplicaciones de música.

Z-score

En estadísticas , la distancia entre un punto de datos y la media del conjunto de datos se evalúa como una puntuación Z. La puntuación Z (también conocida como puntuación estándar) es el número de desviaciones estándar por las cuales un punto de datos se distancia de la media.

Una puntuación Z se calcula restando la media de la distribución (μ) del valor del punto de datos considerado (x ) y dividiendo el resultado por la desviación estándar (σ).

Z = (x – μ) / (σ)

En el ejemplo que discutimos anteriormente, MixTunes tendría una puntuación Z de 2 ya que la media es 1000 descargas y la desviación estándar es 100 descargas.

Suponiendo que una distribución normal nos permite determinar qué tan significativo es el resultado que observa en un análisis, cuanto mayor sea la magnitud de la Puntuación Z (positiva o negativa), más improbable el resultado es por casualidad, y más probable debe ser significativo. Para cuantificar cuán significativo es el resultado de su análisis, usamos un concepto más.

En estudios donde una muestra de un Se considera la población (como encuestas y sondeos), la fórmula del valor Z se cambia ligeramente para tener en cuenta el hecho de que cada muestra puede variar de la población general y, por lo tanto, tener una desviación estándar de la distribución general de todas las muestras.

Z = (x – μ) / (σ / √n)

Aquí, √n es la raíz cuadrada del tamaño de la muestra.

P-values

El concepto final necesitamos usar la prueba Z es la de los valores P. Un valor P es la probabilidad de encontrar resultados al menos tan extremos como los medidos cuando la hipótesis nula es verdadera.

Por ejemplo, supongamos que estamos midiendo la estatura promedio de personas en los estados de California y Nueva York, EE. UU. Podemos comenzar con una hipótesis nula de que la altura promedio de los individuos en California no es mayor que la altura promedio de los individuos en Nueva York.

Luego realizamos un estudio y encontramos que la altura promedio de los californianos es 1.4 pulgadas más alta, con un valor P de 0.48. Esto implica que en un mundo donde la hipótesis nula (la altura promedio de los californianos no es más alta que la altura promedio de los neoyorquinos) es cierta, hay un 48% de probabilidades de que midamos alturas al menos 1.4 pulgadas más altas en California.

Por lo tanto, si las alturas en California no son realmente más altas, aún las mediremos como más altas en al menos 1.4 pulgadas aproximadamente la mitad del tiempo debido al ruido aleatorio en los datos. Posteriormente, cuanto menor sea el valor P, más significativo será el resultado porque es menos probable que sea causado por ruido o por azar.

El hecho de que el resultado de un estudio o análisis pueda o no considerarse estadísticamente significativo depende del» nivel de significancia «de ese estudio de prueba, que se establece antes de que comience el estudio. El valor de significación, indicado por la letra griega alpha ( α ), no es nada pero el valor de p máximo que podemos aceptar para considerar el estudio como estadísticamente significativo. En otras palabras, es la probabilidad de rechazar la hipótesis nula cuando es cierta o, simplemente, la probabilidad de tomar una decisión incorrecta.

Este valor de significación varía según la situación y el campo de estudio, pero el valor más utilizado es 0,05, que corresponde a un 5% de probabilidad de que los resultados se produzcan de forma aleatoria.

Una puntuación Z se puede convertir en un valor P (y viceversa) usando un lenguaje de programación como R, o por métodos más simples como una fórmula de Excel, una herramienta en línea, una calculadora gráfica o incluso una simple tabla numérica llamada Tabla de puntuación Z .

Prueba Z

Para una prueba Z, la curva de distribución normal se utiliza como una aproximación para la distribución deltest. Para realizar una prueba Z, busca una puntuación Z para tu prueba o estudio y conviértela en un valor P. Si tu valor P es menor que el nivel de significancia, puedes concluir que tu observación es estadísticamente significativa.

Echemos un vistazo en un ejemplo.

Imagina que trabajamos en el departamento de admisiones de la Universidad A, ubicada en la Ciudad X. Para demostrar que somos un gran universidad, queremos demostrar que los estudiantes de la Universidad A obtienen mejores resultados en una prueba estandarizada que el estudiante promedio en la Ciudad X. La junta del comité de evaluación de la prueba estandarizada analizó todos los resultados de las pruebas y nos dijo que los estudiantes de la Ciudad X obtuvieron un promedio de 75 puntos en la prueba estandarizada.

Para ver si nuestros estudiantes realmente rinden mejor, realizamos una encuesta a 100 estudiantes para compartir sus resultados en las pruebas y descubrir que el promedio es 78 puntos con una desviación estándar de 2,5 puntos. También establecemos un valor de nivel de significancia ( α ) de 0.05, lo que significa que los resultados son significativos solo si el valor P está por debajo de 0.05.

Dado que estamos tratando de demostrar que nuestros estudiantes rinden mejor en la prueba, nuestra hipótesis nula es que el puntaje promedio de los estudiantes de la Universidad A no está por encima del promedio de la ciudad.

Comenzamos calculando la puntuación Z para esta prueba restando la media de la población (el promedio de la ciudad X de 75) de nuestro valor medido (78) y dividiendo por la desviación estándar (2.5) sobre la raíz cuadrada del número de muestras (100).

Z = (x – μ) / (σ / √n) = (78-75) / (2.5 / √100)

Esto nos da una puntuación Z de 12. La conversión de esta puntuación Z nos da un valor P muy bajo y menor que 0.00001. Eso significa que podemos rechazar la hipótesis nula. En otras palabras, existe evidencia estadísticamente significativa de que los estudiantes de la Universidad A obtienen mejores resultados en promedio que los estudiantes de la Ciudad X.

¿Para qué puedo utilizar la significacia estadística?

Ahora que sabes cómo calcular la significacia estadística, aquí hay algunos ejemplos de situaciones en las que te podría ser útil:

  • Conversiones en tus páginas
  • Tasas de respuesta de notificaciones / correos electrónicos y tasas de conversión
  • Reacciones de los usuarios a lanzamientos de nuevos productos
  • Reacciones de usuarios a los precios
  • Reacciones de los usuarios a un nuevo diseño
  • Reacciones de los usuarios a las funciones recién lanzadas

Cuándo no utilizar la significancia estadística

Las pruebas de significancia no necesitan ser aplicadas en cada test. A menos que el equipo tenga la posibilidad de hacer los cálculos rápidamente, debería reservarse a los casos en los que saber si los resultados de determinados test son válidos les ahorra tiempo, esfuerzo, dinero y credibilidad. Por ejemplo, cuando una característica diseñada de manera incorrecta pudiera ser difícil de eliminar más adelante, o si una campaña de marketing dirigida a toda la lista de la empresa pudiera mermar la confianza de los usuarios. Sin embargo, si la desventaja es intrascendente, las pruebas de significancia no harán otra cosa que frenar el progreso.

“Cuando las decisiones son de bajo costo o reversibles, simplemente inténtelo. La mayoría de las cosas son reversibles de algún modo”, dice el empresario y CTO de Helpful.com Farhan Thawar. “Intentar y fallar es aprender. Pero si hay consecuencias que no se pueden revertir -o como dice Jeff Bezos, puertas que no se pueden atravesar- entonces prueba”.

Cosas a tener en cuenta

Las pruebas de significacia estadística son una gran herramienta para validar pruebas y análisis, pero no significa que sus datos sean precisos o que no esten sesgados. Los participantes de las encuentas pueden mentir y darte información incorrecta, por lo que tus encuestas podrían estar sesgadas por una representación no uniforme de ciertos datos demográficos.

Además, una prueba de significancia estadística mal ejecutada puede generar información inexacta. Esto puede suceder cuando el nivel de significancia ( α ) elegido es incorrecto.

Finalmente, los valores P, por definición, permiten una pequeña posibilidad de un falso positivo. Una forma de contrarrestar esto es reproducir los resultados. Si puede repetir el estudio y lograr un valor P bajo, la probabilidad de que haya observado un falso positivo se reduce.

Recuerde , la significación estadística es una gran herramienta para tomar decisiones comerciales con mayor confianza, pero no es una fórmula mágica matemática.

Empieza a utilizar Mixpanel de forma gratuita

Unete a los miles de equipos de producto que utilizan Mixpanel para crear mejores productos

Regístrate gratis