El valor P en un contraste de hipótesis es la probabilidad de extraer al azar muestras tan diferentes de la población supuesta en la hipótesis nula como lo es la muestra que se maneja en la investigación. Al hablar de muestras "tan diferentes", se incluyen las que difieren lo mismo que la muestra en estudio y las que lo hacen aún más.
Gráficamente, el valor P corresponde al área bajo la curva de distribución muestral que queda a la derecha del valor del estadístico en la muestra, es decir, para valores iguales o mayores. La hipótesis nula se rechaza si el valor P obtenido para el estadístico de la muestra es menor que el nivel de significación que se había fijado en el contraste. Así, en un contraste unilateral con nivel de confianza 0,95, que corresponde a un nivel de significación de 0,05, la hipótesis nula se rechaza si el valor P es menor de 0,05. Esta condición es totalmente equivalente a que el estadístico muestral se encuentre fuera del intervalo de aceptación, que era la forma en que se había expresado antes.
Un valor P muy bajo significa que es muy poco probable que una muestra como la que se maneja haya salido de una población como la descrita por la hipótesis nula. En consecuencia, se rechaza la hipótesis nula, es decir, la población no tiene las propiedades que describe la hipótesis.
En realidad, las investigaciones no deben enfocarse tanto en la decisión de rechazo o no rechazo de la hipótesis nula. Al fin y al cabo, esa decisión depende del valor del nivel de confianza, y este se decide libremente. Lo que deben hacer es cuantificar cómo de probable es obtener una muestra al azar tan diferente a la población hipotética como lo es la muestra con la que se trabaja, medida que viene dada por el valor P. En muchas investigaciones, de hecho, se sobreentiende un nivel de significación de 0,05, y se rechaza la hipótesis nula si el valor P obtenido es menor, pero ni siquiera se dice cuánto vale. Lo más adecuado es dar el valor P para que cualquier investigador pueda valorar el grado en que los datos empíricos (muestrales) apoyan o no la hipótesis sobre la población.
EJEMPLO
La hipótesis nula de una investigación supone que la estatura media de las mujeres españolas es 1,63 metros. Se extrae una muestra al azar de 10 mujeres, cuya estatura media resulta ser 1,84 metros, valor que se aleja considerablemente de la media muestral supuesta en la hipótesis nula. ¿Cómo de fácil, o de probable, sería encontrar en esa población muestras aleatorias de 10 personas tan alejadas de la media poblacional como la que se ha extraído? Para averiguarlo, se podrían sacar muchas muestras aleatorias distintas, cada una con 10 personas, y ver qué proporción de ellas presentan una media de estatura tan alejada o más de la media poblacional como en nuestra muestra. Esta proporción es una probabilidad, y es la que se denomina valor P del contraste. En la práctica, se calcula el área bajo la curva normal hacia la derecha del valor dado por la media de la muestra, m. El área en esa cola de la curva normal (en azul en la figura) será muy pequeña, porque la media de nuestra muestra está muy alejada de la media poblacional que supone la hipótesis nula. Eso quiere decir que es muy poco probable que nuestra muestra haya salido de una población con media 1,63 metros. Como la muestra ha sido extraída al azar de la población, lo que se rechaza es que la población tenga esa media, es decir, se rechaza la hipótesis nula.