Un test A/B compare deux variantes, attribuées au hasard à des groupes, pour savoir laquelle convertit mieux. La métrique principale et la taille d'échantillon se fixent avant le lancement. Un test de deux proportions donne une p-value, comparée à un seuil fixé à l'avance (souvent 5 %). S'arrêter dès que la p-value passe sous le seuil (peeking) augmente les faux positifs.
Exemple
from statsmodels.stats.proportion import proportions_ztest
z, p = proportions_ztest([120, 150], [2000, 2000])