La limite au nombre de tests A/B que nous pouvons lancer par mois est limitée par 2 facteurs principaux :
- L’impact du test que nous allons lancer
- L’échantillon journalier reçu sur l’événement ciblé
Si l’événement principal ciblé est l’achat, il vous faudra plusieurs dizaines de transactions par jour.
Si l’événement ciblé est l’ajout au panier, c’est pareil. Naturellement, vous aurez plus d’ajouts au panier que d’achats, donc plus de données dans un temps plus court.
Enfin, si vous augmentez votre prix de 10%, l’impact sera beaucoup plus fort que si vous passez d’un bouton d’ajout au panier vert à jaune. Le nombre de transactions requis pour valider le premier test sera bien plus faible que pour le second.