A/B et uplift
Randomiser, mesurer l'incrément, pas le clic.
Randomisation + puissance
Assignation aléatoire, taille calculée avant (puissance 80 %, MDE), métrique primaire unique, garde-fous. Uplift : qui réagit grâce au traitement (persuadables), pas qui achète de toute façon (sure things) ni qui fuit (sleeping dogs).
Pièges
Peeking continu sans correction, Novelty qui s'évapore, interférences réseau (SUTVA violée). Sans plan pré-enregistré, votre A/B est une opinion chère.
Pas de correction en ligneConfrontez votre code aux résultats attendus du cours.