Signification statistique contre probabilité dans les tests publicitaires

La signification statistique répond à une question plus étroite que ce que la plupart des acheteurs média pensent. Une valeur p vous dit à quel point vos résultats seraient surprenants si les deux publicités étaient, en vérité, des performeurs identiques. Elle ne vous dit pas la probabilité que la publicité B batte la publicité A, et elle ne dit rien sur l’ampleur de l’avance de B ni sur ce que vous coûterait une erreur. Ce sont les trois éléments dont un annonceur a réellement besoin, et aucun ne sort d’un test de signification.

Ce qu’une valeur p dit réellement

Lancez un test A/B et obtenez une valeur p de 0,03. La lecture honnête est : si A et B convertissent réellement au même taux, un écart aussi grand ou plus grand apparaîtrait environ 3 % du temps par pur hasard. C’est une affirmation sur les données en supposant qu’aucune différence n’existe. Ce n’est pas une affirmation sur la probabilité qu’une différence existe, et ce n’est pas le raccourci « 5 % de chances que ce soit un coup de chance » répété dans la plupart des explications marketing.

Cette distinction compte à cause de la façon dont elle est utilisée. Un acheteur qui traite p < 0,05 comme « B est prouvé meilleur » agira avec plus de confiance que ce que le chiffre justifie, surtout avec de petits échantillons où un vrai avantage de 3 % et un vrai avantage de 30 % peuvent produire des valeurs p similaires. Voir la signification statistique dans les publicités pour la mécanique du calcul correct, y compris les pièges qui consistent à regarder trop tôt et à arrêter un test dès qu’il franchit le seuil.

La question à laquelle une approche bayésienne répond réellement

Une approche bayésienne part de votre croyance préalable sur la plage probable des résultats, la met à jour avec les données recueillies, et produit quelque chose de plus proche de ce que vous voulez : la probabilité que B batte A, compte tenu de tout ce que vous avez observé, plus une distribution de l’ampleur possible de cet avantage. Ce dernier point compte plus que les annonceurs ne le reconnaissent. Une chance de 60 % d’un gain de 2 % est une décision différente d’une chance de 60 % d’un gain de 40 %, et un test de signification fréquentiste réduit cette distinction à un simple seuil de réussite ou d’échec.

Aucun des deux cadres n’est exempt d’hypothèses. Les résultats bayésiens dépendent de la croyance préalable choisie, et une mauvaise hypothèse de départ peut biaiser la réponse aussi gravement qu’un petit échantillon biaise une valeur p. L’argument honnête en faveur du cadre bayésien en publicité n’est pas qu’il soit plus rigoureux. C’est qu’il répond à la question que vous posez réellement, à savoir « que dois-je faire de mon budget demain », et non « cet écart serait-il surprenant sous une hypothèse nulle ».

Le problème de taille d’échantillon que personne ne budgète

Détecter un gain réel mais modeste exige plus de données que la plupart des ensembles de publicités n’en accumulent jamais. À titre d’illustration approximative : pour détecter de façon fiable une amélioration relative de 10 % sur un taux de conversion de référence de 2 % (le faisant passer à 2,2 %) à des niveaux de confiance classiques (95 % de confiance, 80 % de puissance), un calcul standard de taille d’échantillon à deux proportions vous place dans une fourchette de 70 000 à 90 000 visiteurs par variante, soit environ 1 500 à 1 800 conversions par côté. La plupart des ensembles de publicités, même ceux dépensant quelques milliers d’euros par semaine, n’atteignent pas cette barre avant que la lassitude créative ou la saisonnalité ne modifie de toute façon le taux sous-jacent.

Ce n’est pas une raison d’ignorer les mathématiques. C’est une raison d’arrêter d’attendre une signification de manuel scolaire dans les tests publicitaires et de construire un processus de décision qui fonctionne honnêtement avec les tailles d’échantillon que vous obtenez réellement.

Une règle de décision qui n’exige pas de signification de manuel

Étant donné que la plupart des tests n’atteignent jamais une signification formelle, traitez la décision comme un problème d’espérance de gain plutôt que comme un seuil de réussite ou d’échec. Un seuil praticable : si une variante affiche au moins 70 % de probabilité d’être la véritable gagnante (fréquentiste ou bayésien, l’un ou l’autre peut approcher ce chiffre) après avoir accumulé au moins 100 conversions par côté, et que le gain observé est assez important pour compter sur la marge du compte, agissez en conséquence. En dessous de 100 conversions par côté, traitez toute avance comme indicative au mieux, et ne tuez pas la variante à la traîne purement et simplement. Au-dessus de 70 % de probabilité avec un gain négligeable, la décision n’est pas assez importante pour être tranchée dans un sens ou dans l’autre, alors gardez le budget pour un test plus conséquent.

Le seuil n’a rien de magique. C’est une ligne clairement énoncée qui arrête les deux modes d’échec qui coûtent réellement de l’argent : attendre indéfiniment un résultat « significatif » qui n’arrivera jamais aux volumes habituels d’un ensemble de publicités, et déclarer un gagnant sur dix conversions parce que le graphique a bougé.

Là où cela ne s’applique pas

Rien de tout cela ne s’applique aux décisions critiques pour la conformité ou la sécurité, où un faux positif coûte cher quel que soit le budget publicitaire, et cela ne s’applique pas non plus aux tests menés sur des audiences ou des emplacements radicalement différents, où les deux bras ne sont en réalité pas comparables. Dans ces cas, utilisez toute la rigueur d’un vrai test A/B avec des règles d’arrêt pré-enregistrées, pas un seuil de probabilité emprunté à un blog marketing.

Comment YieldBI aide

YieldBI n’exécute pas son propre calculateur de signification. Ce qu’il fait, c’est mettre en évidence quels ensembles de publicités ont accumulé assez de conversions pour justifier une décision fiable, et signaler ceux qui se trouvent dans le no man’s land du faible volume et du signal instable, de sorte qu’un acheteur ne reste pas devant un tableau de bord à essayer de deviner si dix jours de données signifient quelque chose.

La vérité inconfortable est que la plupart des moments « les données ne sont pas concluantes » dans les comptes publicitaires ne sont pas réellement non concluants. Ce sont des décisions que l’acheteur ne veut pas prendre sans plus de certitude que le canal ne peut en fournir. Attendre cette certitude est en soi une décision, et c’est généralement la plus coûteuse.