Boucles de rétroaction IA et vos données

Une boucle de rétroaction est un système qui enregistre ce qu’il a décidé, observe ce qui en a résulté, et utilise l’écart entre les deux pour décider mieux la fois suivante. En publicité, cela signifie consigner le choix de budget, d’enchère ou de créatif fait à un moment donné, le relier au résultat qui a suivi, puis réinjecter la différence dans la décision suivante.

Pourquoi cela s’accumule et pas l’accès au modèle

Les modèles performants sont largement accessibles. N’importe qui peut appeler un modèle puissant via une API, et l’écart de capacité de raisonnement général entre fournisseurs continue de se resserrer. Cela fait du simple accès au modèle un avantage faible et temporaire : un concurrent peut l’égaler en un cycle de produit.

Une boucle de rétroaction est différente. Elle fonctionne sur des données que personne d’autre ne possède : vos décisions précises et vos résultats précis. Un concurrent ne peut pas acheter cet historique. Chaque passage dans la boucle affine un peu la décision suivante, et ces petits gains s’accumulent sur des mois de campagnes. La barrière à l’entrée n’est pas le modèle qui raisonne ; c’est le registre accumulé de ce qui a fonctionné, associé à un mécanisme qui continue de vérifier. Voir pourquoi la barrière à l’entrée de l’IA est la boucle de rétroaction, pas le modèle pour l’argumentaire complet.

Ce dont une boucle qui fonctionne a besoin

Quatre conditions doivent être réunies pour qu’une boucle de rétroaction améliore réellement les décisions :

1. Une décision enregistrée au moment où elle est prise. Pas reconstituée après coup. Si un changement de budget ou d’enchère n’est pas consigné avec sa justification et son horodatage, il n’y a rien à quoi rattacher un résultat ultérieur.
2. Un résultat attribuable à cette décision. Le résultat doit pouvoir être retracé jusqu’au choix précis, pas seulement à la « performance de campagne » en général. C’est là que comprendre les Contrôles de croissance compte : un système capable d’isoler l’effet d’un levier donne à la boucle un signal plus propre qu’un système qui ne voit que des résultats mixtes.
3. Un délai assez court pour permettre d’apprendre. Si le résultat met des mois à arriver, la boucle ne peut boucler qu’une poignée de cycles par an, et le contexte a généralement déjà changé le temps qu’elle y parvienne.
4. Un volume suffisant pour que le signal domine le bruit. Une seule conversion ne dit presque rien sur la qualité d’une décision. Il faut suffisamment de décisions et de résultats répétés pour qu’un schéma se distingue du hasard, la même exigence que celle couverte dans les tests d’incrémentalité.

Un exemple concret

Supposons qu’un système teste une augmentation de budget de 20 % sur un ensemble de publicités. Il enregistre la décision (augmentation appliquée, dépense antérieure de 500 €/jour, nouvelle dépense de 600 €/jour) au moment où elle survient. Au cours des 7 jours suivants, il observe 42 conversions à un CPA de 38 €, contre un CPA de référence de 34 € à l’ancien budget. L’écart, une hausse de CPA de 4 €, constitue la rétroaction : il indique à la boucle que cet ensemble de publicités était plus proche de son plafond que le modèle ne le supposait, et que la prochaine décision de budget sur des ensembles similaires devrait être plus prudente. Sans la décision enregistrée et le résultat attribué, cet écart de 4 € n’est que du bruit dans un rapport hebdomadaire.

Là où la boucle se brise

La qualité de la mesure plafonne la vitesse à laquelle n’importe quel système peut apprendre, quelle que soit la qualité du modèle qui se trouve derrière.

• Bruit d’attribution. Si le résultat ne peut pas être relié de façon fiable à la décision, par exemple à cause de parcours multi-appareils ou de conversions rapportées par la plateforme qui se comptent en double, la boucle apprend à partir d’un signal déformé. Les études d’impact incrémental existent précisément pour retirer cette distorsion et mesurer directement l’effet incrémental.
• Délais de conversion longs. Les achats à forte considération peuvent mettre des semaines à se concrétiser. Une boucle calibrée pour une rétroaction du jour même tirera des conclusions avant que le vrai résultat ne soit arrivé.
• Faible volume de conversions. Les petits comptes et les produits de niche génèrent trop peu de conversions par semaine pour que l’effet d’une décision puisse être statistiquement distingué du hasard.

Rien de tout cela ne signifie que la boucle est inutile. Cela signifie que sa confiance doit être proportionnée à la qualité de la mesure qui l’alimente, et un système qui ignore cela n’accumule pas un avantage, il accumule une erreur.