KI-Feedbackschleifen und Ihre Daten

Eine Feedbackschleife ist ein System, das erfasst, was es entschieden hat, beobachtet, was daraufhin geschah, und die Lücke zwischen beidem nutzt, um beim nächsten Mal besser zu entscheiden. Bei Werbung bedeutet das: das Budget, das Gebot oder die Creative-Entscheidung, die zu einem bestimmten Zeitpunkt getroffen wurde, zu protokollieren, sie mit dem darauf folgenden Ergebnis zu verknüpfen und die Differenz in die nächste Entscheidung einfließen zu lassen.

Warum sich das aufsummiert und Modellzugang nicht

Leistungsfähige Modelle sind weithin verfügbar. Jeder kann ein starkes Modell über eine API aufrufen, und die Lücke bei der allgemeinen Denkfähigkeit zwischen Anbietern wird immer kleiner. Das macht reinen Modellzugang zu einem schwachen, vorübergehenden Vorteil: Ein Wettbewerber kann ihn innerhalb eines Produktzyklus einholen.

Eine Feedbackschleife ist anders. Sie läuft auf Daten, die niemand sonst hat: Ihre spezifischen Entscheidungen und Ihre spezifischen Ergebnisse. Diese Historie kann ein Wettbewerber nicht kaufen. Jeder Durchlauf durch die Schleife schärft die nächste Entscheidung ein wenig, und diese kleinen Gewinne summieren sich über Monate von Kampagnen. Der Burggraben ist nicht das Modell, das die Denkarbeit leistet, sondern die angesammelte Aufzeichnung dessen, was funktioniert hat, gepaart mit einem Mechanismus, der laufend prüft. Siehe warum der KI-Burggraben die Feedbackschleife ist, nicht das Modell für die ausführlichere Argumentation.

Was eine funktionierende Schleife braucht

Vier Dinge müssen zutreffen, damit eine Feedbackschleife Entscheidungen tatsächlich verbessert:

1. Eine Entscheidung, die zum Zeitpunkt ihres Treffens erfasst wird. Nicht nachträglich rekonstruiert. Wenn eine Budgetänderung oder eine Gebotsänderung nicht mit ihrer Begründung und ihrem Zeitstempel protokolliert wird, gibt es nichts, dem ein späteres Ergebnis zugeschrieben werden könnte.
2. Ein Ergebnis, das dieser Entscheidung zurechenbar ist. Das Resultat muss auf die konkrete Wahl zurückverfolgbar sein, nicht nur auf “Kampagnenleistung” im Allgemeinen. Hier zählt das Verständnis der Wachstumssteuerung: Ein System, das die Wirkung eines einzelnen Hebels isolieren kann, gibt der Schleife ein saubereres Signal als eines, das nur vermischte Ergebnisse sieht.
3. Eine Verzögerung, die kurz genug ist, um daraus zu lernen. Wenn das Ergebnis Monate braucht, um einzutreffen, kann die Schleife nur eine Handvoll Zyklen pro Jahr abschließen, und die Welt hat sich bis dahin meist weiterbewegt.
4. Genug Volumen, damit das Signal das Rauschen übertönt. Eine einzelne Conversion sagt fast nichts darüber aus, ob eine Entscheidung gut war. Man braucht genug wiederholte Entscheidungen und Ergebnisse, damit sich ein Muster vom Zufall abhebt, dieselbe Anforderung, die beim Inkrementalitätstest gilt.

Ein durchgerechnetes Beispiel

Angenommen, ein System testet eine Budgeterhöhung von 20 Prozent bei einer Anzeigengruppe. Es erfasst die Entscheidung (Erhöhung angewendet, bisherige Ausgabe 500 €/Tag, neue Ausgabe 600 €/Tag) in dem Moment, in dem sie eintritt. In den folgenden 7 Tagen beobachtet es 42 Conversions bei einem CPA von 38 €, gegenüber einem rollierenden Basiswert von 34 € CPA beim alten Budget. Die Lücke, eine Erhöhung des CPA um 4 €, ist das Feedback: Sie sagt der Schleife, dass dieses Ad Set näher an seiner Obergrenze war, als das Modell angenommen hatte, und dass die nächste Budgetentscheidung für ähnliche Anzeigengruppen vorsichtiger ausfallen sollte. Ohne die erfasste Entscheidung und das zugerechnete Ergebnis ist dieser Unterschied von 4 € nur Rauschen in einem Wochenbericht.

Wo die Schleife bricht

Die Messqualität begrenzt, wie schnell ein System lernen kann, egal wie gut das dahinterliegende Modell ist.

• Attributionsrauschen. Wenn das Ergebnis nicht zuverlässig der Entscheidung zugeordnet werden kann, etwa wegen geräteübergreifender Journeys oder plattformseitig gemeldeter Conversions, die doppelt gezählt werden, lernt die Schleife aus einem verzerrten Signal. Conversion-Lift-Studien existieren genau dafür, diese Verzerrung herauszufiltern und den inkrementellen Effekt direkt zu messen.
• Lange Conversion-Verzögerungen. Käufe mit hoher Überlegungszeit können Wochen bis zur Conversion brauchen. Eine auf gleichtägiges Feedback getrimmte Schleife zieht Schlüsse, bevor das tatsächliche Ergebnis vorliegt.
• Geringes Conversion-Volumen. Kleine Konten und Nischenprodukte erzeugen zu wenige Conversions pro Woche, als dass sich der Effekt einer Entscheidung statistisch vom Zufall unterscheiden ließe.

Nichts davon bedeutet, dass die Schleife wertlos ist. Es bedeutet, dass ihr Vertrauensniveau mit der Qualität der zugeführten Messung skalieren sollte, und ein System, das das ignoriert, summiert keinen Vorteil auf, sondern einen Fehler.