Signifikanz vs. Wahrscheinlichkeit im Anzeigentest

Statistische Signifikanz beantwortet eine engere Frage, als die meisten Media Buyer denken. Ein p-Wert sagt Ihnen, wie überraschend Ihre Ergebnisse wären, wenn beide Anzeigen in Wahrheit gleich gut performen würden. Er sagt Ihnen nicht, mit welcher Wahrscheinlichkeit Anzeige B Anzeige A schlägt, und er sagt nichts darüber aus, um wie viel besser B sein könnte oder was es Sie kostet, falsch zu liegen. Das sind die drei Dinge, die ein Werbetreibender tatsächlich braucht, und keines davon liefert ein Signifikanztest.

Was ein p-Wert wirklich aussagt

Sie führen einen A/B-Test durch und erhalten einen p-Wert von 0,03. Die ehrliche Lesart lautet: Wenn A und B tatsächlich mit derselben Rate konvertieren, würde eine so große oder größere Differenz allein durch Zufall in etwa 3 % der Fälle auftreten. Das ist eine Aussage über die Daten unter der Annahme, dass kein Unterschied besteht. Es ist keine Aussage darüber, wie wahrscheinlich es ist, dass ein Unterschied existiert, und es ist auch nicht die in vielen Marketing-Erklärstücken kursierende Kurzformel »5 % Wahrscheinlichkeit, dass das Zufall ist«.

Diese Unterscheidung ist wichtig, weil sie falsch angewendet wird. Wer p < 0,05 als »B ist erwiesenermaßen besser« liest, handelt mit mehr Zuversicht, als die Zahl hergibt, besonders bei kleinen Stichproben, wo ein echter Vorsprung von 3 % und ein echter Vorsprung von 30 % ähnliche p-Werte erzeugen können. Die Mechanik der korrekten Berechnung, einschließlich der Fallstricke des frühzeitigen Blicks auf die Daten und des Abbruchs in dem Moment, in dem die Schwelle überschritten wird, finden Sie unter statistische Signifikanz bei Anzeigen.

Die Frage, die ein bayesianischer Ansatz tatsächlich beantwortet

Ein bayesianischer Ansatz geht von Ihrer vorherigen Einschätzung des wahrscheinlichen Ergebnisbereichs aus, aktualisiert diese mit den erhobenen Daten und liefert etwas, das der gesuchten Antwort näherkommt: die Wahrscheinlichkeit, dass B besser ist als A, gegeben alles, was Sie bisher beobachtet haben, plus eine Verteilung darüber, um wie viel besser B sein könnte. Dieser letzte Teil ist wichtiger, als Werbetreibende ihm zugestehen. Eine 60-prozentige Chance auf 2 % Steigerung ist eine andere Entscheidung als eine 60-prozentige Chance auf 40 % Steigerung, und ein frequentistischer Signifikanztest verdichtet diesen Unterschied auf eine einzige Bestehen-oder-Durchfallen-Schwelle.

Kein Ansatz ist frei von Annahmen. Bayesianische Ergebnisse hängen von der gewählten Prior-Verteilung ab, und eine schlechte Prior-Annahme kann die Antwort ebenso verzerren wie eine kleine Stichprobe einen p-Wert verzerrt. Das ehrliche Argument für den bayesianischen Rahmen im Anzeigenkontext ist nicht, dass er rigoroser wäre. Es ist, dass er die Frage beantwortet, die tatsächlich gestellt wird, nämlich »was soll ich morgen mit meinem Budget tun«, nicht »wäre diese Differenz unter einer Nullhypothese überraschend«.

Das Stichprobenproblem, das niemand einplant

Um eine reale, aber moderate Steigerung zuverlässig zu erkennen, braucht es mehr Daten, als die meisten Anzeigengruppen je ansammeln. Zur groben Veranschaulichung: Um eine relative Verbesserung von 10 % bei einer Basis-Conversion-Rate von 2 % (Anstieg auf 2,2 %) mit üblichen Konfidenzniveaus zuverlässig zu erkennen (95 % Konfidenz, 80 % Teststärke), landet eine Standardberechnung der Stichprobengröße für zwei Anteile im Bereich von 70.000 bis 90.000 Besuchern pro Variante, was etwa 1.500 bis 1.800 Conversions je Seite entspricht. Die meisten Anzeigengruppen, selbst solche mit ein paar tausend Euro Wochenbudget, erreichen diese Schwelle nicht, bevor Creative-Ermüdung oder Saisonalität die zugrunde liegende Rate ohnehin verändern.

Das ist kein Grund, die Mathematik zu ignorieren. Es ist ein Grund, keine Lehrbuch-Signifikanz von Anzeigentests mehr zu erwarten und stattdessen einen Entscheidungsprozess aufzubauen, der mit den tatsächlich erreichbaren Stichprobengrößen ehrlich funktioniert.

Eine Entscheidungsregel ohne Lehrbuch-Signifikanz

Da die meisten Tests nie formale Signifikanz erreichen, sollte man die Entscheidung als Erwartungswert-Problem behandeln statt als Bestehen-oder-Durchfallen-Schwelle. Eine praktikable Schwelle: Wenn eine Variante nach mindestens 100 Conversions je Seite eine Gewinnwahrscheinlichkeit von mindestens 70 % zeigt (frequentistisch oder bayesianisch, beides kann das annähern) und die beobachtete Steigerung groß genug ist, um für die Marge des Kontos relevant zu sein, sollte man handeln. Unter 100 Conversions je Seite ist jeder Vorsprung bestenfalls als Tendenz zu werten, und die unterlegene Variante sollte nicht sofort abgeschaltet werden. Über 70 % Wahrscheinlichkeit bei trivialer Steigerung lohnt sich die Entscheidung in keine Richtung, dann ist es sinnvoller, das Budget für einen größeren Test aufzusparen.

Die Schwelle ist kein Zauberwert. Sie ist eine festgelegte Grenze, die die beiden Fehlermodi verhindert, die tatsächlich Geld kosten: das endlose Warten auf ein »signifikantes« Ergebnis, das bei typischen Anzeigengruppen-Volumina nie eintritt, und das voreilige Ausrufen eines Gewinners nach zehn Conversions, nur weil sich die Kurve bewegt hat.

Wo das nicht gilt

Nichts davon gilt für compliance-kritische oder sicherheitskritische Entscheidungen, bei denen ein falsch-positives Ergebnis unabhängig vom Werbebudget teuer ist, und es gilt auch nicht für Tests über völlig unterschiedliche Zielgruppen oder Platzierungen hinweg, bei denen die beiden Arme gar nicht vergleichbar sind. In diesen Fällen braucht es die volle Rigorosität eines ordentlichen A/B-Tests mit vorab festgelegten Abbruchregeln, nicht eine Wahrscheinlichkeitsschwelle aus einem Marketing-Blog.

Wie YieldBI hilft

YieldBI betreibt keinen eigenen Signifikanzrechner. Was es tut, ist sichtbar zu machen, welche Anzeigengruppen genug Conversions angesammelt haben, um eine belastbare Entscheidung zu treffen, und die Fälle zu markieren, die im Niemandsland aus geringem Volumen und wackligem Signal stecken, damit ein Buyer nicht vor einem Dashboard sitzt und rätseln muss, ob zehn Tage Daten überhaupt etwas bedeuten.

Die unbequeme Wahrheit ist, dass die meisten »die Daten sind nicht eindeutig«-Momente in Werbekonten gar nicht wirklich uneindeutig sind. Es sind Entscheidungen, die der Buyer nicht treffen will, ohne mehr Sicherheit zu haben, als der Kanal liefern kann. Auf diese Sicherheit zu warten ist selbst eine Entscheidung, und meistens die teure.