Statistische Signifikanz bei Anzeigentests

Was statistische Signifikanz ist

Statistische Signifikanz misst, wie wahrscheinlich es ist, dass ein beobachteter Unterschied zwischen zwei Anzeigenvarianten, etwa zwei Creatives oder zwei Zielgruppen, einen echten zugrunde liegenden Unterschied widerspiegelt und nicht reinen Zufall. Jeder Test umfasst eine Stichprobe von Personen, nicht die gesamte Population, die die Anzeige je sehen könnte, und kleine Stichproben erzeugen naturgemäß eine gewisse Streuung, selbst wenn es keinen echten Unterschied zwischen den Varianten gibt.

Wenn ein Testergebnis statistisch signifikant ist, bedeutet das, dass die beobachtete Lücke wahrscheinlich nicht nur aus zufälligem Rauschen entstanden ist, wer die jeweilige Variante zufällig gesehen und darauf reagiert hat. Es bedeutet nicht, dass das Ergebnis groß, wichtig oder dauerhaft ist. Es bedeutet lediglich, dass die Lücke wahrscheinlich echt ist und kein Zufall der konkreten Stichprobe.

Wie es gemessen wird

Signifikanztests vergleichen den beobachteten Unterschied zwischen zwei Varianten mit der Streuung, die man erwarten würde, wenn tatsächlich kein Unterschied bestünde. Diese Berechnung hängt von drei Dingen ab: der Größe des beobachteten Effekts, der Stichprobengröße in jeder Gruppe und der Variabilität der zugrunde liegenden Kennzahl. Größere Stichproben und größere Effekte machen es leichter, Signifikanz zu erreichen; kleine Stichproben und subtile Effekte machen es schwerer, manchmal unmöglich innerhalb einer vertretbaren Testdauer.

Das Ergebnis wird üblicherweise als Konfidenzniveau ausgedrückt, meist 90 % oder 95 %. Ein Konfidenzniveau von 95 % bedeutet, dass Sie, würden Sie denselben Test wiederholt unter identischen Bedingungen ohne echten Unterschied zwischen den Varianten durchführen, eine Lücke dieser Größe oder größer nur in etwa 5 % der Fälle rein zufällig sehen würden.

Warum es wichtig ist

Anzeigenplattformen und Dashboards erklären oft schon einen “Sieger”, sobald eine Variante bei den Rohzahlen vorne liegt, aber ein Vorsprung nach ein paar Hundert Klicks kann sich mit mehr Daten leicht umkehren. Auf Ergebnisse zu reagieren, bevor Signifikanz erreicht ist, bedeutet häufig, auf Basis von Rauschen zu optimieren, was Budget verschwendet, indem Ausgaben zu Varianten verschoben werden, die eigentlich nicht besser sind, und kann die Performance sogar schädigen, wenn der scheinbare Sieger ein falsch positives Ergebnis war.

Das gilt besonders für Events mit geringem Volumen, etwa Käufe in einem Konto mit wenig Traffic, wo das Erreichen einer verlässlichen Stichprobengröße Wochen statt Tage dauern kann. Unterschiede in der Conversion-Rate bei kleinen Conversion-Zahlen sind die am wenigsten vertrauenswürdige Art von Testergebnis.

Wie Sie danach handeln

Legen Sie Ihre Mindeststichprobengröße fest, bevor Sie einen Test starten, basierend auf Ihrer typischen Conversion-Rate und der kleinsten Effektgröße, die Sie tatsächlich erkennen möchten. Lassen Sie den Test laufen, bis diese Stichprobengröße oder Ihre geplante Dauer erreicht ist, je nachdem, was später eintritt, statt in dem Moment zu stoppen, in dem eine Variante vorne liegt. Vermeiden Sie es, Ergebnisse täglich zu prüfen und auf kurzfristige Schwankungen zu reagieren: frühe Vorsprünge in einem Test sind naturgemäß unzuverlässig.

Wenn Ergebnisse richtungsweisend interessant, aber noch nicht signifikant sind, behandeln Sie sie als Hypothese, die einen weiteren Test wert ist, nicht als bestätigten Befund.

Häufige Fehler

Einen Test zu beenden, sobald eine Variante in Führung geht, eine Praxis, die manchmal “Peeking” genannt wird, erhöht die Wahrscheinlichkeit eines falsch positiven Ergebnisses weit über das angegebene Konfidenzniveau hinaus. Tests auf Kampagnen mit sehr geringem Volumen laufen zu lassen und eine schnelle, verlässliche Antwort zu erwarten, führt zu Enttäuschung oder schlechten Entscheidungen. Statistische Signifikanz mit praktischer Bedeutung zu verwechseln und einen knapp signifikanten, aber winzigen Unterschied als großen Befund zu behandeln, verschwendet Aufwand auf marginale Gewinne. Zu viele Varianten gleichzeitig zu testen, ohne die Zahl der Vergleiche zu berücksichtigen, erhöht die Chance, dass mindestens eine rein zufällig als Sieger erscheint.