Geo-Holdout-Tests

Was Geo-Tests sind

Geo-Holdout-Tests messen inkrementelle Wirkung, indem sie ganze geografische Regionen statt einzelner Nutzer als Untersuchungseinheit behandeln. Sie wählen eine Menge von Regionen, Städten, Bundesländern oder Medienmärkten aus und teilen sie in eine Treatment-Gruppe, in der Anzeigen weiterlaufen, und eine Holdout-Gruppe, in der Anzeigen für die Testdauer pausiert werden. Anschließend vergleichen Sie Conversion-Volumen, Umsatz oder eine andere Geschäftskennzahl zwischen den beiden Gruppen.

Dieser Ansatz stützt sich nicht auf Pixel, Cookies oder plattforminternes Nutzer-Matching. Er misst Ergebnisse auf aggregierter Ebene, mit welchen Umsatz- oder Conversion-Daten auch immer bereits regional erfasst werden, was ihn nützlich macht, wenn Tracking unzuverlässig ist oder wenn eine Kennzahl außerhalb jeder Werbeplattform validiert werden soll, etwa Umsatz im stationären Handel.

Wie es funktioniert

Die Kernvoraussetzung ist, vor Testbeginn vergleichbare Regionen zu finden. Analysten betrachten typischerweise historische Verkaufsmuster und wählen Treatment- und Holdout-Regionen mit ähnlichen Trends, ähnlicher Größe und Saisonalität, sodass jede während des Tests beobachtete Differenz der Anzeigenexposition zugeschrieben werden kann und nicht bereits vorher bestehenden Unterschieden zwischen den Märkten.

Während des Tests laufen die Ausgaben in den Treatment-Regionen normal weiter und werden in den Holdout-Regionen pausiert oder deutlich reduziert. Nach der Testperiode, üblicherweise mindestens mehrere Wochen, um Tag-zu-Tag-Rauschen zu glätten, vergleichen Sie die Veränderung der Zielkennzahl zwischen beiden Gruppen. Die Differenz, bereinigt um eine etwaige Vor-Test-Lücke zwischen den Regionen, ist der geschätzte Lift.

Warum es wichtig ist

Geo-Tests funktionieren auch, wenn Cookie- oder Pixel-Tracking beeinträchtigt ist, da sie keine geräteübergreifende Identifikation einzelner Nutzer erfordern. Sie sind eine der wenigen Inkrementalitätsmethoden, die Offline-Ergebnisse wie Laufkundschaft im Einzelhandel oder Point-of-Sale-Umsatz validieren können, die plattformseitige Tests nicht sehen. Sie vermeiden zudem “Kontamination”, ein Problem, bei dem individuell randomisierte Tests undicht werden, weil Personen in einer Kontrollgruppe trotzdem eine Anzeige sehen, die für jemand anderen im selben Haushalt oder auf einem geteilten Gerät bestimmt war.

Der Trade-off ist, dass Geo-Tests gröber sind. Sie brauchen größere Regionen und längere Laufzeiten, um zu einem belastbaren Ergebnis zu kommen, und sie reagieren empfindlicher auf regionale Unterschiede, die nichts mit Werbung zu tun haben, etwa ein lokales Wetterereignis oder eine Wettbewerberaktion in einem Markt.

Wie man daraus handelt

Nutzen Sie Geo-Tests, um die Inkrementalität von Kanälen oder Kampagnen zu validieren, bei denen Offline-Conversions eine Rolle spielen oder bei denen Sie pixelbasierten Zahlen wegen Tracking-Verlusten misstrauen. Wählen Sie Regionenpaare sorgfältig anhand historischer Daten statt Bauchgefühl, und lassen Sie die Testperiode lange genug laufen, um tägliches Rauschen auszumitteln. Bestätigt der Geo-Test einen starken Lift, unterstützt das eine Skalierung der Ausgaben mit mehr Zuversicht, als Attributionsdaten allein liefern.

In der Praxis kombinieren Teams Geo-Tests häufig mit plattformseitigen Conversion-Lift-Studien. Stimmen beide überein, ist das Vertrauen in die Inkrementalitätsschätzung hoch. Weichen sie voneinander ab, deutet das meist auf eine Messlücke hin, die eine nähere Untersuchung wert ist.

Häufige Fehler

Regionen zu wählen, die von vornherein nie vergleichbar waren, untergräbt den gesamten Test, da jede beobachtete Differenz schlicht bereits bestehende Lücken widerspiegeln könnte. Den Test über einen zu kurzen Zeitraum laufen zu lassen, besonders über einen Feiertag oder ein außergewöhnliches Verkaufsereignis hinweg, führt Rauschen ein, das das eigentliche Signal überdeckt. Grenzüberschreitenden Spillover zu ignorieren, bei dem Bewohner einer Holdout-Region Anzeigen ausgesetzt sind, die für eine benachbarte Treatment-Region bestimmt waren, schwächt die Ergebnisse ebenfalls. Ein Geo-Testergebnis als feststehende Wahrheit statt als periodische Überprüfung zu behandeln, übersieht, wie sich Markt- und Wettbewerbsbedingungen verschieben.

Wie YieldBI hilft

YieldBI führt selbst keine Geo-Holdout-Tests durch, hält aber plattformseitige Attribution und Blended ROAS an einem Ort zusammen, sodass sich die regionalen Ergebnisse eines Geo-Tests leicht mit der ausgewiesenen Performance vergleichen lassen und Abweichungen zwischen beiden schnell auffallen.