From the field
De holdout-test
De incrementaliteitsmethode die meet wat adverteren werkelijk veroorzaakt door advertenties weg te houden bij een vergelijkbare regio of doelgroep en de conversies te tellen die er toch komen, omdat door het platform gerapporteerde conversies ook verkopen bevatten die sowieso waren gebeurd.
Attributie in het advertentieplatform beantwoordt de vraag "wie zag een advertentie en converteerde later?", en dat is niet de vraag die de factuur stelt. Een retargetingcampagne die advertenties toont aan mensen die toch al onderweg waren om te kopen, claimt die aankopen en rapporteert heldhaftige rendementen. Het enige zuivere antwoord op "wat heeft het geld veroorzaakt?" is ergens vergelijkbaars stoppen met uitgeven en kijken wat er gebeurt.
De holdout-test
Splitsen
Voorperiode
Draaien
Tellen
Verschil tegen ruis
Use it when
- Merkzoekwoordcampagnes conversies claimen die het merk ook gratis zou krijgen
- Een retargetingcampagne een verdacht mooie ROAS rapporteert
- Je bij een verlenging moet beslissen of een kanaal zijn budget verdient
Do not use it when
- Er te weinig conversies zijn om een verschil te zien. Een vuistregel, geen wet: onder ongeveer 100 conversies per groep over de testperiode verschuift toeval alleen het verschil tussen de groepen al met zo'n 28 naar boven of beneden, omdat ruis meegroeit met de wortel van het aantal, dus alleen heel grote effecten worden zichtbaar
- Het bedrijf geen tijdelijke dip in één regio kan hebben
De stappen
- Kies de splitsing. Twee vergelijkbare stadswijken, of een willekeurige 20% van de doelgroep die van de campagne wordt uitgesloten. Vergelijkbaar is belangrijker dan slim.
- Controleer de voorperiode. Tel de conversies van beide groepen over evenveel weken vóór de test, met advertenties in beide. Boekt wijk A normaal 5 meer dan wijk B, dan is het effect wat de test daar bovenop laat zien, niet het hele verschil.
- Draai lang genoeg voor een aankoopcyclus. Vier tot acht weken voor de meeste lokale diensten; kortere tests meten ruis.
- Tel de conversies per groep uit de administratie van het bedrijf, niet uit het advertentieplatform: boekingen, telefoontjes, facturen.
- Bereken het effect en leg het naast de ruis. Incrementele conversies = blootgestelde groep min holdout, min een eventueel verschil uit de voorperiode. Gedeeld door de conversies die het platform claimt, is dat het deel van de claim dat echt is. Gedeeld door de conversies van de blootgestelde groep, is het het deel van de verkopen in die groep dat de advertenties veroorzaakten. Dan de ruischeck: aantallen als deze schommelen door toeval alleen al met ongeveer hun wortel, dus een verschil kleiner dan zo'n 2 × √(blootgesteld + holdout) toont geen effect aan. Het kan nog wel laten zien dat een grote claim onmogelijk is.
Uitgewerkt voorbeeld
De merkzoekwoordcampagne van een tandartspraktijk, getest door hem zes weken te pauzeren in één van twee vergelijkbare wijken. Cijfers ter illustratie:
| Groep | Advertentiekosten, testweken | Boekingen, 6 weken ervoor (advertenties in beide) | Boekingen, 6 testweken | Geclaimd door platform |
|---|---|---|---|---|
| Wijk A (advertenties aan) | €900 | 61 | 64 | 41 |
| Wijk B (advertenties uit) | €0 | 61 | 58 | n.v.t. |
| Verschil | 0 | 6 |
Geclaimd effect tegenover wat de test toelaat
The numbers
| Group | patiënten |
|---|---|
| Gemeten verschil, wijk A min B | 6 patiënten |
| Hoogste effect dat de ruis toelaat6 + 2 × √(64 + 58), afgerond | 28 patiënten |
| Conversies die het platform claimde | 41 patiënten |
De wijken liepen vóór de test gelijk op, dus het hele verschil van 6 telt als effect. Tegenover de claim van het platform is dat 6 ÷ 41, ongeveer 15% van de patiënten waarvoor de campagne de eer opeiste. Tegenover de boekingen in wijk A is het 6 ÷ 64: ongeveer 9% daarvan kwam door de advertenties.
Die percentages zijn niet precies, en het voorbeeld hoort dat te zeggen. Bij zo'n 60 boekingen per groep verschuift toeval elk aantal met ongeveer 8 en het verschil ertussen met ongeveer 11, dus een verschil van 6 valt ruim binnen de ruis. Het echte effect kan nul zijn, en het kan twintig zijn. Deze praktijk zit onder de vuistregel die hierboven staat bij wanneer je deze test niet gebruikt, en de test was zijn zes weken toch waard, omdat hij de vraag beantwoordde die ertoe deed: voor de 41 van het platform zou een verschil van 41 nodig zijn, en niets wat de test toelaat komt daar in de buurt. De waarschijnlijkste verklaring is dat wie op de naam van de praktijk zoekt, de organische vermelding direct onder de advertentie hoe dan ook vindt. Het merkbudget ging het kwartaal erna naar generieke zoekwoorden, waar geen organische vermelding is om op terug te vallen.
Waarom het werkt
Holdouts erven hun logica van gecontroleerde experimenten. Bij een willekeurige splitsing is de advertentie het enige systematische verschil tussen de groepen, dus het verschil in uitkomst is het effect van de advertentie plus toeval. Een splitsing in wijken komt daar dichtbij zodra de voorperiode laat zien dat de wijken gelijk opliepen, en de ruischeck geeft het toeval een omvang.
Het antwoord verschilt per account, en dat is de reden om je eigen account te testen. Google analyseerde meer dan 400 pauzestudies op zoekaccounts en vond dat gemiddeld 89% van de betaalde kliks niet door organische kliks werd vervangen toen de advertenties stopten, over alle soorten zoekwoorden. Een veldexperiment dat in 2015 in Econometrica verscheen, uitgevoerd bij een grote online marktplaats, vond dat de merkzoekwoordadvertenties daar op korte termijn geen meetbaar voordeel hadden. Beide uitkomsten kloppen voor de accounts die ze maten, en geen van beide klopt vanzelf voor het jouwe.
Advertentieplatforms doen ook eigen effectmetingen: Google Ads biedt Conversion Lift, met holdouts op gebruikers of op regio's, en waar die beschikbaar is, is hij het gebruiken waard. Een holdout die je telt uit de eigen administratie van het bedrijf is de controle die er niet van afhangt dat het platform zijn eigen werk nakijkt, en het is het enige framework op deze site dat gebouwd is om te laten zien dat een lopende campagne uit moet.
AARRR laat zien in welke fase van de trechter het lekt; de holdout-test laat zien of het geld dat in een fase gaat iets heeft veroorzaakt. Een campagne die de test doorstaat, moet daarna nog steeds boven de budgetondergrens blijven om te kunnen leren.
Sources
- Blake, T., Nosko, C., & Tadelis, S. (2015). Consumer heterogeneity and paid search effectiveness: a large-scale field experiment. Econometrica, 83(1), 155-174.
- Chan, D., Yuan, Y., Koehler, J., & Kumar, D. (2011). Incremental clicks: the impact of search advertising. Journal of Advertising Research, 51(4), 643-647.
- Google Ads Help. About Conversion Lift.
Who this is for
The same method, read three ways.
01
Toepassen
Tel de boekingen per wijk uit de agenda van de praktijk, zes weken vóór en zes weken tijdens de test. Deel het verschil door wat het platform claimde, en leg het naast 2 × √(A + B) voordat je één percentage gelooft.
02
Doceren
Een gecontroleerd experiment in zijn kleinste bruikbare vorm, en het helderste bewijs dat attributie en oorzaak verschillende vragen beantwoorden. De ruischeck is de les die de meeste versies overslaan: een kleine test kan een grote claim weerleggen lang voordat hij een kleine kan bevestigen.
03
Een budget verlengen
Vraag voordat je een kanaal verlengt wat er gebeurde in een wijk waar het uitstond. Heeft niemand dat gecontroleerd, dan is het conversieaantal van het platform het platform dat zijn eigen werk nakijkt.