AdWorld Experience - Markov Chains: when Stochastic Processes meet Attribution Models
0 likes78 views
Il documento presenta un caso studio sull'uso di un modello di attribuzione basato su catene di Markov per ottimizzare le campagne pubblicitarie di Taboola, evidenziando i risultati positivi ottenuti in termini di riduzione del costo per acquisizione. Vengono discussi i dilemmi di attribuzione e i limiti dei modelli tradizionali, a favore di un approccio più efficace che considera il valore dei canali assistenti. Si concludono infine presentando vantaggi e svantaggi del modello, insieme a possibili applicazioni pratiche.
AdWorld Experience - Markov Chains: when Stochastic Processes meet Attribution Models
- 2. #adwexp 2 Chi sono andrea@boosterboxdigital.com @andrepugni ● Senior Data Analyst @Booster Box from 2018 ● Bocconi University: where everything started ● Data Nerd: in love with data analysis, algorithms for bidding models and causal inferences ● Also in love with cats
- 3. #adwexp 3 Agenda ● Case study: Taboola ● Dietro alle quinte ● Pro & Cons andrea@boosterboxdigital.com @andrepugni
- 5. #adwexp Il cliente: Taboola Elevato budget B2B Cliente internazionale 5
- 6. #adwexp Modello di attribuzione per Taboola Markov wearing his famous chain Come sfruttare un modello di attribuzione “data-driven” capace di andare oltre i modelli euristici e ottimizzare l’account del cliente?
- 7. #adwexp La sfida ● Attribution dilemma: ancora + grande per grossi clienti B2B ● valutare l’impatto reale di ogni canale e kw ● Google Analytics 360: not an option
- 8. #adwexp L’approccio 1. Costruzione di un modello di attribuzione basato sulle catene di Markov 2. Bid adjustments 3. Esperimento su Canada (treated group) e UK (control group)
- 9. #adwexp I risultati 1. Le kw “upper funnel” contano! 2. Maggiori conversioni a un CPA ridotto.
- 10. #adwexp I risultati -37% Cost per Acquisition in Canada -30% Cost per Acquisition in India -25% Cost per Acquisition in Brazil
- 11. #adwexp Dietro alle quinte: cap. 1, il dilemma dell’Attribuzione 11
- 12. #adwexp Anche se non lo sai, hai probabilmente un problema di attribuzione. Questo è fratello Brittle. andrea@boosterboxdigital.com @andrepugni
- 13. #adwexp Ma chi sono tutti i responsabili per la morte di fratello Brittle? andrea@boosterboxdigital.com @andrepugni
- 14. #adwexp Tre tipi di campagne Converting Assisting Non-Converting andrea@boosterboxdigital.com @andrepugni
- 15. #adwexp Converting Assisting Non-Converting Quasi tutti ignorano l’impatto delle campagne che assistono la performance andrea@boosterboxdigital.com @andrepugni
- 16. #adwexp Uccidiamo il last-click andrea@boosterboxdigital.com @andrepugni
- 17. #adwexp Dietro alle quinte: cap. 2, i modelli di attribuzione tradizionali 17
- 18. #adwexp andrea@boosterboxdigital.com @andrepugni La stessa slide sui pro e cons di ogni modello
- 19. #adwexp Si può fare di meglio...
- 20. #adwexp Dietro alle quinte: cap. 3, il modello di Attribuzione di Markov 20
- 21. #adwexp Un rapido ripasso su alcuni termini ● Una variabile aleatoria è una variabile i cui valori dipendono su un evento casuale. ● Un processo stocastico è una collezione di variabili aleatorie, generalmente osservate lungo un periodo temporale. Solitamente un processo stocastico è descritto da una legge che determina il passaggio da una variabile all’altra. andrea@boosterboxdigital.com @andrepugni
- 22. #adwexp Markov Chains ● Le Markov Chains (catene Markoviane) sono un particolare tipo di processo stocastico ● In particolare, una catena di Markov di ordine K descrive un fenomeno la cui probabilità in T+1 dipende dai risultati occorsi fino a T-(k+1). andrea@boosterboxdigital.com @andrepugni
- 23. #adwexp INIZIO King Schultz Cacciatore di Taglie CONVERSIONE Scopo del gioco andrea@boosterboxdigital.com @andrepugni
- 24. #adwexp PATH CONVERSIONI INIZIO > King Schultz> King Schultz > CONVERSIONE 1 INIZIO > King Schultz> Cacciatore di Taglie > Cacciatore di Taglie > King Schultz > CONVERSIONE 1 INIZIO > King Schultz> Cacciatore di Taglie > Cacciatore di Taglie > King Schultz > Cacciatore di Taglie > Cacciatore di Taglie > King Schultz > CONVERSIONE 1 totale 3 Come funziona? andrea@boosterboxdigital.com @andrepugni
- 25. #adwexp edge Numero di edge Transition probability INIZIO > King Schultz 3 3/3 INIZIO > Cacciatore di Taglie 0 0 TOT INIZIO 3 King Schultz > King Schultz 2 2/8 King Schultz > Cacciatore di Taglie 3 3/8 King Schultz > CONVERSIONE 3 3/8 TOT A 8 Cacciatore di Taglie > King Schultz 3 3/5 Cacciatore di Taglie > Cacciatore di Taglie 2 2/5 Cacciatore di Taglie > CONVERSIONE 0 0 TOT B 5 andrea@boosterboxdigital.com @andrepugni
- 27. #adwexp Come valutare il valore di una singola keyword? ● Con il modello di Markov valutiamo questa importanza chiedendoci come cambierebbe il conversion rate del nostro grafo se rimuovessimo una di queste keyword da esso. ● NULL state andrea@boosterboxdigital.com @andrepugni
- 28. #adwexp Se King Schultz diventasse uno stato NULL, cosa succederebbe al conversion rate del nostro grafo? INIZIO NULL Cacciatore di Taglie CONVERSIONE 100% 25% 60% 37.5% 40% 37.5% andrea@boosterboxdigital.com @andrepugni
- 29. #adwexp Il grafo si semplificherebbe in questo modo: Quindi il calo nel conversion rate sarebbe: 100% nel grafo originale - 0% nel grafo senza King Schultz= 100% Di conseguenza, l’importanza della keyword King Schultz è 100%=1 INIZIO NULL 100% andrea@boosterboxdigital.com @andrepugni
- 30. #adwexp Allo stesso modo si può fare per la keyword Cacciatore di Taglie. INIZIO KING SCHULTZ NULL CONVERSIONE 100% 25% 37.5% 37.5% andrea@boosterboxdigital.com @andrepugni
- 31. #adwexp Il grafo in questo caso si semplificherebbe così INIZIO KING SCHULTZ NULL CONVERSIONE 100% 50% 50% ● Le probabilità di convertire quindi, in questo grafo sono del 50%. ● Quindi il cambiamento nel conversion rate sarebbe: 100% grafo originale - 50% grafo senza Cacciatore di Taglie = 50% ● Per cui l’importanza della keyword Cacciatore di Taglie è 50% = .5 andrea@boosterboxdigital.com @andrepugni
- 32. #adwexp PATH CONVERSIONI INIZIO > King Schultz> King Schultz > CONVERSIONE 1 INIZIO > King Schultz> Cacciatore di Taglie > Cacciatore di Taglie > King Schultz > CONVERSIONE 1 INIZIO > King Schultz> Cacciatore di Taglie > Cacciatore di Taglie > King Schultz > Cacciatore di Taglie > Cacciatore di Taglie > King Schultz > CONVERSIONE 1 totale 3 A step back andrea@boosterboxdigital.com @andrepugni
- 33. #adwexp ● Una volta calcolata l’importanza di ogni keyword, possiamo usare i cambiamenti nel conversion rate come pesi per attribuire le conversioni generate. ● Nel nostro caso il totale dei pesi è 1 + 0.5 = 1.5 ● Quindi per King Schultz e Cacciatore di taglie avremo rispettivamente: Conversioni A Conversioni B Ultimo step andrea@boosterboxdigital.com @andrepugni
- 35. #adwexp I maggiori vantaggi di questo modello di attribuzione ● Interamente basato sulla struttura dei nostri dati ● Permette di usare un approccio interamente cross-channel ● Ci consente di valutare propriamente le campagne che assistono le conversioni ● Non richiede GA 360 andrea@boosterboxdigital.com @andrepugni
- 36. #adwexp I maggiori svantaggi di questo modello ● Richiede un tracking completamente funzionante ● Non utilizzabile direttamente nelle classiche interfacce delle piattaforme (ad es. Google Ads, Facebook, ecc.) ● Non considera le views andrea@boosterboxdigital.com @andrepugni
- 37. #adwexp Possibili utilizzi 1. Bidding Model 2. Budget Allocation andrea@boosterboxdigital.com @andrepugni