Gli A/B test sugli annunci: sei proprio sicuro di saperli fare?

maionchiSi lo so che la risposta sarà un si convinto, sonoro e imperioso. Anche io ero convinta di saperli fare prima di imparare davvero.

Avete mai sentito parlare dell’arroganza epistemica di Nassim Taleb? Guardate che Jeff Bezos (maestro di vita) non vi assumerà mai se non leggete il Cigno Nero

“L’arroganza epistemica misura la differenza tra ciò che una persona sa e ciò che crede di sapere. Un eccesso implica arroganza, un difetto implica umiltà. L’epistemocratico è colui che è dotato di umiltà epistemica e diffida della propria conoscenza”

Andiamo con calma che la calma è la virtù dei forti.

Il presupposto per fare un A/B test è avere almeno due varianti di annunci, giusto? La accendiamo?

Se attivo un annuncio oggi e la prossima settimana lo sospendo per attivarne un altro, quello non è un A/B test ma un test “prima/dopo” i cui risultati possono essere influenzati da ventordici mille mila variabili. E’ sempre meglio che niente, ma non è un A/B test.

Ora, se abbiamo due varianti d’annuncio in test, dovremo fare in modo che abbiano (più o meno) le stesse possibilità di essere pubblicati, fila? Ecco, dovremmo dirlo anche ad AdWords, non solo al nostro io interiore.

Quali opzioni ci mette a disposizione Google?

rotazione-annunci

 

Ottimizza per i clic

è di sicuro l’opzione giusta, è quella che mi fa guadagnare più clic e io ne voglio tantizzimizzimi (…) perché tanto poi basta che la gente entri nel mio sito e lì convertirà di sicuro perché io sono bello, il più bello, anzi no: il verybello. Giusto? No sbagliato.

Detta così sembra una figata, mi stanno vendendo i benefici (apparenti) e non le caratteristiche (reali).

Cosa vuol dire “L’annuncio che mi permette di avere più clic”?

Vuol dire che se ho due annunci, a parità di impressioni verrà pubblicato quello che genera più clic cioè quello col CTR più alto.

Il signore di questo account secondo voi vorrebbe pubblicato con maggior frequenza l’annuncio col CTR più alto?

varianti-annunci

Secondo me no….

E in più, secondo voi AdWords aspetta che la differenza tra la percentuale di clic delle varianti sia significativa?

No. Appunto. Appena vede che un annuncio va più dell’altro tende a dargli la precedenza. L’assoluta precendenza. Tanto che spesso si vedono gruppi d’annunci con più varianti… peccato che solo una abbia clic e impressioni, le altre…. “non hai vinto, riprova”, come coi boeri.

Anche Google soffre l’ Illusione del giocatore d’azzardo cioè applica la legge dei grandi numeri (che vale appunto per i grandi numeri, cioè per serie di una lunghezza prossima all’infinito) a serie di piccoli numeri, con l’illusione che rosso e nero debbano equilibrarsi anche in questo caso.  🙂

Lo stesso errore spesso AdWords lo fa anche con l’ Ottimizza per le Conversioni, che va detto, è invece una scelta ottimale quando abbiamo degli annunci stabili, ottimizzati e con una quantità significativa di conversioni.

Vuoi che la scelta giusta sia proprio il “Ruota in modo uniforme“, la scelta sconsigliata alla maggior parte degli inserzionisti?

Si. Voglio. E’ il solo modo che io conosca per testare gli annunci in condizioni “simil-scientifiche” (dico “simil” perché per essere scientifiche del tutto lo stesso utente dovrebbe vedere sempre lo stesso annuncio).

Ora, immaginiamo di avere fatto tutto per bene e dopo un tot di tempo arriviamo a questa situazione

rotazione-significatività

Che facciamo? Sospendiamo il secondo annuncio? Beh, il tasso di conversione è più basso e il costo per conversione è quasi il doppio dell’altro. Faremmo bene?

A occhio si, ma saremmo i giocatori d’azzardo di prima  🙂

Cardinal Path mette a disposizione un fantastico tool per verificare la significatività statistica della differenza nel tasso di conversione (senza troppi sbattimenti con i calcoli statistici)

PPC Ad Testing Tool >> 

Fate una prova e poi ditemi se farei bene a sospendere l’annuncio 2…

P.s. L’esperimento continua ma ve lo racconto il 17 Aprile a Bologna all’AdWorld Experience

2 pensieri su “Gli A/B test sugli annunci: sei proprio sicuro di saperli fare?

  1. Mattia Soragni

    Ottime considerazioni Rossella, concordo con te che il miglior sistema per valutare l’efficacia di due annunci è quello di attivare l’opzione “ruota in modo uniforme”. Aggiungo un ulteriore passaggio, proprio in merito alla conversione.

    Il problema che spesso incontro è legato all’analisi dell’annuncio che ha una buona performance in termini di CTR ma pessima come conversion, ed un’altro con un CTR basso ma un ottimo tasso di conversione.

    A parità di altri parametri (come ad esempio la posizione media) la valutazione che faccio è in base al numero di impression necessarie per ottenere la conversione. Nel tuo caso il problema non si pone, in quanto il primo annuncio dello screenshot ha sia un CTR che tasso di conversione maggiore rispetto al secondo.

    In molti altri casi, invece, la questione diventa più complessa anche perché capita con annunci che hanno una ottima performance… peccato solo su una delle due metriche 🙂

    Spero di aver dato un ulteriore precisazione ad un già ottimo articolo 🙂

    Rispondi
    1. rosserva Autore articolo

      Ciao Mattia,

      ottimo spunto.
      Personalmente credo sia un errore analizzare il rendimento di una campagna AdWords in relazione a una metrica soltanto, soprattutto quando questa metrica è il CTR. Mi spiego: uno (l’inserzionista) non fa AdWords per avere il CTR migliore, fa AdWords per guadagnarci (che poi il guadagno non sia solo nel breve termine e sotto forma di conversioni last click o di macro-conversioni, è un altro paio di maniche).
      Probabilmente, se avessimo un annuncio con scritto “tutto gratis” il CTR schizzerebbe alle stelle, ma poi, creando un’aspettativa che verrà delusa dalla landing, il tasso di conversione sarebbe infimo.

      Anche io uso una strategia di analisi simile alla tua. Ne avevo scritto qui https://www.it.adwords-community.com/t5/Articoli/Quale-annuncio-rende-di-pi%C3%B9-Quando-2-2-fa-5/ba-p/4006

      Ciao

      Rispondi

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.