Archivi tag: %

Gli A/B test sugli annunci: sei proprio sicuro di saperli fare?

maionchiSi lo so che la risposta sarà un si convinto, sonoro e imperioso. Anche io ero convinta di saperli fare prima di imparare davvero.

Avete mai sentito parlare dell’arroganza epistemica di Nassim Taleb? Guardate che Jeff Bezos (maestro di vita) non vi assumerà mai se non leggete il Cigno Nero

“L’arroganza epistemica misura la differenza tra ciò che una persona sa e ciò che crede di sapere. Un eccesso implica arroganza, un difetto implica umiltà. L’epistemocratico è colui che è dotato di umiltà epistemica e diffida della propria conoscenza”

Andiamo con calma che la calma è la virtù dei forti.

Il presupposto per fare un A/B test è avere almeno due varianti di annunci, giusto? La accendiamo?

Se attivo un annuncio oggi e la prossima settimana lo sospendo per attivarne un altro, quello non è un A/B test ma un test “prima/dopo” i cui risultati possono essere influenzati da ventordici mille mila variabili. E’ sempre meglio che niente, ma non è un A/B test.

Ora, se abbiamo due varianti d’annuncio in test, dovremo fare in modo che abbiano (più o meno) le stesse possibilità di essere pubblicati, fila? Ecco, dovremmo dirlo anche ad AdWords, non solo al nostro io interiore.

Quali opzioni ci mette a disposizione Google?

rotazione-annunci

 

Ottimizza per i clic

è di sicuro l’opzione giusta, è quella che mi fa guadagnare più clic e io ne voglio tantizzimizzimi (…) perché tanto poi basta che la gente entri nel mio sito e lì convertirà di sicuro perché io sono bello, il più bello, anzi no: il verybello. Giusto? No sbagliato.

Detta così sembra una figata, mi stanno vendendo i benefici (apparenti) e non le caratteristiche (reali).

Cosa vuol dire “L’annuncio che mi permette di avere più clic”?

Vuol dire che se ho due annunci, a parità di impressioni verrà pubblicato quello che genera più clic cioè quello col CTR più alto.

Il signore di questo account secondo voi vorrebbe pubblicato con maggior frequenza l’annuncio col CTR più alto?

varianti-annunci

Secondo me no….

E in più, secondo voi AdWords aspetta che la differenza tra la percentuale di clic delle varianti sia significativa?

No. Appunto. Appena vede che un annuncio va più dell’altro tende a dargli la precedenza. L’assoluta precendenza. Tanto che spesso si vedono gruppi d’annunci con più varianti… peccato che solo una abbia clic e impressioni, le altre…. “non hai vinto, riprova”, come coi boeri.

Anche Google soffre l’ Illusione del giocatore d’azzardo cioè applica la legge dei grandi numeri (che vale appunto per i grandi numeri, cioè per serie di una lunghezza prossima all’infinito) a serie di piccoli numeri, con l’illusione che rosso e nero debbano equilibrarsi anche in questo caso.  🙂

Lo stesso errore spesso AdWords lo fa anche con l’ Ottimizza per le Conversioni, che va detto, è invece una scelta ottimale quando abbiamo degli annunci stabili, ottimizzati e con una quantità significativa di conversioni.

Vuoi che la scelta giusta sia proprio il “Ruota in modo uniforme“, la scelta sconsigliata alla maggior parte degli inserzionisti?

Si. Voglio. E’ il solo modo che io conosca per testare gli annunci in condizioni “simil-scientifiche” (dico “simil” perché per essere scientifiche del tutto lo stesso utente dovrebbe vedere sempre lo stesso annuncio).

Ora, immaginiamo di avere fatto tutto per bene e dopo un tot di tempo arriviamo a questa situazione

rotazione-significatività

Che facciamo? Sospendiamo il secondo annuncio? Beh, il tasso di conversione è più basso e il costo per conversione è quasi il doppio dell’altro. Faremmo bene?

A occhio si, ma saremmo i giocatori d’azzardo di prima  🙂

Cardinal Path mette a disposizione un fantastico tool per verificare la significatività statistica della differenza nel tasso di conversione (senza troppi sbattimenti con i calcoli statistici)

PPC Ad Testing Tool >> 

Fate una prova e poi ditemi se farei bene a sospendere l’annuncio 2…

P.s. L’esperimento continua ma ve lo racconto il 17 Aprile a Bologna all’AdWorld Experience