Hai un titolo nella pagina del prodotto. Pensi che un titolo diverso possa convertire meglio. Potresti tirare a indovinare. Oppure potresti mostrare a metà dei visitatori il vecchio titolo e all'altra metà quello nuovo, misurare il tasso di conversione di ciascuno e lasciare che siano i dati a decidere. Questa è l'analisi dei test A/B.
Il test A/B usa i dati per confrontare varianti e trovare la vincente. Questo articolo spiega come funzionano i test A/B, cosa significa significatività statistica, perché conta la dimensione del campione, gli errori comuni nei test e come scegliere le varianti che valgono la pena.
Il test A/B (chiamato anche split test) confronta due versioni di qualcosa per vedere quale funziona meglio. Versione A (controllo): il tuo titolo attuale. Versione B (variante): un titolo diverso. Dividi il traffico 50/50, misuri quale titolo converte di più e dichiari un vincitore.
Il test A/B risponde: questa modifica è davvero migliore o la differenza è solo fortuna? Senza test ti affidi all'istinto. Con i test ti affidi ai dati.
Cos'è il test A/B e a cosa risponde
Il test A/B confronta due versioni e misura quale funziona meglio su una metrica specifica. Click-through rate. Tasso di conversione. Tempo sulla pagina. Ricavi per visitatore. Fai andare il test finché hai abbastanza dati per decidere.
Un test A/B risponde: la differenza tra queste versioni è reale o casuale? Questa modifica vale la pena o devo provare altro? La risposta viene dai dati, non dalle opinioni.
Come funziona la significatività statistica
Provi due titoli. Il titolo A converte il 10 percento (100 su 1.000). Il titolo B converte il 10,5 percento (105 su 1.000). Il titolo B è migliore. Ma la differenza è reale o solo una variazione casuale?
La significatività statistica risponde: se tra questi titoli non ci fosse alcuna differenza, quanto è probabile vedere una differenza così grande solo per caso? Se la probabilità è molto bassa (meno del 5 percento), la differenza è statisticamente significativa. Puoi fidarti che sia reale.
Se la probabilità è alta (più del 5 percento), la differenza può essere solo fortuna. Non dovresti agire su quella base.
La maggior parte dei test richiede una confidenza del 95 percento, cioè ti serve solo il 5 percento di probabilità che la differenza sia casuale. Alcuni test richiedono il 99 percento di confidenza (solo l'1 percento di probabilità di casualità).
Perché la dimensione del campione conta nei test
Provi il titolo B su 20 persone e ottieni un tasso di conversione del 20 percento (4 conversioni). Il titolo A ha avuto il 10 percento (2 conversioni). Il titolo B è migliore, no? Forse. Oppure è fortuna, con un campione così piccolo.
Prova gli stessi titoli su 10.000 persone. Il titolo A ottiene 1.000 conversioni su 10.000 (10 percento). Il titolo B ottiene 950 conversioni su 10.000 (9,5 percento). Ora il titolo A è migliore. Con un campione più grande la casualità si appiana ed emergono gli schemi reali.
Campioni più grandi ti danno più fiducia nel risultato. I campioni piccoli sono rumorosi e inaffidabili.
Errori comuni nei test A/B
Fermare il test troppo presto: dopo due giorni vedi una variante in vantaggio. Dichiari vittoria e la attivi. Ma dopo due settimane lo schema si inverte e vince l'originale. I primi dati erano variazione casuale. Lascia andare il test abbastanza a lungo (almeno due settimane, meglio quattro).
Fare troppi test insieme: provi titolo, colore del pulsante e lunghezza del modulo tutti insieme. Una variante vince ma non sai quale elemento l'ha causato. Testa una cosa alla volta.
Testare modifiche insignificanti: provi un colore del pulsante (blu contro un blu leggermente più scuro). Il test richiede 100.000 visitatori per mostrare una differenza statisticamente significativa. Testa modifiche che contano (un titolo contro una proposta di valore diversa, non un blu contro un blu un po' meno blu).
Ignorare la stagionalità: fai un test da novembre a gennaio. La tua variante vince. Ma gennaio è un periodo lento. Quando la applichi per tutto l'anno, perde. Fai sempre andare i test attraverso più stagioni.
Confondere correlazione e causalità: vince la variante B. Pensi che la modifica abbia causato la vittoria. Ma durante il test hai lanciato anche una campagna di marketing. È stata la campagna, non la variante, a causare la vittoria. Controlla i fattori esterni.
Come scegliere cosa testare
Testa modifiche ad alto impatto potenziale. Le modifiche piccole possono non spostare nulla anche se vincono. Un cambio di colore del pulsante può aumentare la conversione dello 0,5 percento. Un cambio di titolo può aumentarla del 5 percento. Testa prima le modifiche più grandi.
Testa modifiche in linea con la tua ipotesi. Se la tua ipotesi è "un modulo di checkout confuso causa abbandoni", testa un modulo più semplice. Non testare colori e posizioni dei pulsanti a caso.
Testa le modifiche una alla volta. Se cambi titolo, testo del pulsante e campi del modulo insieme, non puoi sapere cosa ha portato il miglioramento.
Come leggere i risultati di un test A/B
Il risultato mostra: la variante A ha avuto un tasso di conversione del 10 percento. La variante B dell'11 percento. B è migliore del 10 percento (miglioramento relativo). Il livello di confidenza è del 95 percento, con un valore p di 0,03.
Cosa significa: la variante B è migliore. Siamo sicuri al 95 percento che questa differenza sia reale e non fortuna.
Se il livello di confidenza è dell'85 percento (valore p 0,15), il risultato non è statisticamente significativo. Non devi dichiarare un vincitore; servono più dati.
Quando continuare a testare e quando fermarsi
Continua a testare se: il risultato non è statisticamente significativo e non hai raggiunto la dimensione del campione prevista, oppure hai imparato qualcosa di inatteso e vuoi approfondire.
Fermati se: hai raggiunto la significatività statistica e puoi dichiarare un vincitore, oppure hai fatto andare il test per quattro settimane o più e i risultati non si avvicinano alla significatività. A quel punto le varianti sono probabilmente ugualmente valide.
Domande frequenti
Di quanti visitatori ho bisogno per un test A/B valido?
Dipende dal tuo tasso di conversione di partenza e da quanto grande è il cambiamento che vuoi rilevare. Per un sito piccolo con 100 visitatori al giorno possono servire due settimane per raggiungere la significatività statistica. Per un sito grande con 10.000 visitatori al giorno può bastare due giorni. Usa un calcolatore della dimensione del campione (la maggior parte degli strumenti per test A/B ne ha uno integrato). Con il creatore di siti di WEMASY puoi configurarlo direttamente sul tuo sito.
Cosa significa un valore p di 0,05?
Significa che c'è il 5 percento di probabilità che la differenza che vedi sia pura fortuna. Un livello di confidenza del 95 percento. Quasi tutti usano 0,05 come soglia: se il valore p è sotto 0,05, il risultato è statisticamente significativo.
Posso guardare i risultati durante un test e fermarmi presto se una variante sta vincendo?
No. Si chiama "sbirciare" e porta a conclusioni sbagliate. Se ti fermi presto quando una variante è in vantaggio, puoi perdere il vero vincitore. Lascia sempre andare il test per la durata prevista.
E se il mio test ha un miglioramento molto grande ma bassa significatività statistica?
Di solito significa che il campione è troppo piccolo. Hai un segnale promettente ma non abbastanza dati per confermarlo. Fai durare il test più a lungo o ottieni più traffico.
Devo testare un elemento o più elementi insieme?
Testa un elemento alla volta (il test multivariato è complesso e di solito non vale la pena a meno che tu non abbia moltissimo traffico). Testare una sola cosa ti dice cosa ha causato il cambiamento.
Quanti test A/B devo fare contemporaneamente?
In genere uno alla volta, soprattutto se sei alle prime armi. Quando hai esperienza e molto traffico, puoi fare più test su pagine diverse in contemporanea. Non fare due test sulla stessa pagina nello stesso momento.