Primo passo: scrivi un'ipotesi precisa
Un'ipotesi vaga fallisce
Non così: cambiare il checkout migliora la conversione.
Un'ipotesi precisa vince
Meglio così: pensiamo che semplificare il checkout da cinque passaggi a un modulo in una sola pagina aumenterà gli acquisti completati di almeno il tre per cento, perché i clienti abbandonano quando il modulo sembra lungo.
L'ipotesi deve indicare. Cosa stai cambiando. Perché pensi che aiuterà. Quale metrica ti aspetti di migliorare. Di quanto.
Un'ipotesi vaga porta a risultati vaghi. Un'ipotesi precisa si può testare.
Secondo passo: stabilisci la dimensione del campione prima di iniziare
I numeri contano
Quanti visitatori ti servono per vedere una differenza reale.
Formula. Servono almeno cinquecento conversioni per ogni variante. Quindi mille in totale se testi due versioni.
Calcola la durata del tuo test
Se converti al due per cento e hai duemila visitatori al mese, ottieni quaranta conversioni al mese. Per arrivare a cinquecento conversioni servono dodici mesi. Il test non finirà in tempo.
Se converti al dieci per cento e hai cinquemila visitatori al mese, ottieni cinquecento conversioni al mese. Per arrivare a mille servono due mesi. Il test finisce in fretta.
Conosci i tempi fin dall'inizio
I siti con un tasso di conversione basso hanno bisogno di test più lunghi. I siti con una conversione alta finiscono prima.
Usa un calcolatore della dimensione del campione. Inserisci il tuo tasso di conversione e il traffico. Il calcolatore ti dice quanto dura il test.
Se il test dura più di tre mesi, valuta. Vale la pena aspettare tre mesi per questa modifica. Oppure è meglio testare qualcos'altro che finisce prima.
Terzo passo: scegli come ripartire il traffico del test
Cinquanta e cinquanta è lo standard
Assegna il cinquanta per cento alla versione di controllo. Il cinquanta per cento alla variante.
Una ripartizione prudente rallenta i risultati
Alcuni assegnano novanta e dieci. Il novanta per cento alla versione attuale, che funziona, e il dieci per cento alla nuova, di cui non sono sicuri. È una scelta prudente, ma rallenta il test.
Cinquanta e cinquanta è lo standard. Dà i risultati più rapidi.
Quarto passo: stabilisci la durata del test prima di avviarlo
Impegnati su un calendario
Una settimana al minimo. Due settimane di norma. Un mese per i siti con traffico molto alto.
Non decidere la durata durante il test. Decidila prima. Scrivila. Impegnati a rispettarla.
Sbirciare troppo presto rovina i test
Sbirciare troppo presto rovina i test. Controlli i risultati dopo una settimana. Sembra che la variante stia vincendo. Fermi il test. La applichi. Più tardi ti accorgi che i risultati non erano reali. Hai applicato qualcosa che in realtà non funzionava.
Porta il test fino alla fine.
Quinto passo: applica la modifica alla variante
Una sola modifica
Una sola modifica. Non più modifiche.
Se testi la semplificazione del checkout, semplifica il modulo. Non cambiare colore, testo e layout nello stesso momento. Una variabile alla volta.
Rendila evidente
La modifica deve essere evidente. I visitatori devono notare la differenza. Se la modifica è così sottile che i visitatori non la vedono, il test non funzionerà.
Sesto passo: imposta il test nello strumento
Scegli la tua piattaforma
Usa una piattaforma di test.
Installa e configura
Collega lo strumento al sito. Installa il codice di tracciamento. Di solito basta una riga di codice o l'installazione di un plugin.
Crea le versioni e le metriche
Crea la versione di controllo. È la versione attuale.
Crea la variante. Applica la tua modifica.
Imposta la ripartizione del traffico. Il cinquanta per cento ciascuna.
Imposta la durata. Due settimane o quanto hai stabilito.
Imposta la metrica di successo. Cosa stai misurando. Il completamento del checkout. L'invio del modulo. Lo scorrimento della pagina.
Settimo passo: lascia girare il test senza sbirciare
Resisti alla tentazione
È difficile. Resisti alla voglia di controllare i risultati.
I risultati dopo pochi giorni non significano nulla. Con un campione piccolo la variazione casuale è enorme. Vedrai risultati che poi spariscono.
Imposta un promemoria nel calendario
Controlla i risultati esattamente alla data di fine. Non prima.
Imposta un promemoria nel calendario per la data di fine del test. Controlla allora.
Ottavo passo: analizza i risultati nel modo giusto
Cerca la significatività statistica
Il test finisce. Guardi i risultati. La variante ha convertito all'undici per cento. Il controllo al dieci per cento. La variante è migliore. Giusto.
Ma era statisticamente significativo. È reale o è fortuna.
Cerca l'intervallo di confidenza o il p-value. Dovrebbe essere sopra il novantacinque per cento di confidenza o sotto lo zero virgola zero cinque di p-value.
Cosa significa significatività statistica
Se la significatività statistica dice sì, il risultato è reale. Applica la variante.
Se la significatività statistica dice no, il risultato non è chiaro. Potrebbe essere fortuna. Potrebbe essere reale ma servire più tempo. Prolunga il test o prova un'altra modifica.
Nono passo: applica e documenta
Se vince la variante
Se vince la variante, applicala in modo definitivo.
Documenta cosa hai imparato. Perché pensavi che avrebbe funzionato. Cosa è successo. Cosa testerai dopo.
Costruisci un manuale. Col tempo emergono degli schemi. Impari cosa funziona per il tuo pubblico.
Se vince il controllo
Se vince il controllo, annulla la modifica.
Documenta perché ha vinto il controllo. Forse la tua ipotesi era sbagliata. Forse la modifica non era abbastanza visibile. Forse al pubblico la modifica non è piaciuta.
Un test perso è comunque un'occasione per imparare.
Errori comuni nel primo test
Test troppo breve
Dopo una settimana sei impaziente. Ti fermi. I risultati non sono ancora reali.
Più modifiche insieme
Hai cambiato modulo, pulsante e testo. Vince il modulo, ma era il modulo o il pulsante. Ora non lo sai.
Nessun requisito di significatività
La variante è migliore dell'uno per cento. Potrebbe essere fortuna. La applichi. Più tardi il risultato non regge.
Test su tutti
Sei nervoso per la modifica. Testi con il novanta per cento sulla versione attuale e il dieci sulla nuova. Il test non finisce mai.
Nessun impegno ad applicare il risultato
Il test finisce. Vince la variante. Dici che la applicherai più tardi. Non lo fai mai. Il test non ha creato alcun valore.
Cosa distingue chi vince dagli altri
Non test più intelligenti
Non test più intelligenti. Test costanti.
Lo schema vincente
Le aziende che vincono eseguono un test. Arrivano i risultati. Li applicano subito. Eseguono il test successivo.
Si impegnano in un programma di test. Non test occasionali. Test continui. Mese dopo mese.
Costruiscono conoscenza interna. Dopo cinquanta test conoscono il loro pubblico. Sanno cosa funziona. Sanno cosa non funziona. Si muovono più in fretta della concorrenza.
Crescita composta
Testa una volta e non succede niente. Testa cinquanta volte e cambia tutto.
Domande frequenti
E se scopro che il test è rotto a metà strada. Per esempio il tracciamento ha smesso di funzionare. Devo ricominciare?
Sì. Un test rotto è inutile. Ricomincia da capo. Se il tracciamento è rotto non hai dati reali. Per questo controlli il test ogni tanto (non in modo ossessivo, ma almeno una volta). Individua presto i guasti. Con il creatore di siti di WEMASY puoi impostarlo direttamente sul tuo sito.
Posso cambiare l'ipotesi del test mentre è in corso, se arrivano nuove informazioni?
No. Scrivi l'ipotesi prima che il test parta. Mantienila. Se a metà test l'ipotesi sembra sbagliata, annotalo. Ma concludi il test con l'ipotesi originale. Esegui un nuovo test con la nuova ipotesi più tardi.
Se la variante è chiaramente peggiore, posso fermare il test in anticipo?
Solo se sta rompendo qualcosa. Se la variante causa errori, fermati. Altrimenti no. Anche se perde di molto, porta il test fino alla fine. Capisci perché ha perso. Usa quello che hai imparato.
Cosa faccio se la significatività statistica dice no ma penso che il risultato sia reale?
Ripeti il test. Stessa modifica. Ma con una durata più lunga o con più traffico. Se il risultato è reale, comparirà di nuovo. Se non compare, l'intuizione era sbagliata e la matematica aveva ragione.
Come faccio a sapere nei risultati quale variante è il controllo e quale la variante di test?
Il tuo strumento di test le etichetta. Assicurati di sapere qual è quale prima di iniziare. Fai uno screenshot. Il controllo è la versione A. La variante è la versione B. Quando arrivano i risultati, guarda i tuoi appunti.
Devo dire al mio capo che sto eseguendo test o mostrargli solo i risultati?
Diglielo. Capirà che i test richiedono tempo. Chiarisci le aspettative. Il test dura due settimane. Se vince la variante la applicheremo. Altrimenti proveremo qualcos'altro. La trasparenza evita sorprese quando non applichi una modifica che si aspettava.