Test troppo breve (effetto "sbirciata")
L'errore
L'errore più grande: controllare i risultati dopo una settimana quando il test era pensato per durare due.
Perché è un errore
Una settimana dà quattrocento conversioni per variante. Due settimane ne danno ottocento. Con quattrocento, il rumore casuale è più alto. Vedi differenze che spariscono con più dati.
Esempio: la prima settimana la variante ha il nove per cento di conversioni. Il controllo l'otto per cento. Una vittoria dell'uno per cento sembra reale. Sbirci e ti entusiasmi. Seconda settimana: la variante scende all'otto e mezzo per cento. Il controllo resta all'otto per cento. Una vittoria di mezzo punto percentuale. Resta statisticamente significativa, ma molto più piccola di quanto mostrava la prima settimana.
Se ti fossi fermato alla prima settimana, avresti sovrastimato il vantaggio della variante del cinquanta per cento.
Come evitarlo
Fissa la durata prima di far partire il test. Due settimane è lo standard. Scrivila. Non sbirciare. Imposta un promemoria nel calendario per la data di fine.
Testare più modifiche insieme
L'errore
Cambi il titolo. Cambi il colore del pulsante. Cambi il testo del pulsante. Cambi i campi del modulo. Quattro modifiche contemporaneamente.
Perché è un errore
La variante converte al dodici per cento. Il controllo al dieci per cento. Una vittoria del due per cento. Le applichi tutte e quattro.
Un mese dopo: la conversione scende al nove per cento. Qualcosa si è rotto. Ma quale modifica? Il titolo. Il pulsante. Il modulo. Hai cambiato quattro cose e non sai quale abbia fatto danni. Non puoi capire quale modifica sia stata utile e quale dannosa.
Come evitarlo
Una sola modifica alla volta. Cambia solo il titolo. Testalo. Applicalo se vince. Poi testa il colore del pulsante. Poi il modulo. Una variabile per volta.
Errori di tracciamento e test rotti
L'errore
Il test dura due settimane. I risultati mostrano la variante in vantaggio del cinque per cento. Applichi la modifica. Un mese dopo scopri che il tracciamento era rotto. Il pixel di conversione non si era attivato per il novanta per cento dei visitatori.
Perché è un errore
I risultati sono spazzatura. L'applicazione si basava su dati sbagliati. Hai speso risorse tecniche per realizzare qualcosa basato su risultati non validi.
Come evitarlo
Controlla a campione l'impostazione del test. Fai un semplice percorso manuale. L'evento scatta? Controlla i log di tracciamento. Verifica che il pixel si attivi. Verifica il tracciamento prima di dichiarare un vincitore.
Campione troppo piccolo
L'errore
Esegui un test con soli cinquecento conversioni totali. Duecentocinquanta per variante. Con un campione così piccolo, il rumore casuale è enorme. Differenze del cinque per cento sono comuni. Differenze del dieci per cento non sorprendono.
Vedi la variante cinque per cento sopra il controllo. Nessuna significatività statistica. Dichiari il test non conclusivo.
Perché è un errore
Eri sottodimensionato fin dall'inizio. Dovevi sapere che al test servivano due settimane, non una. I test sottodimensionati fanno perdere tempo e producono risultati non conclusivi.
Come evitarlo
Calcola la dimensione del campione prima di partire. Quante conversioni ti servono? Quanto ci vorrà per arrivarci? Se il test richiede tre mesi, valuta di testare qualcos'altro con risultati più rapidi.
Non tenere conto dei fattori esterni
L'errore
Esegui il test da martedì a giovedì. I risultati del lunedì sono prima del test. Quelli del venerdì sono dopo il test. Confronti il venerdì con il lunedì.
Ma il traffico del venerdì è diverso da quello del lunedì. Il venerdì è navigazione casuale da fine settimana. Il lunedì è navigazione da lavoro nei giorni feriali. Pubblici diversi. Tassi di conversione diversi. Attribuisci la differenza al test quando in realtà è una differenza di composizione.
Perché è un errore
Hai applicato una modifica basandoti su una differenza nella composizione del traffico, non sull'efficacia della variante. Quando arriva una nuova composizione del traffico, i risultati non reggono.
Come evitarlo
Fai durare il test abbastanza da bilanciare la composizione del traffico. Due settimane includono giorni feriali e fine settimana. Una settimana potrebbe essere distorta.
Cambiare ipotesi a test iniziato
L'errore
Inizi il test con un'ipotesi: un modulo più corto aumenta gli invii.
A metà test ricevi nuovi dati dal supporto. I clienti vogliono più opzioni nei campi. Cambi ipotesi: forse più campi potrebbero davvero aiutare. Ora hai un test progettato per un'ipotesi che viene analizzato come se fosse un'altra.
Perché è un errore
Confonde i risultati. Non puoi dire quale ipotesi il test stesse davvero verificando. Potresti applicare una modifica in base a un'interpretazione confusa.
Come evitarlo
Scrivi l'ipotesi prima di far partire il test. Attieniti a quella. Se ricevi nuove informazioni e vuoi testare un'altra ipotesi, finisci il test in corso. Poi esegui il nuovo test.
Non applicare i vincitori
L'errore
Il test finisce. La variante vince. Dici "lo applicheremo più tardi". Il più tardi non arriva mai. Il test non ha creato alcun valore. Hai perso tempo.
Perché è un errore
I vincitori creano valore solo se vengono applicati. Un programma di test si accumula nel tempo solo se applichi i vincitori con costanza. Un solo vincitore non applicato uccide lo slancio e la fiducia del team nei test.
Come evitarlo
Impegnati ad applicare il risultato prima di eseguire il test. Se vince la variante, applicala entro una settimana. Se vince il controllo, ripristina subito. Non lasciare che i vincitori languano.
Non segmentare i risultati
L'errore
I risultati complessivi mostrano che vince la variante. La applichi a tutti.
Ma la segmentazione mostra: su desktop vince la variante. Su mobile la variante perde. Per il traffico internazionale la variante non ha alcun effetto. L'applicazione globale danneggia i visitatori da mobile e quelli internazionali.
Perché è un errore
Hai ottimizzato per la media complessiva ma hai danneggiato segmenti specifici. Il traffico da mobile potrebbe crescere più in fretta di quello da desktop. Applicando la variante, danneggi il segmento che farà crescere il futuro.
Come evitarlo
Controlla sempre i risultati per segmento prima di dichiarare un vincitore globale. Il vincitore potrebbe non valere per tutti. Applicalo ai segmenti in cui vince. Salta i segmenti in cui non vince.
Confondere il vincitore con la direzione della causa
L'errore
Il test mostra che la variante batte il controllo. Pensi che la variante sia migliore. Ma se fosse il controllo a essere rotto? Il pulsante del controllo non funziona. Tutti sono confusi. Il pulsante della variante funziona bene. La variante vince perché il controllo è rotto, non perché sia intrinsecamente migliore.
Perché è un errore
Impari la lezione sbagliata. Pensi che vinca lo stile del pulsante, quando in realtà hai imparato che "un pulsante funzionante batte un pulsante rotto". Le implicazioni per i test futuri sono diverse.
Come evitarlo
Capisci perché ha vinto la variante. È perché la variante è migliore o perché il controllo è peggiore? Le implicazioni sono diverse.
Ripetere lo stesso test sperando in un risultato diverso
L'errore
Primo test: la variante perde contro il controllo. Riprovi con una piccola variazione. Secondo test: stesso risultato. Vince di nuovo il controllo. Riprovi. Terzo test: lo stesso andamento. Il controllo continua a vincere.
Stai testando la stessa cosa ripetutamente e ottieni lo stesso risultato.
Perché è un errore
Stai sprecando il budget dei test su un approccio che non funziona. Meglio cambiare strada che continuare a testare la stessa strategia perdente.
Come evitarlo
Smetti di testare la stessa cosa. Serve una strategia diversa. L'approccio attuale non funziona. Passa a una variante diversa.
Non documentare i risultati e ciò che hai imparato
L'errore
Il test finisce. I risultati mostrano un vincitore. Lo applichi. Poi te ne dimentichi.
Sei mesi dopo: un nuovo collega chiede "cosa abbiamo imparato sui titoli?". Non hai alcuna documentazione. Si riparte da zero.
Perché è un errore
Perdi la conoscenza dell'azienda. Ogni test dovrebbe insegnarti qualcosa. Senza documentazione, la conoscenza sparisce quando le persone lasciano il team.
Come evitarlo
Documenta ogni test. Ipotesi. Risultati. Cosa hai imparato. Condividilo con il team. Costruisci la conoscenza dell'azienda.
Domande frequenti
Se controllo i risultati del test una volta a settimana, sto sbirciando?
No, se ti impegni a una durata di due settimane e non cambi comportamento in base ai risultati della prima settimana. Stai monitorando, non fermando il test in anticipo. Controllare va bene. Fermarsi in anticipo è sbirciare. Esempio: la prima settimana la variante è al nove per cento, il controllo all'otto per cento. La variante sembra la vincitrice. Non applicarla ancora. Impegnati per le due settimane intere. La seconda settimana la variante potrebbe essere all'otto virgola otto per cento, il controllo all'otto per cento. Emerge una differenza più piccola. Se ti fossi fermato alla prima settimana, avresti sovrastimato il vantaggio del cinquanta per cento. Fissa la durata, controlla ogni settimana se vuoi, ma non agire sui risultati preliminari. Con il creatore di siti di WEMASY puoi impostare tutto questo direttamente sul tuo sito.
Posso testare due cose simili contemporaneamente (titoli diversi testati in regioni diverse)?
Sì, se le regioni sono davvero separate e non le confronti tra loro. Testa il titolo A contro il B sul traffico degli Stati Uniti. Testa il titolo C contro il D sul traffico dell'UE. Test separati. I test in parallelo vanno bene. Ma non confrontare A con C tra regioni, perché la composizione è diversa. I pubblici regionali convertono a tassi diversi. Gli Stati Uniti potrebbero avere una base del dodici per cento. L'UE dell'otto per cento. Il titolo A vince nella regione degli Stati Uniti. Il titolo C vince nella regione UE. Non puoi concludere che il titolo A sia migliore in assoluto, perché le regioni hanno basi diverse. Testa in parallelo, ma analizza separatamente.
Se i risultati non mostrano una differenza significativa, devo pensare che le varianti siano identiche?
No. Pensa che la differenza non sia chiara. Potrebbero essere identiche. Potrebbero essere diverse, ma servivano più dati per rilevarlo. Esempio: il controllo ha cinquecento conversioni. La variante cinquecentocinque. Una differenza dell'uno per cento. Ottantotto per cento di confidenza. Non significativa. Non puoi concludere che siano identiche. Puoi solo concludere che la differenza non è chiara. Le opzioni: far durare il test più a lungo per avere più dati. Oppure, se la variante è più facile da applicare del controllo, passare alla variante, perché nel peggiore dei casi sono identiche e nel migliore la variante è meglio. Se il controllo è più facile, tieni il controllo.
E se il test mostra un risultato statisticamente significativo ma l'intuito dice che è sbagliato?
Fidati delle statistiche, non dell'intuito. La matematica è più intelligente dell'intuito. Se le statistiche dicono che il risultato è reale (novantacinque per cento di confidenza), probabilmente lo è. Il tuo intuito potrebbe sbagliarsi. Si basa su un'esperienza limitata. Le statistiche si basano su migliaia di dati di visitatori. Applica in base alle statistiche. Esempio: pensi che il pulsante rosso funzioni meglio di quello blu. Il test mostra che il pulsante blu vince in modo significativo. Il tuo intuito era sbagliato. Applica il pulsante blu. Fidarti dell'intuito e ignorare i dati del test avrebbe significato applicare il pulsante rosso e danneggiare la conversione.
Posso combinare più risultati piccoli e non significativi in un unico grande risultato significativo?
No. Ogni test sta in piedi da solo. Non puoi combinare test non conclusivi in un unico risultato conclusivo. Il primo test mostra ottantacinque per cento di confidenza che vinca la variante. Il secondo test mostra ottanta per cento di confidenza che vinca la stessa variante. Insieme novantacinque per cento di confidenza? No. Le statistiche non funzionano così. Ogni test è indipendente. Combinarli è un nonsenso statistico. Esegui fin dall'inizio un test della giusta dimensione e con la giusta potenza. O hai la significatività o non ce l'hai.
Se il test mostra un risultato forte per un segmento ma debole nel complesso, quale applico?
Applica solo al segmento, e solo se il risultato forte è statisticamente significativo per quel segmento. Se il segmento è piccolo (il dieci per cento del traffico), la soglia di significatività statistica è più difficile da raggiungere. Potrebbe essere un falso positivo sul segmento. Controlla la significatività statistica per il segmento in particolare, non solo nel complesso. Esempio: il test complessivo mostra la variante al nove per cento, il controllo all'otto virgola nove per cento. Appena significativo. Ma il segmento desktop mostra la variante al dieci per cento, il controllo all'otto per cento. Una vittoria del due per cento su desktop. Forte e significativa per il desktop. Il segmento mobile mostra la variante all'otto per cento, il controllo all'otto per cento. Nessuna differenza. Applica solo al desktop. Non applicare al mobile. Segmenti diversi hanno varianti ottimali diverse.