La differenza tra progetti di test e cultura del test
Progetto di test
Fai qualche test. Vedi cosa funziona. Passi oltre. Il testing è uno strumento che usi quando serve. Poi smetti.
Cultura del test
Fai test in modo continuo. I vincitori di un test guidano il successivo. L'apprendimento si accumula. Anno dopo anno, i test si sommano.
Ogni modifica viene testata. Ogni decisione si basa sui dati. Il testing è il modo in cui prendi le decisioni, non un progetto che ogni tanto porti avanti.
Le aziende con una cultura del test battono i concorrenti che non ce l'hanno. Non di molto per ogni test. Ma nel giro di anni si accumula in un vantaggio enorme.
Ottenere il sostegno della dirigenza
Il problema
La maggior parte dei programmi di test fallisce perché la dirigenza non capisce il testing o non si impegna.
Cosa sente la dirigenza
Quando proponi un programma di test, la dirigenza sente: richiederà tempo e costerà denaro.
Cosa deve sentire la dirigenza
Mostra i soldi. Fai un test. Dimostra che funziona. Calcola l'impatto sul fatturato. Questo test ha migliorato la conversione del due percento. Porta cinquantamila dollari di entrate annuali in più. Lo strumento di test costa dodicimila. Beneficio netto trentottomila.
Ora la dirigenza vede il testing come un investimento, non come un costo.
Costruire la roadmap dei test
Non fare test a caso
Pianifica la roadmap dei test. La roadmap individua le aree ad alto impatto. Moduli. Titoli. Offerte. Checkout. Ogni area riceve una priorità di test.
Ordina per impatto
La roadmap mette in sequenza i test. Prima gli elementi ad alto impatto. Poi quelli a impatto medio. Per ultimi quelli a basso impatto.
Impegno del team
La roadmap impegna i team a testare. I designer sanno che stanno testando il design dei pulsanti. Il prodotto sa che sta testando l'offerta. Tutti sanno cosa sta per arrivare.
Crea una roadmap trimestrale. Aggiornala ogni mese in base ai risultati. La pianificazione trimestrale tiene il team concentrato.
Assegnare responsabilità e ruoli
Il problema
Il testing fallisce quando nessuno ne è responsabile. Il marketing dice che è responsabile il prodotto. Il prodotto dice che è responsabile l'ingegneria. Il testing non succede mai.
La soluzione
Assegna un responsabile dei test. Può essere il growth manager. Può essere il product manager. Una persona risponde del programma di test.
Il responsabile dei test definisce la roadmap. Esegue i test. Documenta i risultati. Condivide ciò che si impara. Coordina i team. Senza un responsabile, il testing si ferma.
Formare i team al pensiero statistico
Il problema
La maggior parte delle persone non ha una formazione in statistica. Guardano i numeri e decidono a intuito.
La variante è al nove percento. Il controllo è all'otto virgola otto percento. Sembra che la variante abbia vinto. Chi non è statistico pensa che la variante sia migliore.
Lo statistico controlla il livello di confidenza. Ottantadue percento. Sotto la soglia del novantacinque percento. Non significativo. La differenza potrebbe essere solo fortuna.
La soluzione
Formare i team sulla statistica di base evita decisioni sbagliate. Temi della formazione: cos'è la significatività statistica. Perché il novantacinque percento conta. Come leggere gli intervalli di confidenza. Cosa significa la dimensione del campione.
Un buon programma di test forma il team alla statistica.
Creare apprendimento condiviso e documentazione
Perché la documentazione conta
Ogni test insegna qualcosa. Ciò che impari sparisce se non lo documenti.
Come documentare
Crea un archivio dei test. Ogni test ha la sua pagina. Ipotesi. Risultati. Cosa hai imparato.
Dopo cinquanta test hai cinquanta pagine di apprendimento. Un nuovo collega legge cinquanta pagine e capisce cosa funziona per il tuo pubblico.
Una buona documentazione: ipotesi, risultati, intuizione, cosa testare dopo.
Una cattiva documentazione: il test uno ha vinto, il test due ha perso. Nessuna intuizione.
Rendere il testing parte del processo
Il testing facoltativo fallisce
Se il testing è facoltativo, si ferma quando c'è molto da fare. I team gli danno meno priorità rispetto ai progetti urgenti.
Il testing obbligatorio regge
Rendi il testing obbligatorio. Ogni modifica passa dal processo di test. Una modifica senza test non viene approvata.
Serve un cambio di processo. Ma garantisce che il testing avvenga con costanza.
Esempio di processo
Uno: proponi la modifica con un'ipotesi. Due: ottieni l'approvazione per testare. Tre: esegui il test per due settimane. Quattro: i risultati vengono approvati dal responsabile dei test. Cinque: se sono significativi, implementa. Sei: documenta ciò che hai imparato. Sette: progetta il test successivo.
Celebrare e comunicare le vittorie
Il problema
Il programma di test muore se le vittorie restano in silenzio.
La soluzione
Celebra le vittorie. Condividi i risultati. Mostra l'impatto. Email mensile: "Il nostro programma di test ha migliorato la conversione del sette percento in questo trimestre. Ecco cinque test che hanno fatto la differenza. Grazie ai team che li hanno realizzati."
Celebrare crea slancio. Crea cultura. Crea la convinzione che il testing funzioni.
Gestire la politica dei test
Il conflitto
Qualcuno propone una modifica. Il test mostra che non è una buona idea. Chi l'aveva proposta è frustrato. Il testing crea conflitto quando i risultati contraddicono le ipotesi di partenza.
La soluzione
Presenta il testing come strumento di apprendimento. Non come un modo per dimostrare che le persone sbagliano. Presentalo come "testiamo e impariamo insieme".
Quando il test mostra che una persona si sbagliava, presentalo come "abbiamo imparato qualcosa". Presentalo come una vittoria, non una sconfitta. Le persone si mettono sulla difensiva se il testing sembra una minaccia. Le persone lo sostengono se lo vedono come apprendimento.
Gestire la velocità dei test
Approccio aggressivo
Fai dieci test al mese. Chiudi ogni test in una settimana. Apprendimento rapido. Più probabilità di falsi positivi. Tasso di errore più alto.
Approccio prudente
Fai tre test al mese. Chiudi ogni test in due o tre settimane. Apprendimento più lento. Tasso di errore più basso. Più sicuro.
Approccio equilibrato
La maggior parte delle aziende dovrebbe scegliere l'equilibrio. Da cinque a sei test al mese. Durata di due settimane. Tasso di errore ragionevole. Velocità di apprendimento ragionevole. Non sacrificare la qualità per la velocità. Un test di alta qualità vale più di dieci test di bassa qualità.
Capire i rendimenti decrescenti
Lo schema
I primi venti test fanno la differenza. Ogni test migliora qualcosa. La roadmap è piena di opportunità ad alto impatto.
I test dal venti al quaranta incidono meno. Si impara ancora, ma i miglioramenti sono più piccoli. Meno opportunità evidenti.
Dal test quaranta in poi: le opportunità sono piccole. I miglioramenti sono minimi. È normale.
La soluzione
Non leggere i rendimenti decrescenti come un fallimento del testing. Leggili come maturità. Nella fase dei rendimenti decrescenti, sposta l'attenzione. Invece di testare in largo, fai test in aree nuove. Nuovi prodotti. Nuovi segmenti. Nuovi mercati.
Sostenibilità del programma di test nel lungo periodo
Il rischio
Il programma di test va forte per sei mesi. Poi rallenta. Le persone si riempiono di lavoro. Il testing perde priorità. Il programma si spegne.
Come mantenerlo
Un programma sostenibile richiede un impegno continuo. Richiede risorse. Richiede un responsabile. Budget per gli strumenti di test. Budget per la persona che segue i test. Inserisci il testing negli obiettivi annuali.
Se il testing è una priorità annuale, il testing avviene. Se è un di più, il testing si ferma.
Domande frequenti
Come convinco i colleghi scettici che il testing funziona?
Mostra loro un test. Fai un test semplice su un elemento molto visitato. Ottieni i risultati. Mostra il miglioramento. Mostra l'impatto sul fatturato. Un test riuscito converte gli scettici. I risultati contano più delle parole. Esempio: fai un test sul colore di un pulsante. Mostra i risultati: pulsante blu al nove percento di conversione, pulsante rosso all'otto virgola cinque percento di conversione. Miglioramento dell'otto percento. Calcola l'impatto: se il sito riceve diecimila visitatori al mese e il due percento converte, sono duecento conversioni al mese. Un miglioramento dell'otto percento sono sedici conversioni in più al mese. Se il valore medio dell'ordine è cento dollari, sono milleseicento dollari di entrate mensili in più. Diciannovemila dollari all'anno. Mostralo al collega scettico. Lo scetticismo sparisce quando di mezzo ci sono i soldi. Con il creatore di siti di WEMASY puoi impostarlo direttamente sul tuo sito.
Se siamo presi dai progetti, dovremmo rimandare i test?
No. Il testing deve far parte della consegna del progetto. Ogni modifica del progetto viene testata prima dell'implementazione. Il testing non fa perdere tempo se è integrato nel processo. Evita di implementare cose che non funzionano. Esempio: stai rilasciando un nuovo flusso di checkout. Senza test: implementi, lanci, scopri che il novanta percento dei visitatori è confuso dal nuovo flusso, torni indietro, correggi, rilanci. Tre settimane in tutto. Con il test: provi il nuovo flusso per una settimana prima del lancio, scopri i problemi, correggi, lanci un flusso solido. Due settimane in tutto. Il testing fa risparmiare tempo perché evita lanci sbagliati. Inserisci il testing nei tempi fin dall'inizio, non come ripensamento.
Ogni quanto dovremmo rivedere i vecchi risultati dei test?
Rivedili quando cambiano le condizioni. Nuova stagione. Nuovo concorrente. Grande cambiamento nel business. Altrimenti ogni risultato è valido per il suo periodo. Non serve rifare i test di continuo. Esempio: hai testato un'offerta a gennaio. La garanzia soddisfatti o rimborsati batte lo sconto del dieci percento. Hai implementato la garanzia. Arriva luglio e un concorrente lancia la stessa garanzia. Il tuo vantaggio sparisce. Dovresti rifare il test dell'offerta? Forse. La mossa del concorrente ha cambiato il mercato. Il tuo vincitore potrebbe non essere più rilevante. Revisioni stagionali: testa le offerte nel periodo del Black Friday. I risultati potrebbero essere diversi a luglio, quando il comportamento d'acquisto è diverso. Rifai i test delle offerte a luglio. I risultati guidano la strategia di luglio.
Dobbiamo testare per il visitatore medio o per un segmento specifico?
Parti dal visitatore medio. Ottieni una base di riferimento. Poi passa ai segmenti. Se ottimizzi solo per un segmento, le prestazioni complessive ne risentono. Esempio: testi l'ottimizzazione solo su mobile perché il traffico mobile è il più alto. La base desktop è al dieci percento. La base mobile è al sette percento. Ottimizzi per mobile e il mobile sale con un miglioramento dell'otto percento. Ma la base desktop scende al nove percento perché le modifiche non funzionano su desktop. Hai guadagnato su mobile ma hai danneggiato il desktop. Nel complesso hai perso terreno. Testa prima in generale per capire l'impatto universale. Poi testa i segmenti per ottimizzare segmento per segmento.
Come manteniamo lo slancio se i test continuano a perdere?
I test persi ti insegnano cosa non funziona. Sono dati preziosi. I test vincenti arriveranno. Continua a testare. Costruisci su ciò che impari dalle sconfitte. Esempio: testi cinque titoli. Tre perdono contro il titolo attuale. Due vincono. Le vittorie ti dicono cosa funziona. Le sconfitte ti dicono a cosa il pubblico non risponde. Ora sai che i messaggi "urgenti" perdono (alle persone non piace la pressione). Sai che i messaggi con un "vantaggio specifico" vincono (alle persone piace la chiarezza). Il test successivo parte da qui. Testa vantaggi ancora più specifici. I test si sommano. I test persi non sono fallimenti. Sono dati.
Se i test mostrano che tutto il nostro approccio è sbagliato, cosa facciamo?
Festeggia. Hai imparato qualcosa di prezioso. Ora cambia direzione. Meglio scoprirlo con i test che con una perdita di fatturato silenziosa. Esempio: pensi che il tuo pubblico voglia un prodotto premium. Il test mostra che preferisce l'opzione economica. Il tuo posizionamento premium era sbagliato. Momento da festeggiare: hai appena imparato qualcosa che ti sarebbe costato denaro per anni se non avessi testato. Ora adatta la strategia. Cambia il messaggio in chiave economica. Testa il nuovo posizionamento. Meglio scoprirlo con una perdita di cinquantamila dollari di fatturato che con una da cinque milioni.