L'attribuzione ti dice quale canale riceve il merito di una conversione. Ma il canale porta davvero la conversione, o sarebbe avvenuta comunque? Il test di incrementalità risponde a questa domanda con degli esperimenti: esponi alcuni utenti al canale (gruppo di test), non esponi gli altri (gruppo di controllo) e misuri la differenza nei tassi di conversione. La differenza è il vero impatto incrementale. Questo capitolo spiega i test di incrementalità e quando usarli.
Attribuzione e incrementalità
Attribuzione: tra le persone che hanno convertito, quale canale le ha toccate per ultimo? Semplice da misurare, ma non dimostra la causalità.
Incrementalità: se eliminiamo del tutto questo canale, quanto fatturato perdiamo? Questo dimostra la causalità e misura l'impatto reale.
Esempio: 100 persone hanno convertito. Google Ads all'ultimo clic = 60 ricevono il merito. Ma il test di incrementalità mostra che, senza Google Ads, 50 di quei 60 avrebbero convertito comunque (tramite altri canali). La vera incrementalità di Google Ads = 10 conversioni, non 60.
Tipi di test di incrementalità
Test geografico
Mostra gli annunci in alcune aree geografiche (test) e non in altre (controllo). Confronta i tassi di conversione. Esempio: mostra Google Ads a San Francisco (test) e non a Berkeley (controllo). Se San Francisco ha un tasso di conversione più alto, gli annunci sono incrementali.
Vantaggio: semplice, veloce. Svantaggio: le differenze tra le aree possono falsare i risultati (San Francisco è più ricca e spinge il tasso di conversione verso l'alto).
Gruppi esclusi
Mostra gli annunci a tutti tranne a un 10% casuale (controllo). Confronta i tassi di conversione: utenti esposti agli annunci rispetto agli utenti esclusi. La differenza è l'incrementalità.
Vantaggio: preciso, tiene sotto controllo i fattori di disturbo. Svantaggio: richiede un budget grande (non raggiungiamo il 10% del nostro pubblico per misurare l'impatto).
Test per periodi di tempo
Mostra gli annunci in alcuni periodi (test) e non in altri (controllo). Esempio: la ricerca a pagamento attiva da lunedì a giovedì, non da venerdì a domenica. Confronta i tassi di conversione. Se da lunedì a giovedì sono più alti, gli annunci sono incrementali.
Vantaggio: semplice. Svantaggio: i giorni della settimana falsano il risultato (nel weekend la conversione è naturalmente più bassa).
Come fare un test di incrementalità
Passo 1: definisci l'ipotesi. «Google Ads porta conversioni incrementali oltre la base di partenza.»
Passo 2: scegli il tipo di test. I gruppi esclusi sono il metodo più preciso: usalo se il budget lo permette.
Passo 3: dimensiona il test. Serve un campione abbastanza grande per rilevare la differenza. Se la conversione di base è il 5% e vuoi rilevare un aumento del 2%, servono circa 10.000 persone per gruppo. Chiedi a uno statistico o usa un calcolatore di potenza statistica.
Passo 4: fai durare il test 2-4 settimane. I test più lunghi riducono la variazione dovuta alle oscillazioni quotidiane.
Passo 5: analizza i risultati. La differenza è statisticamente significativa? (p < 0,05). Se sì, hai dimostrato l'incrementalità.
Le difficoltà dei test di incrementalità
Costo: i gruppi esclusi significano perdere fatturato di proposito (non raggiungiamo il 10% del pubblico). Vale la pena solo per i canali con molta spesa, dove l'informazione ha valore.
Cannibalizzazione: se l'utente non vede il tuo annuncio, può usare la ricerca organica o arrivare dal traffico diretto. L'incrementalità lo cattura (è incluso nel comportamento del gruppo di controllo).
Effetti a lungo termine: gli annunci possono avere un effetto sul brand che emerge dopo giorni o settimane. La maggior parte dei test è a breve termine e perde gli effetti a lungo termine.
Come decido se fare un test di incrementalità?
L'incrementalità è costosa (i gruppi esclusi costano). Fai i test per: canali con molta spesa (Google Ads, Facebook Ads), dove l'attribuzione è ambigua, dove prendi decisioni importanti sul budget. Non testare: canali piccoli, dove l'attribuzione è chiara. Budget: 10.000-50.000 $ o più per test. Riservalo alle domande con più impatto.
Che dimensione del campione serve per un test di incrementalità?
Dipende dal tasso di conversione di base e dall'aumento che vuoi rilevare. Regola pratica: servono 5.000-10.000 persone per gruppo (controllo e test). Se la base è il 5% e vuoi rilevare un aumento del 2% (nuovo tasso 7%), servono circa 10.000 persone per gruppo. Usa un calcolatore di potenza statistica (cerca 'calcolatore potenza statistica') per ottenere il numero esatto del tuo caso.
Quanto deve durare un test di incrementalità?
Minimo 2-4 settimane (per compensare la variazione quotidiana). Meglio 4-8 settimane (cattura gli andamenti settimanali). Test più lunghi = costo più alto ma risultati più affidabili. Se il tuo ciclo di vendita è di 30 giorni, fai durare il test più di 30 giorni per coprire il ciclo intero.
Posso usare il test di incrementalità per misurare le interazioni tra canali (come un canale aiuta l'altro)?
Sì, ma è più complesso. Struttura del test: (1) controllo (nessun canale), (2) test A (solo canale A), (3) test B (solo canale B), (4) test A+B (entrambi i canali). Confronta i risultati. Se A+B > A + B, c'è sinergia. Servono campioni più grandi e un'analisi più complessa.
Che differenza c'è tra gruppo escluso e gruppo di controllo in un test?
Gruppo escluso: parte della tua base clienti che non vede il canale (di proposito). Gruppo di controllo: in un esperimento, il gruppo che non riceve il trattamento (per il confronto). Lo stesso concetto con un nome diverso. Il gruppo escluso è continuo (resta escluso nel tempo); il controllo vale per la durata di un test specifico.
Come presento i risultati di un test di incrementalità alla direzione?
Mostra: conversione di base (5%), conversione nel gruppo di test (6%), aumento (1 punto percentuale, 20% di aumento relativo). Mostra l'intervallo di confidenza: l'aumento è tra 0,5 e 1,5 punti percentuali (siamo sicuri di questo intervallo). Conseguenza sul budget: se l'incrementalità è il 20% più bassa di quanto sosteneva l'attribuzione, ricalcola il ritorno. Così giustifichi il costo del test con decisioni migliori.