Risultati e reporting dei test A/B
Il test A/B integrato di ShopGuide suddivide il traffico tra varianti e collega il risultato agli ordini Shopify reali. Ecco esattamente cosa c'è nei risultati.
Come vengono assegnati i visitatori
Un test ha un nome, una data di inizio e di fine e una suddivisione del traffico tra un massimo di tre varianti, ad esempio control, chat e highlights, ciascuna con una percentuale target. Per ogni visitatore, ShopGuide registra in quale variante è arrivato, se ha visualizzato il widget della chat e se ha interagito con esso.
Cosa contengono effettivamente i risultati
Per ogni variante:
- Users: visitatori unici assegnati
- Visualizzazioni chat/interazioni chat: quanti hanno aperto il widget e quanti hanno effettivamente inviato un messaggio
- Ordini ed entrate: estratti direttamente dagli ordini Shopify taggati con la variante ( tramite un attributo ordine
ab_test_variant), filtrati in base al canale di vendita online e all'intervallo di date del test - Tasso di conversione: ordini divisi per utenti
- Avalore medio dell'ordine: entrate totali delle varianti divise per il conteggio degli ordini delle varianti
Puoi leggere i risultati mentre un test è ancora in esecuzione, utilizzando la data corrente come fine della finestra, oppure al termine, utilizzando la data di fine configurata.
Ciò che non viene calcolato
Nessun valore p, nessun intervallo di confidenza, nessun test di significatività statistica. Se una differenza tra le varianti sembra reale, si tratta di un giudizio che stai facendo, non di un'affermazione che ShopGuide sta facendo per te: tratta i numeri come direzionali, specialmente con un numero limitato di utenti o ordini in entrambe le varianti, e applica i tuoi test di significatività se devi essere sicuro prima di agire. Inoltre, non esiste alcuna segmentazione geografica dei risultati e nessuna implementazione graduale automatizzata.