Πόσο να τρέξει ένα A/B test διαφήμισης (και γιατί το νωρίς σταμάτημα σε ξεγελά)
Ένα A/B test διαφήμισης πρέπει να τρέχει μέχρι να φτάσει ένα μέγεθος δείγματος που όρισες πριν ξεκινήσει, όχι μέχρι να φανούν καλά τα νούμερα. Πώς το υπολογίζεις, με παραδείγματα, τι προτείνουν Meta και Google Ads και ένας δωρεάν υπολογιστής.
Το «πόσο να τρέξει το test;» έχει πραγματική απάντηση, και δεν είναι ένας αριθμός ημερών. Ένα test είναι αρκετά μεγάλο όταν έχει δει αρκετούς ανθρώπους ώστε να ξεχωρίσει τις δύο εκδοχές. Οι μέρες μπαίνουν στη μέση μόνο όταν διαιρέσεις αυτόν τον αριθμό ανθρώπων με την επισκεψιμότητά σου. Αν κρατήσεις αυτή τη σειρά, το test σού λέει κάτι. Αν την αντιστρέψεις, καταλήγεις να βγάζεις στον αέρα όποια διαφήμιση έτυχε να προηγείται μια τυχερή Τρίτη.
Ο δωρεάν υπολογιστής A/B test κάνει τους υπολογισμούς αυτού του άρθρου στον browser σου. Δες πώς δουλεύουν, για να ξέρεις τι να του δώσεις.
Ξεκίνα από τη μικρότερη βελτίωση που αξίζει να βρεις
Πριν από το test, αποφάσισε ποια είναι η μικρότερη βελτίωση για την οποία θα έκανες κάτι. Αν ένα νέο hook ανέβαζε τις μετατροπές κατά 3%, θα ξαναέστηνες τις διαφημίσεις σου γύρω του; Μάλλον όχι. Κατά 20%; Μάλλον ναι. Αυτή η μικρότερη βελτίωση καθορίζει όλα τα υπόλοιπα, γιατί οι μικρές διαφορές χρειάζονται πολύ περισσότερα δεδομένα για να φανούν από τις μεγάλες.
Χρειάζεσαι και τρεις ακόμα αριθμούς:
- Το τρέχον ποσοστό μετατροπής σου. Πάρ' το από τη διαφήμιση, το κοινό ή τη σελίδα προορισμού που πας να τεστάρεις, σε μια κανονική πρόσφατη περίοδο.
- Ένα επίπεδο εμπιστοσύνης. Συνήθως επιλέγεται το 95%. Ορίζει πόσο συχνά ένα test χωρίς καμία πραγματική διαφορά θα βγάλει παρ' όλα αυτά νικητή: περίπου στο 5% των περιπτώσεων.
- Η ισχύς. Η πιθανότητα να πιάσεις τη βελτίωση αν υπάρχει πραγματικά. Η Meta συνήθως προτείνει 80% ή περισσότερο για τα δικά της test, και το 80% είναι μια συνηθισμένη προεπιλογή.
Μετάτρεψέ το σε επισκέπτες ανά εκδοχή
Με αυτούς τους τέσσερις αριθμούς, ο τυπικός τύπος για τη σύγκριση δύο ποσοστών μετατροπής δίνει πόσους επισκέπτες χρειάζεται η κάθε εκδοχή. Ο υπολογιστής δείχνει ολόκληρο τον τύπο. Δες τι βγάζει για ένα κατάστημα που μετατρέπει το 2% των επισκεπτών, με εμπιστοσύνη 95% και ισχύ 80%:
| Μικρότερη βελτίωση που αξίζει | Ποσοστό του B | Επισκέπτες ανά εκδοχή | Σύνολο |
|---|---|---|---|
| 30% | 2,6% | 9.798 | 19.596 |
| 20% | 2,4% | 21.109 | 42.218 |
| 10% | 2,2% | 80.682 | 161.364 |
Αν μειώσεις στο μισό τη βελτίωση που θέλεις να δεις, η επισκεψιμότητα που χρειάζεσαι περίπου τετραπλασιάζεται. Αυτό το ένα γεγονός εξηγεί τα περισσότερα αποτυχημένα test διαφημίσεων: κάποιος προσπάθησε να εντοπίσει μια μικρή διαφορά με προϋπολογισμό φτιαγμένο για μεγάλη.
Και η αύξηση της ισχύος έχει κόστος. Η ίδια βελτίωση 20% με ισχύ 90% χρειάζεται 28.258 ανά εκδοχή αντί για 21.109.
Μετά, και μόνο μετά, μετάτρεψέ το σε μέρες
Διαίρεσε το σύνολο με τους επισκέπτες που θα παίρνουν μαζί οι δύο εκδοχές κάθε μέρα. Με 3.000 επισκέπτες τη μέρα, το test του 20% χρειάζεται 42.218 ÷ 3.000 = 14,07, άρα 15 μέρες. Με 1.000 τη μέρα χρειάζεται 43 μέρες. Με 10.000 τη μέρα χρειάζεται 5.
Τώρα έλεγξε την απάντηση με όσα λένε οι πλατφόρμες:
- Πολύ σύντομο. Οι βέλτιστες πρακτικές A/B testing της Meta προτείνουν τουλάχιστον 7 μέρες και λένε ότι τα συντομότερα test μπορεί να δώσουν μη καθοριστικά αποτελέσματα. Αν οι υπολογισμοί σου λένε 5 μέρες, τρέξε 7 έτσι κι αλλιώς. Η ίδια σελίδα λέει να το τρέξεις περισσότερο αν οι πελάτες σου συνήθως χρειάζονται πάνω από 7 μέρες για να μετατραπούν αφού δουν μια διαφήμιση.
- Πολύ μεγάλο. Η Meta βάζει όριο 30 ημερών στα A/B test. Αν οι υπολογισμοί σου λένε 43, το test όπως είναι σχεδιασμένο δεν μπορεί να ολοκληρωθεί. Ψάξε μεγαλύτερη βελτίωση (τέσταρε μια πιο τολμηρή αλλαγή), περισσότερη επισκεψιμότητα (μεγαλύτερο προϋπολογισμό ή ευρύτερο κοινό), ή δέξου χαμηλότερο επίπεδο εμπιστοσύνης και πες το όταν αναφέρεις το αποτέλεσμα.
- Google Ads. Η σελίδα βοήθειας για τα πειράματα προτείνει να αφήνεις ένα πείραμα να τρέξει 2 έως 3 εβδομάδες, και να αυξάνεις τον προϋπολογισμό ή να το τρέχεις περισσότερο αν τα αποτελέσματα είναι ακόμα αβέβαια.
Γιατί το νωρίς σταμάτημα σε ξεγελά
Εδώ είναι η παγίδα. Ξεκινάς το test και το ελέγχεις κάθε πρωί. Την τέταρτη μέρα το B προηγείται και το εργαλείο λέει «σημαντικό». Σταματάς, βγάζεις στον αέρα το B και προχωράς.
Το επίπεδο εμπιστοσύνης 95% περιγράφει μόνο ένα test που διαβάζεται μία φορά, στο προγραμματισμένο μέγεθος δείγματος. Αν το A και το B μετατρέπουν στην πραγματικότητα το ίδιο, αυτή η μία ανάγνωση βγάζει ψεύτικο νικητή περίπου στο 5% των περιπτώσεων. Ο καθημερινός έλεγχος είναι διαφορετική διαδικασία. Τα δύο ποσοστά κινούνται πάνω κάτω καθώς έρχονται επισκέπτες, και κάθε ματιά είναι μια ακόμα ευκαιρία για ένα τυχαίο κενό να περάσει τη γραμμή. Αν σταματήσεις στο πρώτο πέρασμα, έχεις διαλέξει επίτηδες την πιο τυχερή στιγμή. Το πραγματικό ποσοστό ψευδώς θετικών καταλήγει πάνω από 5%, και ανεβαίνει όσο πιο συχνά κοιτάς.
Το p-value στην οθόνη δεν μπορεί να σε προειδοποιήσει, γιατί δεν ξέρει πόσες φορές έλεγξες. Διαβάζεται ακριβώς σαν να είχες κοιτάξει μία φορά.
Τρεις κανόνες κρατούν ένα test τίμιο:
- Γράψε το μέγεθος δείγματος πριν από την έναρξη. Βάλ' το στο όνομα του test αν χρειαστεί.
- Κοίτα, αλλά μη σταματάς. Το να ελέγχεις ότι και οι δύο εκδοχές προβάλλονται και ότι τίποτα δεν έχει χαλάσει είναι εντάξει. Το να κλείνεις το test επειδή το νούμερο φαίνεται καλό δεν είναι.
- Διάβασε το αποτέλεσμα μία φορά, στο προγραμματισμένο μέγεθος. Αν δεν είναι σημαντικό, είναι κι αυτό απάντηση: η διαφορά, αν υπάρχει, είναι μικρότερη από τη βελτίωση που είπες ότι αξίζει να βρεις.
Διάβασε το αποτέλεσμα
Όταν το test φτάσει το μέγεθός του, γύρνα τον υπολογιστή στο Είναι το αποτέλεσμά μου σημαντικό; και βάλε επισκέπτες και μετατροπές και για τις δύο εκδοχές. Ας πούμε ότι το A μετέτρεψε 200 από 10.000 επισκέπτες (2,00%) και το B 245 από 10.000 (2,45%). Ο υπολογιστής δίνει z = 2,157 και αμφίπλευρο p-value 0,031, κάτω από 0,05, άρα το B κερδίζει με εμπιστοσύνη 95%.
Μετά διάβασε το εύρος, όχι μόνο την ετυμηγορία. Το διάστημα 95% για τη διαφορά πάει από +0,04 έως +0,86 ποσοστιαίες μονάδες, που ως βελτίωση πάνω στο A είναι περίπου από +2% έως +43%. Το B είναι καλύτερο, αλλά το πόσο είναι ακόμα πολύ ανοιχτό. Αν το B κοστίζει περισσότερο στην παραγωγή, αυτό το εύρος σού λέει αν αξίζει.
Οι πλατφόρμες δεν θα συμφωνούν πάντα με τον υπολογιστή, και αυτό είναι αναμενόμενο. Τα αποτελέσματα A/B της Meta δείχνουν ένα ποσοστό εμπιστοσύνης και θεωρούν νικητήριο ένα αποτέλεσμα από 65% και πάνω, μέτρο διαφορετικό από ένα p-value. Το Google Ads υπολογίζει τα διαστήματά του με επαναδειγματοληψία jackknife σε 20 ομάδες ανά σκέλος και δείχνει από προεπιλογή διάστημα 80%. Χρησιμοποίησε την ετυμηγορία της πλατφόρμας για το test της πλατφόρμας, και τον υπολογιστή για να σχεδιάσεις το μέγεθος και να ελέγξεις τα μαθηματικά.
Στήσε το test ώστε η απάντηση να σημαίνει κάτι
- Άλλαξε ένα πράγμα. Οι βέλτιστες πρακτικές της Meta λένε ότι τα αποτελέσματα είναι πιο καθοριστικά όταν οι εκδοχές είναι ίδιες εκτός από τη μεταβλητή που τεστάρεις.
- Μοίρασε σωστά. Η Meta συμβουλεύει να μην τεστάρεις ανοιγοκλείνοντας σύνολα διαφημίσεων, γιατί τα κοινά μπορεί να επικαλύπτονται, και προτείνει τον ίδιο προϋπολογισμό και για τις δύο εκδοχές. Χρησιμοποίησε το εργαλείο A/B test ή πειραμάτων της ίδιας της πλατφόρμας.
- Κοίτα τα χρήματα, όχι μόνο το ποσοστό. Μια εκδοχή που κερδίζει στο ποσοστό μετατροπής μπορεί να χάνει λεφτά αν κοστίζει περισσότερο ανά κλικ. Πέρνα τη νικήτρια από τον υπολογιστή ROAS και σύγκρινέ τη με το ROAS νεκρού σημείου σου πριν την κλιμακώσεις.
Η σύντομη εκδοχή
Διάλεξε τη μικρότερη βελτίωση που αξίζει να βρεις, υπολόγισε τους επισκέπτες ανά εκδοχή, διαίρεσε με την ημερήσια επισκεψιμότητα, κράτα το αποτέλεσμα ανάμεσα στις 7 και τις 30 μέρες της Meta, και μη σταματήσεις νωρίς. Ο υπολογιστής A/B test κάνει και τα δύο μισά. Κι αν προτιμάς να σου προτείνει κάποιος τα test, η Hermoso είναι ένας AI marketing agent που τρέχει το marketing σου στον αυτόματο πιλότο: μπορεί να διαβάσει κάθε διαφημιστική πλατφόρμα που έχεις συνδέσει και να σου πει τι να κλιμακώσεις, τι να παγώσεις και τι να τεστάρεις μετά, με την υπόθεση κάθε test, τη μετρική που το κρίνει, έναν προϋπολογισμό και μια διάρκεια.
Συχνές ερωτήσεις
Πόσο να τρέξω ένα A/B test διαφήμισης στο Facebook;
Όσο χρειάζεται για να φτάσει το μέγεθος δείγματος που υπολόγισες πριν ξεκινήσεις, και τουλάχιστον 7 μέρες, το ελάχιστο που προτείνει η Meta. Η Meta βάζει όριο 30 ημερών στα A/B test. Με 3.000 επισκέπτες τη μέρα, ένα test σε ποσοστό μετατροπής 2% που ψάχνει βελτίωση 20% χρειάζεται περίπου 15 μέρες.
Πόσες μετατροπές χρειάζομαι για ένα A/B test;
Εξαρτάται από το ποσοστό μετατροπής σου και τη βελτίωση που θέλεις να εντοπίσεις. Με ποσοστό 2%, για να βρεις βελτίωση 20% με εμπιστοσύνη 95% και ισχύ 80% χρειάζονται 21.109 επισκέπτες ανά εκδοχή, δηλαδή περίπου 422 μετατροπές στην αρχική εκδοχή.
Μπορώ να σταματήσω νωρίς ένα A/B test αν είναι ήδη σημαντικό;
Όχι, αν θέλεις να ισχύει το επίπεδο εμπιστοσύνης. Ο συχνός έλεγχος και το σταμάτημα στην πρώτη σημαντική ανάγνωση δίνουν στην τύχη περισσότερες ευκαιρίες να περάσει τη γραμμή, οπότε το πραγματικό ποσοστό ψευδώς θετικών καταλήγει υψηλότερο από αυτό που διάλεξες.
Τι γίνεται αν το test μου χρειάζεται πάνω από 30 μέρες;
Τα A/B test της Meta δεν μπορούν να τρέξουν πάνω από 30 μέρες, οπότε άλλαξε τον σχεδιασμό: τέσταρε μια πιο τολμηρή αλλαγή ώστε η βελτίωση που ψάχνεις να είναι μεγαλύτερη, πρόσθεσε προϋπολογισμό ή άνοιξε το κοινό για περισσότερη επισκεψιμότητα, ή δέξου χαμηλότερο επίπεδο εμπιστοσύνης και πες το όταν αναφέρεις το αποτέλεσμα.