Υπολογιστής A/B test για διαφημίσεις: σημαντικότητα και μέγεθος δείγματος

Δύο ερωτήσεις, ένας υπολογιστής

Κάθε τεστ διαφήμισης θέτει δύο ερωτήματα, με αυτή τη σειρά. Πριν ξεκινήσει: πόσοι επισκέπτες χρειάζονται για να βρεθεί η διαφορά που με ενδιαφέρει; Αφού τελειώσει: η διαφορά μεταξύ A και B είναι πραγματική ή θα μπορούσε να είναι τυχαία; Χρησιμοποιήστε τις δύο καρτέλες παραπάνω με αυτή τη σειρά. Το να υπολογίσετε πρώτα το μέγεθος του δείγματος είναι αυτό που κάνει την απάντηση στο δεύτερο ερώτημα να έχει νόημα.

Οι “επισκέπτες” μπορεί να είναι επισκέπτες σελίδας προορισμού, κλικ σε συνδέσμους ή οποιοσδήποτε άλλος είχε δίκαιη ευκαιρία να μετατραπεί, εφόσον και οι δύο εκδόσεις μετρώνται με τον ίδιο τρόπο. Οι “μετατροπές” είναι τα άτομα που έκαναν αυτό για το οποίο κάνετε το τεστ.

Πώς λειτουργεί το τεστ σημαντικότητας

Ο υπολογιστής εκτελεί ένα z-test δύο αναλογιών, το τεστ μεγάλου δείγματος για σύγκριση δύο ποσοστών που περιγράφεται στο NIST/SEMATECH e-Handbook of Statistical Methods:

• Συγκεντρωτικό ποσοστό p = (μετατροπές A + μετατροπές B) ÷ (επισκέπτες A + επισκέπτες B).
• z = (ποσοστό B − ποσοστό A) ÷ √(p × (1 − p) × (1/επισκέπτες A + 1/επισκέπτες B)).
• p-value δύο κατευθύνσεων = 2 × (1 − Φ(|z|)), όπου Φ είναι η τυπική κανονική κατανομή.
• Το διάστημα για τη διαφορά είναι (ποσοστό B − ποσοστό A) ± z × √(ποσοστό A × (1 − ποσοστό A) ÷ επισκέπτες A + ποσοστό B × (1 − ποσοστό B) ÷ επισκέπτες B). Το εύρος αύξησης το διαιρεί με το ποσοστό A, το οποίο αντιμετωπίζει το ποσοστό A ως γνωστό, οπότε είναι προσέγγιση.

Λυμένο παράδειγμα. Η έκδοση A έχει 200 μετατροπές από 10.000 επισκέπτες (2,00%). Η έκδοση B έχει 245 από 10.000 (2,45%), σχετική αύξηση 22,5%. Το συγκεντρωτικό ποσοστό είναι 445 ÷ 20.000 = 2,225%, το τυπικό σφάλμα είναι 0,209 ποσοστιαίες μονάδες και z = 0,45 ÷ 0,209 = 2,157. Το p-value δύο κατευθύνσεων είναι 0,031, κάτω από 0,05, οπότε με εμπιστοσύνη 95% νικά το B. Το διάστημα 95% για τη διαφορά εκτείνεται από +0,04 έως +0,86 ποσοστιαίες μονάδες: το B είναι καλύτερο, αλλά η πραγματική αύξηση θα μπορούσε να είναι οπουδήποτε από περίπου 2% έως 43%.

Το τεστ είναι μια προσέγγιση που χρειάζεται αρκετά δεδομένα. Το εγχειρίδιο της NIST δίνει ένα κριτήριο: τουλάχιστον 5 επιτυχίες και 5 αποτυχίες. Ο υπολογιστής κρατά σε αναμονή την ετυμηγορία του και λέει δεν υπάρχουν αρκετά δεδομένα ακόμη μέχρι κάθε έκδοση να έχει 5 μετατροπές και 5 μη μετατροπές. Με λιγότερα από αυτά, η NIST παραπέμπει σε ένα ακριβές τεστ για μικρά δείγματα, αλλά για ένα τεστ διαφήμισης η πρακτική απάντηση είναι να το αφήσετε να τρέχει.

Πώς υπολογίζεται το μέγεθος του δείγματος

Για ένα τεστ δύο κατευθύνσεων, επισκέπτες ανά έκδοση:

n = (z_1−α/2 × √(2 × p̄ × (1 − p̄)) + z_1−β × √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ (p₂ − p₁)²

Εδώ το p₁ είναι το τρέχον ποσοστό σας, το p₂ είναι αυτό το ποσοστό με την εφαρμοσμένη αύξηση, και το p̄ είναι ο μέσος όρος τους. Πρόκειται για την κανονική προσέγγιση, χωρίς διόρθωση συνέχειας, και έχει την ίδια μορφή με τον τύπο μεγέθους δείγματος για μία αναλογία στο εγχειρίδιο NIST, με μια δεύτερη ομάδα να προστίθεται. Σε επίπεδο εμπιστοσύνης 95% το z_1−α/2 είναι 1,959964, και σε ισχύ 80% το z_1−β είναι 0,841621.

Λυμένο παράδειγμα. Ποσοστό μετατροπής 2%, και θέλετε να εντοπίσετε αύξηση 20%, δηλαδή 2,0% έναντι 2,4%. Το μέσο ποσοστό είναι 2,2%. Η πρώτη γραμμή είναι 1,959964 × 0,2074 + 0,841621 × 0,2074 = 0,5811, στο τετράγωνο 0,3377, και διαιρώντας με 0,004² προκύπτουν 21.109 επισκέπτες ανά έκδοση, 42.218 συνολικά. Με 3.000 επισκέπτες την ημέρα αυτό αντιστοιχεί σε 15 ημέρες.

Η αύξηση που ζητάτε μετράει περισσότερο. Με το ίδιο ποσοστό 2%, μια αύξηση 30% χρειάζεται 9.798 ανά έκδοση και μια αύξηση 10% χρειάζεται 80.682. Αν υποδιπλασιάσετε την αύξηση, η επισκεψιμότητα περίπου τετραπλασιάζεται, επειδή το κενό βρίσκεται στο τετράγωνο στον παρονομαστή του τύπου.

Γιατί ο πρόωρος τερματισμός αυξάνει τα ψευδώς θετικά

Ένα επίπεδο εμπιστοσύνης 95% σημαίνει ότι, όταν τα A και B έχουν πραγματικά την ίδια μετατροπή, ένα μεμονωμένο τεστ με σταθερό μέγεθος δείγματος εξακολουθεί να ανακηρύσσει νικητή περίπου στο 5% των περιπτώσεων. Αυτό το 5% ισχύει μόνο αν κοιτάξετε μία φορά, στο τέλος.

Το να ελέγχετε το αποτέλεσμα κάθε μέρα και να σταματάτε την πρώτη φορά που δείχνει στατιστικά σημαντικό είναι μια διαφορετική διαδικασία. Τα ποσοστά ταλαντεύονται καθώς έρχονται δεδομένα, και κάθε ματιά είναι άλλη μία ευκαιρία για ένα τυχαίο κενό να περάσει τη γραμμή. Αν σταματήσετε στην πρώτη διέλευση, έχετε διαλέξει την πιο τυχερή στιγμή, οπότε το πραγματικό ποσοστό ψευδώς θετικών καταλήγει πάνω από το 5%, και μεγαλώνει όσο πιο συχνά κοιτάτε. Η τιμή p στην οθόνη δεν ξέρει ότι κρυφοκοιτάξατε, οπότε εξακολουθεί να δείχνει σαν να είχατε κοιτάξει μία φορά.

Η λύση είναι βαρετή και λειτουργεί: αποφασίστε το μέγεθος δείγματος πριν ξεκινήσει το τεστ, αφήστε το να φτάσει σε αυτό το μέγεθος, και διαβάστε το αποτέλεσμα μία φορά. Το να κοιτάτε στη μέση για να βεβαιωθείτε ότι δεν χάλασε κάτι είναι εντάξει. Το να σταματάτε επειδή ο αριθμός δείχνει καλός δεν είναι.

Τι λένε η Meta και το Google Ads για τη διάρκεια του τεστ

• Οι βέλτιστες πρακτικές A/B testing της Meta συνιστούν τεστ διάρκειας τουλάχιστον 7 ημερών, αναφέρουν ότι τεστ μικρότερα από αυτό μπορεί να δώσουν αδιευκρίνιστα αποτελέσματα, και περιορίζουν τα A/B τεστ στις 30 ημέρες. Η ίδια σελίδα προτείνει μεγαλύτερη διάρκεια αν οι πελάτες συνήθως χρειάζονται πάνω από 7 ημέρες για να μετατραπούν.
• Η Meta συνήθως προτείνει εκτιμώμενη ισχύ 80% ή υψηλότερη, την προεπιλεγμένη ισχύ εδώ. Τα αποτελέσματα A/B της δείχνουν ένα ποσοστό εμπιστοσύνης, και θεωρεί το 65% ή υψηλότερο ως νικητήριο αποτέλεσμα για ένα A/B τεστ. Αυτός ο αριθμός προκύπτει από τη δική της μέθοδο και δεν είναι το ίδιο πράγμα με το επίπεδο εμπιστοσύνης σε αυτή τη σελίδα, οπότε τα δύο δεν θα ταιριάζουν.
• Η Meta επίσης αποτρέπει τον ανεπίσημο έλεγχο με την ενεργοποίηση και απενεργοποίηση ad sets, επειδή τα κοινά μπορεί να επικαλύπτονται, και συνιστά τον ίδιο προϋπολογισμό και για τις δύο εκδόσεις.
• Το Google Ads συνιστά να αφήνετε ένα πείραμα να τρέχει 2 έως 3 εβδομάδες, εμφανίζει εξ ορισμού διάστημα εμπιστοσύνης 80% με άλλα επίπεδα κατόπιν αιτήματος, και σημειώνει τα στατιστικά σημαντικά αποτελέσματα με έναν μπλε αστερίσκο. Η στατιστική του μέθοδος χρησιμοποιεί jackknife resampling σε 20 κάδους ανά σκέλος, οπότε τα διαστήματά του επίσης δεν θα ταιριάζουν ακριβώς με ένα z-test.

Τι δεν κάνει αυτός ο υπολογιστής

• Συγκρίνει δύο εκδόσεις. Με τρεις ή περισσότερες, κάθε επιπλέον σύγκριση είναι άλλη μία ευκαιρία για ψευδή νικητή, και το απλό τεστ εδώ δεν προσαρμόζεται για αυτό.
• Ελέγχει ποσοστά μετατροπής, όχι έσοδα ανά επισκέπτη ή αξία παραγγελίας, που χρειάζονται διαφορετικό τεστ.
• Δεν είναι διαδοχικό τεστ. Υποθέτει ότι διαβάζετε το αποτέλεσμα μία φορά, στο μέγεθος δείγματος που σχεδιάσατε.
• Δεν μπορεί να πει αν ο διαχωρισμός σας ήταν δίκαιος. Αν μια έκδοση πήρε διαφορετικό κοινό, προϋπολογισμό ή ώρα της ημέρας, κανένας τύπος δεν το διορθώνει αυτό.

Αν προτιμάτε να μην κάνετε τους υπολογισμούς με το χέρι

Το Hermoso είναι μάρκετινγκ στον αυτόματο πιλότο. Ρωτήστε το τι να κλιμακώσετε, να παύσετε και να τεστάρετε μετά και διαβάζει κάθε διαφημιστική πλατφόρμα που έχετε συνδέσει, βάζει τις καμπάνιες με πολύ λίγα δεδομένα σε ξεχωριστή κατηγορία αντί να τις κρίνει, και δίνει σε κάθε προτεινόμενο τεστ μια υπόθεση, το ένα πράγμα που πρέπει να αλλάξει, τη μετρική που το κρίνει, έναν προϋπολογισμό και μια διάρκεια. Φτιάχνει επίσης on-brand παραλλαγές εικόνας και βίντεο για δοκιμή, και χτίζει καμπάνιες στους δικούς σας διαφημιστικούς λογαριασμούς, δημιουργημένες σε παύση. Λειτουργεί στην web εφαρμογή, ή μέσα στα Claude, ChatGPT και Cursor μέσω του MCP server του. Μόλις ένα τεστ έχει νικητή, ο δωρεάν υπολογιστής ROAS σας λέει αν είναι και κερδοφόρο.

Δωρεάν εργαλεία: · Υπολογιστής ROAS · Έλεγχος μήκους διαφημιστικού κειμένου

Συχνές ερωτήσεις

Πώς ξέρω αν το A/B test της διαφήμισής μου είναι στατιστικά σημαντικό;

Εισαγάγετε επισκέπτες και μετατροπές και για τις δύο εκδοχές. Ο υπολογιστής τρέχει ένα z-test δύο αναλογιών και δίνει δίπλευρη τιμή p. Σε επίπεδο εμπιστοσύνης 95%, μια τιμή p κάτω από 0,05 σημαίνει ότι η διαφορά είναι απίθανο να είναι τυχαία. Για 200 από 10.000 έναντι 245 από 10.000, το p είναι 0,031, οπότε κερδίζει το B.

Πόσους επισκέπτες χρειάζεται ένα A/B test;

Εξαρτάται από το ποσοστό μετατροπής σας και τη μικρότερη αύξηση που θέλετε να εντοπίσετε. Με ποσοστό μετατροπής 2%, ο εντοπισμός αύξησης 20% σε επίπεδο εμπιστοσύνης 95% και ισχύ 80% απαιτεί 21.109 επισκέπτες ανά εκδοχή. Μια αύξηση 10% απαιτεί 80.682.

Γιατί ο υπολογιστής λέει ότι δεν υπάρχουν ακόμη αρκετά δεδομένα;

Το z-test είναι μια προσέγγιση μεγάλου δείγματος. Ο υπολογιστής περιμένει μέχρι κάθε εκδοχή να έχει τουλάχιστον 5 μετατροπές και 5 μη μετατροπές, ένα κριτήριο που δίνεται στο NIST e-Handbook, πριν δώσει ετυμηγορία.

Μπορώ να σταματήσω ένα test μόλις φαίνεται σημαντικό;

Όχι, αν θέλετε το επίπεδο εμπιστοσύνης να σημαίνει αυτό που λέει. Ο επανειλημμένος έλεγχος και η διακοπή στην πρώτη σημαντική ένδειξη δίνει στην τύχη περισσότερες ευκαιρίες να περάσει τη γραμμή, οπότε το πραγματικό ποσοστό ψευδώς θετικών καταλήγει υψηλότερο από αυτό που επιλέξατε. Ορίστε πρώτα το μέγεθος δείγματος και διαβάστε το αποτέλεσμα μία φορά.

Πόσο πρέπει να τρέχει ένα A/B test του Meta;

Το Meta συνιστά τουλάχιστον 7 ημέρες, λέει ότι τα συντομότερα test μπορεί να είναι ασαφή, και επιτρέπει έως 30 ημέρες. Το Google Ads συνιστά 2 έως 3 εβδομάδες για πειράματα. Χρησιμοποιήστε την καρτέλα μεγέθους δείγματος με την ημερήσια επισκεψιμότητά σας για να δείτε πόσο χρειάζεται το δικό σας test.

Στέλνεται κάπου οτιδήποτε πληκτρολογώ;

Όχι. Οι υπολογισμοί τρέχουν στο πρόγραμμα περιήγησής σας. Δεν υπάρχει αίτημα δικτύου που να μεταφέρει ό,τι πληκτρολογείτε και τίποτα δεν αποθηκεύεται.