Wie berechne ich die Größe einer Stichprobe für einen AB Test?

W

Um durch einen A/B-Test aussagekräftige Ergebnisse zu erhalten, muss im Vorfeld die Größe der benötigten Stichprobe bestimmt werden. Diese ist abhängig von vier Variablen: der Irrtumswahrscheinlichkeit, der Teststärke, der erwarteten Konversionrate der Kontrollvariante und der Effektgröße.

Irrtumswahrscheinlichkeit

Die Irrtumswahrscheinlichkeit eines Tests bestimmt in wie vielen Fällen ein Unterschied zwischen den Varianten erkannt wird, obwohl dieser nicht vorhanden bzw. zufällig ist (Typ-I-Fehler). In der Regel wählt man eine Irrtumswahrscheinlichkeit von 5 Prozent.

Teststärke

Die Teststärke definiert hingegen, mit welcher Wahrscheinlichkeit bei einem AB-Test ein existierender Unterschied zwischen den Varianten erkannt wird. Allerdings bedeutet eine höhere Teststärke auch eine größere Stichprobe. Aus diesem Grund hat sich eine Teststärke von 80 Prozent als Standard etabliert. Damit besteht eine Wahrscheinlichkeit von 20 Prozent, dass wir keinen signifikanten Unterschied zwischen den beiden Varianten messen, obwohl dieser besteht (Typ-II-Fehler).

Erwarteten Konversionsrate der Kontrollversion

Mit der erwarteten Konversionsrate der Kontrollversion geben wir an, wie das Verhältnis zwischen Versuchen und erfolgreichen Abschlüssen in der Kontrollgruppe ausfallen wird. Da das Ergebnis im Vorfeld unbekannt ist, handelt es sich um eine Schätzung auf Basis vergangener Ergebnisse oder eine Einschätzung darüber, wann ein Unterschied für einen überhaupt relevant wäre. Wenn bei 1.000 verschickten Mails bisher immer ca. 200 Empfänger ihre Mail geöffnet haben, würde die erwartete Konversionrate 20 Prozent betragen.

Effektgröße

Schlussendlich muss noch die Effektgröße bestimmt werden. Diese gibt an, um wie viel Prozent die anderen Varianten schlechter oder besser als die Kontrollvariante A sein müssten, damit ein statistisch signifikanter Unterschied messbar wäre. Eine Effektgröße von 10 Prozent würde bei einer erwarteten Konversionrate von 20 Prozent bedeuten, dass die B-Variante mindestens zwei Prozent schlechter oder besser sein muss. Die Konversionrate müsste folglich unter 18 oder über 22 Prozent liegen, damit ein Unterschied messbar wird. Wäre die B-Variante hingegen nur 1,5 Prozent besser, wären die Ergebnisse in diesem Fall nicht statistisch signifikant, obwohl die B-Variante vielleicht tatsächlich besser ist.

Berechnung der Stichprobengröße

Wer nun die Stichprobengröße für einen AB-Test berechnen möchte, kann auf verschiedene im Internet frei verfügbare Tools zurückgreifen. Zum Beispiel den Stichprobenrechner von Optimizely oder von Evan Miller. Alternativ kann man den Wert aber auch einfach selbst ausrechnen oder sich damit eine Formel in einem Tabellenkalkulationsprogramm basteln:

d9222-1qhdgbt6atmndd1dffl6l9w AB Testing

Z Alpha / 2 = Alpha entspricht der Irrtumswahrscheinlichkeit. Bei einer Irrtumswahrscheinlichkeit von 5 Prozent ist Alpha folglich 0,05. Geteilt durch zwei ergibt sich der Wert 0,025. Für diesen Wert müssen wir schlussendlich noch den Z-Score bestimmen, der in diesem Fall 1,96 beträgt. Der Z-Score bei zehn Prozent Irrtumswahrscheinlichkeit beträgt 1.645 und bei ein Prozent 2.576. Andere Irrtumswahrscheinlichkeiten werden ohnehin selten verwendet.

Beta ist die Teststärke bzw. der Z-Score der Teststärke. Eine Teststärke von 80 Prozent bzw. 0,80 entspricht einem Z-Score von 0,84.

p ist die erwartete Konversionrate der Kontrollgruppe und Delta die minimale Effektgröße.

Bei einem Beispiel bei dem die Irrtumswahrscheinlichkeit 5 Prozent, die Teststärke 80 Prozent, die erwartete Konversionrate 20 Prozent und die Effektgröße 10 Prozent beträgt, ergibt sich damit folgende Gleichung:

7635c-1f_57d0ytzbytfdtaj1rjhw AB Testing
a5629-1pwntfyn97pxstdm9tpr34q AB Testing

About the author

Jacob Fricke

Hi, ich bin Jacob. Ich arbeite als Fundraiser und Datenanalyst bei Campact. Mehr Informationen über mich findest Du auf dieser Seite.

1 comment

  • […] Multivariate-Tests benötigen sehr große Stichproben. Bei einem A/B-Test mit zwei Varianten benötige ich bei einer Conversionrate von zwei Prozent und einer Effektstärke von 10% nur 156.078 Testpersonen. Bei einem Multivariate-Test mit neun Varianten sind es hingegen 702.351 Personen (siehe auch: Wie berechne ich die Stichprobe für einen A/B Test). […]

By Jacob Fricke

Your sidebar area is currently empty. Hurry up and add some widgets.