Die 3 wichtigsten Antworten zu Multivariate Testing

D

Während eines A/B-Testes (Split-Test) verändere ich immer nur ein Element eines Mailings oder einer Seite. Zum Beispiel einen roten vs. einen grünen Button. Was aber wenn ich nicht nur die Farbe des Buttons, sondern auch die Beschriftung testen will? In diesem Fall habe ich zwei Möglichkeiten. Erstens ich teste zunächst die Farbe und dann die Beschriftung. Ich führe also mehrere A/B-Tests hintereinander durch. Oder ich setze auf multivariate Testing und verändere innerhalb eines Tests mehrere Variablen auf einmal.

Multivariate Testing: Ein Beispiel auf einer Spendenseite

Angenommen ich habe auf einer Spendenseite einen roten Button mit dem ich das Spendenformular abschließe. Zusätzlich befindet sich auf der Seite ein Bild. Im Rahmen eines Multivariate-Tests will ich herausfinden, ob bestimmte Kombinationen aus Button und Bild die Anzahl der Spenden erhöhen. Dazu muss ich zunächst festlegen, welche Button-Varianten und welche Bild-Varianten ich testen will. In unserem Beispiel wären das:

  • Button 1: „Ich spende für die Aktion“
  • Button 2: „Spenden“
  • Button 3: „Jetzt spenden“
  • Bild 1: Foto mit Tieren
  • Bild 2: Foto mit Menschen
  • Bild 3: Foto mit Landschaft

Die Anzahl der Varianten berechne ich mit dieser Formel:

Anzahl der Varianten des ersten Elements x Anzahl der Varianten des zweiten Elements x (…) = Anzahl der Varianten ingsesamt

In unserem Beispiel sind es drei mal drei Varianten. Also insgesamt neun Varianten, die ich gegeneinander testen müsste:

  • Button 1 und Bild 1
  • Button 1 und Bild 2
  • Button 1 und Bild 3
  • Button 2 und Bild 1
  • Button 2 und Bild 2
  • Button 2 und Bild 3
  • Button 3 und Bild 1
  • Button 3 und Bild 2
  • Button 3 und Bild 3

Vorteile von multivariate Testing

  • Es können mehrere Varianten schnell gegeneinander getestet werden.
  • Es können mehrere Variablen gemeinsam getestet werden. Das hat den Vorteil, dass wir gleich sehen, ob bestimmte Kombinationen besonders erfolgreich sind. Zum Beispiel kann es sein, dass der Erfolg der Button-Beschriftung von dem verwendeten Bild abhängig ist.

Nachteile von multivariate Testing

  • Sie sind selten sinnvoll, da Interaktionseffekte zwischen verschiedenen Variablen nicht sehr häufig vorkommen.
  • Multivariate-Tests benötigen sehr große Stichproben. Bei einem A/B-Test mit zwei Varianten benötige ich bei einer Conversionrate von zwei Prozent und einer Effektstärke von 10% nur 156.078 Testpersonen. Bei einem Multivariate-Test mit neun Varianten sind es hingegen 702.351 Personen (siehe auch: Wie berechne ich die Stichprobe für einen A/B Test).
  • Die Wahrscheinlichkeit für ein statistisch signifikantes Ergebnis steigt, wenn keine Korrektur bei der Auswertung des Tests vorgenommen wird. Bei jeder getesteten Variante beträgt die Chance, dass die Nullhypothese (kein Unterschied zwischen den Varianten) als falsch erkannt wird, obwohl sie in Wirklichkeit wahr ist, fünf Prozent. Wenn ich nun 20 Varianten teste, dann werde ich mit ziemlicher Sicherheit ein signifikantes Ergebnis erhalten, selbst wenn keine Variante besser ist. Um diesem Effekt entgegenzuwirken, existieren verschiedene Korrektur-Methoden (z.B. Bonferroni)
  • An den Ausführungen im letzten Absatz zeigt sich bereits ein weiterer Nachteil von Multivariate-Tests. Sie sind viel schwieriger und komplexer in der Durchführung und der Auswertung als A/B-Tests.

Wann sollte ich multivariate Testing verwenden?

Es gibt aus meiner Sicht nur einen guten Grund für einen Multivariate-Test. Wenn ich davon ausgehe, dass sich die von mir getesteten Variablen gegenseitig beeinflussen. Ansonsten sollte man immer auf klassisches A/B-Testing setzen.

About the author

Jacob Fricke

Hi, ich bin Jacob. Ich arbeite als Fundraiser und Datenanalyst bei Campact. Mehr Informationen über mich findest Du auf dieser Seite.

Add comment

Your sidebar area is currently empty. Hurry up and add some widgets.