Wenn Fundraiser verschiedene Mailings miteinander vergleichen, dann ist für sie neben der Anzahl der Spenden, die Durchschnittsspende eine wichtige Kennzahl. Dabei handelt es sich um das arithmetische Mittel – also den Durchschnitt – aller Spenden. Die Formel zur Berechnung lautet:
Als Beispiel für dieses Posting habe ich in diesem Google Sheets die Spendenergebnisse von zwei fiktiven Mailings hinterlegt.
Wenn ich die Durchschnittsspende berechne, komme ich auf 116,68 EUR für das erste Mailing und auf 55,32 EUR für das zweite Mailing. Die Funktion dazu lautet in Google Sheets AVERAGE.*
Das Mailing 1 ist also viel besser. Oder?
Nicht wirklich. Denn wenn wir einen Blick auf die einzelnen Spenden werfen, dann sehen wir, dass auf das Mailing 1 eine Spende von 1000 EUR einging. Dabei handelt es sich um einen sogenannten Ausreißer. Der Betrag liegt um vielfaches höher als die übrigen Beträge. Die Durchschnittsspende wird dadurch verfälscht. Ohne diese Spende läge der Durchschnitt bei 64,05 EUR.
Bereinigte Durchschnittsspende
Wie können wir beim Vergleich von zwei Mailings solche Ausreißer ausklammern? Kai Dörfner schlägt vor, eine bereinigte Durchschnittsspende zu ermitteln. Dazu werden alle Spenden über 150 EUR bei der Berechnung des Mittelwerts nicht berücksichtigt. Eine andere Option kommt von Karsten Hoffmeyer. Im Fundraising-Wiki plädiert er dafür, die 2,5 % höchsten und niedrigsten Spenden (also alles jenseits von zwei Standardabweichungen) auszulassen.
Der Durchschnittswert des ersten Mailings verändert sich durch diese Korrekturen in beiden Fällen auf 64,05 EUR. Der Ausreißer über 1.000 EUR wird also jeweils in der Berechnung ignoriert.
Modus und Median
Neben dem arithmetischen Mittel bietet sich auch noch der Modus und der Median zum Vergleich von Spendenmailings an. Beide sind wesentlich unempfindlicher gegenüber Ausreißern. Der Modus ist der am häufigsten gegebene Wert. Der Median ist derjenige Wert, der die geordnete Reihe der Spendenbeträge in die oberen und unteren 50 Prozent aufteilt. Somit ist die Anzahl der Messwerte über und unter dem Median gleich. In Google Sheets stehen uns für die Berechnung die Funktionen MODE und MEDIAN zur Verfügung.
Der Modus beträgt in unserem Beispiel für das erste Mailing 56 EUR und für das zweite Mailing 6o EUR. Der Median hingegen ist für das Mailing 2 kleiner. Er beträgt nur 58 EUR im Vergleich zu 65 EUR für Mailing 1.
Welchs T-Test
Allen diesen Maßen ist allerdings gemein, dass sie keine Aussage darüber erlauben, ob sich die durchschnittliche Spendenhöhe auf die beiden Mailings tatsächlich signifikant unterscheidet oder die Abweichung im Mittelwert oder Median nur Zufall ist.
Um dies zu bestimmen, eignet sich ein Zweistichproben-t-Test mit ungleichen Standardabweichungen – auch bekannt als Welch Test.
Für diesen Test benötigst Du den Mittelwert, die Standardabweichung und die Anzahl der Spenden beider Mailings. Anschließend kannst Du diese Werte einfach in den Signifikanzrechner eingeben, welches ich in dieser Google Tabelle hinterlegt habe. Dieser zeigt Dir anschließend an, ob sich die Durchschnittsspende der beiden Stichproben signifikant unterscheidet.
Für alle die es genauer wissen wollen, erkläre ich in drei Schritten die Formeln dahinter.
Schritt 1: Berechne die Test-Statistik
Die Formel für den Welch-Test lautet:
Wobei
- x1 = Mittelwert des ersten Mailings
- x2 = Mittelwert des zweiten Mailings
- s1 = Standardabweichung des ersten Mailings
- s2 = Standardabweichung des zweiten Mailings
- n1 = Anzahl der Spenden auf das erste Mailing
- n2 = Anzahl der Spenden auf das zweite Mailing
Die Funktionen in Google Sheets zur Berechnung lauten AVERAGE, STDEV und COUNT. In Google Sheets errechne ich darüber einen Wert von 1,22. (Siehe Beispiel in Google Sheets)
Schritt 2: Berechne die Anzahl der Freiheitsgrade
Die Formel zur Berechnung der Freiheitsgrade lautet:
Wobei:
- s1 = Standardabweichung des ersten Mailings
- s2 = Standardabweichung des zweiten Mailings
- n1 = Anzahl der Empfänger des ersten Mailings
- n2 = Anzahl der Empfänger des zweiten Mailings
Das Ergebnis lautet 20. (Siehe Beispiel in Google Sheets)
Schritt 3: Berechnung des P-Wertes
Mit der Test-Statistik und den Freiheitsgraden lässt sich nun einfach der P-Wert errechnen. In Google Sheets geht dies über die Funktion TDIST(x; Freiheitsgrade; Seiten).
- x ist der Wert der T-Statistik. In unserem Fall 1,22.
- Freiheitsgrade entspricht der im zweiten Schritt errechneten Zahl der Freiheitsgrade
- Seiten gibt an, ob ein ein- oder zweiseitiger Test durchgeführt werden soll. Vereinfacht gesagt, wird bei einem einseitigen Test nur überprüft, ob die Variante besser als die Kontrollvariante ist. Es wird allerdings keine Aussage darüber getroffen, ob sie eventuell signifikant schlechter ist. Mehr dazu im Eintrag zu ein- und zweiseitigen Tests in der englischsprachigen Wikipedia.
Als Ergebnis erhalten wir einen P-Value von 0,24. Was bedeutet dies? Demnach besteht eine 24-prozentige Wahrscheinlichkeit, dass wir einen solchen Unterschied in den Mittelwerten sehen, wenn Mailing 1 und 2 identisch wären – der Unterschied also ein reines Zufallsprodukt ist. Das ist besser als ein Münzwurf, aber immer noch sehr hoch. Von einem statistisch signifikanten Unterschied spricht man in der Regel erst, wenn die Wahrscheinlichkeit nur noch 5 Prozent beträgt. Der P-Value also unter 0,05 liegt.
* Ich verwende aus Gewohnheit die englischen Funktionen. Dir werden aufgrund deiner Einstellungen unter Umständen die deutschen Funktionen angezeigt.
Schreibe einen Kommentar