Wie lese ich eine Wahlumfrage? Eine Nachhilfestunde für SPD-Wahlkampfmanager

W

Mathias Richel ist einer der Gründer der Agentur Richel und Stauss. Diese betreute nicht nur den Wahlkampf der SPD auf europäischer Ebene, sondern auch in meiner schönen Heimatstadt Bremen. Und da sah es bereits vor dem letztem Sonntag nicht gut aus. Der SPD drohte der Absturz. Und nun wird es wohl tatsächlich darauf hinauslaufen, dass die Sozialdemokraten erstmals nur zweitstärkste Kraft hinter der CDU werden.

Eine fragwürdige Interpretation von Wahlumfragen

In der Woche vor der Wahl hat Matthias Richel einen Blogbeitrag seiner Agentur geteilt, wonach die Karten in Bremen noch einmal neu gemischt werden.

image-1024x782 Statistik

Danach hat es die SPD durch einen geschickten strategischen Schachzug – den Ausschluss einer Koalition mit der CDU – geschafft, den Abstand zur CDU wieder aufzuholen. Matthias Richel schrieb:

Der Trend in Bremen war eindeutig: INSA veröffentlicht am Dienstag einen 5% Vorsprung für die CDU. Dann kommt die Absage der SPD an die CDU. Und es sortiert sich neu.

Das machte er an zwei Umfragen fest:

Heute, am Donnerstag, ist Tag 6 nach der Gro-Ko Absage und uns liegt die erste Umfrage vor, die nach dieser Entscheidung erhoben wurde. Sie wurde im Auftrag des ZDF von der Forschungsgruppe Wahlen erhoben und zwar noch bis spät in den heutigen Donnerstag-Abend hinein. Frischer geht es nicht.Zum Vergleich steht die bisher aktuellste Umfrage, die von dem Meinungsinstitut INSA im Auftrag der BILD am Dienstag, den 21.5.2019 veröffentlicht wurde. Diese Befragung fand noch hauptsächlich vor der Pressekonferenz der SPD statt oder so kurz danach, dass die Befragten die Absage an die CDU noch nicht mitbekommen konnten (15.5.-20.5.)

Vergleichen wir die beiden Umfragen:

INSA / BILD (15.-20.5.2019):
SPD: 23%, CDU 28%, Grüne 18%, FDP 6%, Linke 11%, AfD 6%, BiW 2%

Forschungsgruppe Wahlen (FGW) / ZDF (21.-23.5.2019)
SPD: 24,5%, CDU 26%, Grüne 18%, FDP 5%, Linke 12%, AfD 7%, BiW 2%

Veränderungen:
SPD +1,5%, CDU -2%. RRG wächst von 52% auf 54,5%, Schwarz-Gelb sinkt von 34% auf 31%

Daraus zog Richel folgenden Schluss:

Im Vergleich zu der letzten vorliegenden Umfrage schrumpft der Abstand zwischen CDU und SPD von 5% auf 1,5% um – 3,5%. Das ist sehr viel in sehr kurzer Zeit. Ab jetzt kann man wieder sehr klar sagen: Das ist ein Kopf-an-Kopf Rennen.

Auf die Frage, ob man diese beide Umfragen, denn überhaupt miteinander vergleichen könne, führte er dann auch noch aus:

image-1-1024x441 Statistik

Matthias Richel ist bestimmt ein guter Wahlkämpfer. Sonst wäre er nicht so erfolgreich. Aber was er da schreibt, ist natürlich alles Unsinn. Und zwar gefährlicher Unsinn, wenn auf Basis solcher Interpretationen politische Entscheidungen gefällt werden.

Um kein Missverständnisse aufkommen zu lassen. Ich begrüßte die Aussage der SPD ausdrücklich. Vielleicht hat sie das Wahlergebnis sogar irgendwie beeinflusst. Aber das ließ sich aus den von Richel zitierten Zahlen nicht ableiten und Sonntagsfrage ist auch nicht Sonntagsfrage.

Stichproben bei Wahlumfragen

Wenn ein Umfrageinstitut eine Wahlumfrage für ein Bundesland erstellt, dann werden nicht alle Bewohner befragt. Die Institute interviewen eine Zufallsauswahl.[ref]Um es nicht noch komplizierter zu machen, gehen wir zunächst einmal davon aus, dass alle Befragten auf die Umfrage antworten, bereits wissen, welche Partei sie wählen und auch nicht lügen.[ref]

Die Größe dieser unterscheidet sich. Bei der Forschungsgruppe Wahlen sind es 1.665 Personen gewesen, bei INSA nur 1.000. Richel irrt also bereits, wenn er davon ausgeht, dass die Fallzahl bei allen Wahlumfragen identisch ist.

Auch die Auswahl der Stichprobe erfolgt unterschiedlich. Die Forschungsgruppe Wahlen ruft zufällig ausgewählte Telefonnummern an. Allensbach hingegen befragt die Personen von Angesicht zu Angesicht.[efn_note]Über die Methodik von INSA konnte ich leider keine Informationen finden[/efn_note] Das alles führt bereits dazu, dass Wahlumfragen von unterschiedlichen Instituten nur bedingt miteinander vergleichbar sind.

Statistische Fehler bei Wahlumfragen

Aber ignorieren wir das zunächst. INSA hat 1.000 Personen befragt. Davon gaben 230 an, dass sie die SPD wählen werden. Kann ich dann mit 100 % Sicherheit sagen, dass 23 % der Bremer die SPD wählen? Nein, es handelt sich immer nur um eine Schätzung. Wie gut diese Schätzung ist, geben Statistiker mit dem sogenannten Fehlerbereich an. Dieser berechnet sich wie folgt:

image-2 Statistik

In dieser Formel steht p für den Prozentwert, dessen Fehlerbereich ich ausrechnen will. n für die Anzahl der Befragten. 1,96 ist ein fester Wert um ein 95 % Konfidenzintervall zu berechnen.

image-3-1024x166 Statistik

Der Fehlerbereich für die CDU beträgt in der INSA-Umfrage 2,8 Prozentpunkte. Das bedeutet, mit zu 95 % Sicherheit beträgt der tatsächliche Wähleranteil der CDU in Bremen zwischen 25,2 % und 30,8 %. Der SPD-Wähleranteil hingegen zwischen 20,4 % und 25,6 %.[efn_note]Diese Werte ergeben sich, indem man einmal den Fehlerbereich vom erhobenen Wert subtrahiert und einmal addiert.[/efn_note]

Bei der Forschungsgruppe Wahlen ist der Fehlerbereich etwas niedriger, da die Stichprobe größer war. Der CDU-Wert liegt hier zwischen 23,9 % und 28,1 % und der SPD-Wert zwischen 22,4 % und 26,6 %.

Diese Zahlen sollten schon ausreichen, um deutlich zu machen, das es Unsinn ist, von einer Trendwende zu sprechen. Dafür ist der Fehlerbereich einfach zu groß.

Aber wenn man es genau wissen will, kann man auch ausrechnen, ob der Unterschied zwischen zwei Wahlumfragen statistisch signifikant ist. Dazu müssen wir den Fehlerbereich für die Veränderung von einer Umfrage zur anderen berechnen. Die Formel dazu lautet:

image-4 Statistik

Wenn wir den Fehlerbereich für die 2 Prozentpunkte Verlust der CDU berechnen wollen, dann setzen wir die Werte in die Formel ein und kommen auf einen Fehlerbereich von 3,5 Prozentpunkten.

image-5 Statistik

Das bedeutet, eine Veränderung von minus zwei Prozentpunkten zwischen den beiden Umfragen ist statistisch konsistent mit einem Zugewinn von 1,5 bis zu einem Verlust von 5,5 Prozentpunkten für die CDU. Das Gleiche gilt für die SPD. Hier beträgt die Fehlertoleranz 3,3 Prozentpunkte. Der Zugewinn von 1,5 Prozentpunkten kann also sowohl einem Verlust von 1,8 als einem Gewinn von 4,8 Prozentpunkten entsprechen.

Der Unterschied ist somit nicht statistisch signifikant. Es ließ sich nicht sagen, ob die SPD oder die CDU zu diesem Zeitpunkt im Rennen um die Macht aufgeholt oder verloren hatte. Laut der aktuellen Hochrechnung vom 28.05.2019 kommt die SPD übrigens auf 24,8 % und die CDU auf 26,3 %. Dieses Ergebnis wäre bei beiden Umfragen innerhalb der oben errechneten Fehlerbereiche gewesen. 

Systematische Fehler bei Wahlumfragen

Alle bisher gemachten Aussagen beruhen auf der Annahme, dass Umfrageinstitute, wenn von 1.000 Befragten 300 angeben die SPD zu wählen, den SPD-Wert mit 30 % angeben. Aber das tun sie nicht. Denn neben statistischen Unsicherheiten existieren bei Wahlumfragen systematische Unschärfen.

Die Interviewten wissen zum Zeitpunkt der Umfrage oft noch überhaupt nicht, welche Partei sie am Sonntag wählen werden. Andere verweigern eine Antwort oder sagen nicht die Wahrheit. Manche Wählergruppen sind besser am Telefon erreichbar als andere. Die Meinungsforschungsinstitute versuchen diese Fehlerquellen auszugleichen, indem sie die Antworten unterschiedlich gewichten. Dafür gibt es keine Standardformel, sondern jedes Umfrageinstitut hat seine eigene Methode. Die Forschungsgruppe Wahlen spricht von einer Projektion:

Die Projektion basiert auf der politischen Stimmung und bezieht zusätzlich in einem Modell längerfristig verhaltensrelevante Faktoren wie politische Grundüberzeugungen und Bindungen an Parteien aber auch taktische Überlegungen der Befragten ein. Hierfür werden im Politbarometer neben der eigentlichen Sonntagsfrage eine Reihe von weiteren Indikatoren erhoben, die Parteinähe in unterschiedlichen Dimensionen erfassen. Die Projektion liefert somit eine Aussage, welches Wahlergebnis nach Auffassung der Forschungsgruppe Wahlen zustande käme, wenn am nächsten Sonntag wirklich Bundestagswahl wäre.

Durch diese Gewichtungen fallen die Ergebnisse der Umfrageinstitute sehr unterschiedlich aus. Die New York Times hat vor der letzten US-Wahl Rohdaten aus einer Umfrage in Florida an fünf Umfrageinstitute gegeben und aufgrund unterschiedlicher Gewichtungen vier verschiedene Umfrageergebnisse erhalten:

image-6-1024x449 Statistik

Wahlumfrage ist also nicht Wahlumfrage. Und Wahlumfragen von unterschiedlichen Instituten sollte man nicht miteinander vergleichen.

Wahlumfragen ersetzen keine politische Überzeugungen

Nun könnte man zu Recht fragen, warum es mir nicht egal ist, wenn andere Menschen Wahlumfragen überinterpretieren. Der Grund ist sehr einfach. Es ist höchst problematisch, wenn solche Interpretationen letztendlich über politische Entscheidungen im Vorfeld oder auch wie hier in der Nachbetrachtung entscheiden. So sollte, so darf Politik nicht funktionieren.

Kevin Kühnert hat das verstanden und auf seiner Twitter-Seite folgenden Tweet an die erste Stelle geheftet:

Bildschirmfoto-2019-05-28-um-22.40.11-1024x300 Statistik

Daran sollte sich Matthias Richel und andere Personen aus dem SPD-Umfeld einfach mal ein Beispiel nehmen.

About the author

Jacob Fricke

Hi, ich bin Jacob. Ich arbeite als Fundraiser und Datenanalyst bei Campact. Mehr Informationen über mich findest Du auf dieser Seite.

By Jacob Fricke

Your sidebar area is currently empty. Hurry up and add some widgets.