Q: Millionen von Menschen haben keinen Internetzugang. Wie ist es möglich, dass Sie die Ansichten der ganzen Gesellschaft präsentieren?
A: Als das Internet noch neu war, war es in der Tat unmöglich, verlässliche Umfragen online durchzuführen, da zu wenige Menschen einen Internetzugang hatten. Jetzt ist ein Internetzugang in jeder relevanten demografischen Gruppe verbreitet, nach Angaben des Statistischen Bundesamtes nutzen inzwischen 90 Prozent der deutschen Bevölkerung das Internet. Online-Umfragen sind somit in der Lage, eine ausreichende Anzahl Frauen und Männer, über 60-Jährige und unter 30-Jährige sowie Menschen mit unterdurchschnittlichem und überdurchschnittlichem Einkommen zu erreichen. Nationale Umfragen, die repräsentative Quotenvorgaben einhalten, repräsentieren daher die gesamte Bevölkerung.
Q: Ist es einfacher für Institute, die Telefon-Umfragen durchführen, eine repräsentative Stichprobe zu erreichen, da heutzutage so gut wie jede*r über einen Telefonanschluss verfügt?
A: Nicht unbedingt. Es gibt eine Vielzahl von Gründen, warum Telefon-Umfrage-Institute Schwierigkeiten haben, eine repräsentative Stichprobe zu erreichen. Sie neigen dazu, besonders häufig Personen, die viel Zeit zu Hause verbringen oder am ehesten gewillt sind, mit Fremden zu sprechen, zu erreichen. Personen, die viel unterwegs sind, Anrufbeantworter nutzen, ungerne mit fremden Personen sprechen oder ausschließlich ein Mobiltelefon nutzen, werden weniger häufig erreicht.
Q: Aber vielleicht unterscheiden sich die Menschen in Ihrer Stichprobe, die alle online sind, in signifikanten Aspekten von denen, die nicht online vertreten sind, auch wenn sie der Allgemeinheit demographisch ähneln?
A: Alle Institute sehen sich mit der Herausforderung konfrontiert, nur die Meinungen und Ansichten von Personen zu berücksichtigen, die erreicht wurden und die Meinungen derer, die nicht erreicht wurden, schätzen zu müssen. Dabei ist der Ansatz von YouGov, Ergebnisse zu produzieren, die nicht nur demographisch repräsentativ, sondern auch Einstellungsrepräsentativ sind. Daher gewichten wir unsere Rohdaten nicht nur nach Alter, Geschlecht, Bildung und Region, sondern auch nach politischem Interesse, Wohnumfeld und dem Wahlverhalten bei der Bundestagswahl 2021 sowie bei der Europawahl 2019.
Q: Sie erwähnten „gewichten“. Zeitungsartikel über Umfragen sagen oft, die Daten wurden „gewichtet“. Was bedeutet das?
A: Jede repräsentative Umfrage beinhaltet eine Gewichtung, unabhängig davon, ob sie online, face-to-face oder am Telefon durchgeführt wurde. Dies wird getan, um sicherzustellen, dass die veröffentlichten Ergebnisse die Grundgesamtheit ganz und gar repräsentieren.
Ein Beispiel: Nach aktuellen Bevölkerungsschätzungen setzt sich die deutsche Bevölkerung aus 51 Prozent Frauen und 49 Prozent Männern zusammen. Angenommen, eine Umfrage wird von 50 Prozent Männern und 50 Prozent Frauen beantwortet. Um aggregierte Antworten zu berechnen (z.B. der Anteil der Menschen, die finden, dass Staatsausgaben erhöht werden sollten), würden in diesem Fall die Antworten der Männer leicht „runtergewichtet“ und die der Frauen leicht „hochgewichtet“, sodass die Studie repräsentativ für die gesamte Bevölkerung ist.
In Wirklichkeit ist diese Aufgabe natürlich viel komplexer als im Beispiel. So werden zahlreiche Faktoren wie Alter, Bildungsgrad, Region, Geschlecht, Wahlverhalten usw. in die Gewichtung miteinbezogen.
Q: Sind ihre Umfragen nicht durch Selbst-Selektion gefährdet, da Menschen mit stärkeren Ansichten zu einem Thema diese verzerren – und so nicht die Bevölkerung insgesamt repräsentiert wird?
A: Nein. Wenn wir bevölkerungsrepräsentative Ansichten erheben, wählen wir die Teilnehmer*innen zufällig aber gemäß unserer Quotenvorgaben aus. In der Einladung zur Befragung wird den Panelist*innen das Thema der Umfrage noch nicht genannt. Zusätzlich dazu erhalten alle eingeladenen Panelist*innen durch unser Incentive System die gleichen Anreize in Form von Tokens, an der Umfrage teilzunehmen. In Kombination führt dies dazu, dass sowohl stark interessierte Menschen als auch Personen mit weniger starken Ansichten gleichermaßen angesprochen werden, an der Studie teilzunehmen. Somit befragen wir eine ausgewogene Mischung von Personen mit unterschiedlich starken Ansichten zu den Themen. Darüber hinaus umfassen unsere Quoten und unser Gewichtungsschema auch Variablen zum politischen Interesse, was bedeutet, dass wir die Verteilung des politischen Interesses in der deutschen Bevölkerung berücksichtigen.
Q: Wie groß sind Ihre Stichproben – und wie vergleicht man die mit Stichproben von klassischen Methoden?
A: Die meisten bevölkerungsrepräsentativen YouGov Umfragen basieren auf einer Stichprobe von mindestens 2.000 Personen. Wir führen ständig Benchmarking und Qualitätskontrollen im Vergleich zu anderen Instituten, nationalen und internationalen persönlichen Erhebungen und neuen Volkszählungs-/Bevölkerungsdaten durch.
Q: Warum spielt die Stichprobengröße eine Rolle?
A: Weil die Gefahr eines zufälligen Stichprobenfehlers mit der Stichprobengröße zusammenhängt: Je kleiner die Stichprobe, desto größer ist die Gefahr eines solchen Stichprobenfehlers. In einer Stichprobe von 550 können wir sicher sein, dass in 19 von 20 Fällen der wahre Wert – also das Ergebnis, das rausgekommen wäre, wenn die gesamte Bevölkerung mit den gleichen Methoden befragt worden wäre – im Bereich von 4 Prozentpunkten (zufälliger Stichprobenfehler) innerhalb des veröffentlichten Ergebnisses liegt. Der zufällige Stichprobenfehler bei einer Stichprobe von 1000 Personen liegt bei 3 Prozent, bei einer Stichprobe von 1500 bei 2,5 Prozent und bei einer Stichprobengröße von 2000 bei 2 Prozent. Größere Stichproben erlauben auch einen Blick auf die Subgruppen, wie etwa die weiblichen Wähler*innen oder SPD-Wähler*innen.
Q: Gibt es nicht die Gefahr eines „Panel Effekts“: Das heißt durch die regelmäßige Befragung werden YouGovs Panelist*innen konditioniert und sind nicht mehr repräsentativ für die Wähler*innen als Ganzes?
A: Es kommt selten vor, dass die Panelteilnehmer*innen zu einer ähnlichen oder selben Frage (z.B. Wahlabsicht) mehrmals befragt werden. Paneleffekte sind damit nicht erheblich. Jedoch führen wir von Zeit zu Zeit Vergleiche zwischen den Ergebnissen von „neuen“ und „wiederholten“ Antworten durch, wobei wir jedoch in der Vergangenheit keine Variation gefunden haben.
Q: Wie können Sie sicher gehen, dass die Befragten nicht einfach schnelle, zufällige und ungenaue Antworten geben, anstatt ihre wahren Ansichten anzugeben?
A: Wie jedes Markt- und Meinungsforschungsinstitut können auch wir nicht gänzlich garantieren, dass kein*e einzige*r Befragte*r gelogen oder nicht ernsthaft geantwortet hat. Es existiert aber auch kein Anhaltspunkt, dass dies ein ernst zu nehmendes Problem ist. Manchmal befragen wir Teilnehmer*innen bei ausgewählten Fragen erneut, um die Konsistenz der Antworten zu überprüfen – und finden nur sehr wenige Fälle, in denen jemand gegenüber YouGov falsche Angaben macht. Es gibt allerdings Anhaltspunkte, dass viele Menschen gewillt sind, ehrlicher zu antworten, wenn sie Fragen anonym am Computer bearbeiten, als wenn sie dies gegenüber einem Fremden, wie z.B. einem*einer Interviewer*in, tun. Außerdem stehen sie nicht unter Zeitdruck, wenn sie einen Online-Fragebogen beantworten. Sie können sich so viel Zeit nehmen, wie sie möchten – ein Grund warum Online-Umfragen besser sind als Telefon- oder Face-to-face-Befragungen, besonders wenn es um komplexe Fragestellungen geht, die Zeit zum Nachdenken erfordern.
Q: Wie beugt man vor, dass z.B. extremistische Menschen aus jeglichen Richtungen sich im YouGov Panel anmelden, um die Ergebnisse zu beeinflussen?
A: Wenn wir politische Umfragen durchführen, ist die Mehrheit der Teilnehmer*innen proaktiv durch andere sorgfältig ausgewählte Websites und Offline-Quellen rekrutiert. Wir überwachen genau die Minderheit, die sich direkt über den Besuch der YouGov Website registriert. Gibt es plötzlich Abweichungen bei diesen Rekrutierten, behalten wir uns die Option vor, diese aus dem Panel auszuschließen. Es sollte aber beachtet werden, dass jede Organisation, die versucht, unsere Ergebnisse um 10 Prozentpunkte zu beeinflussen, dafür mehr als 5000 Menschen infiltrieren müsste. Ein solcher Versuch würde schnell entdeckt werden.
Q: Wie stellt YouGov sicher, dass die Umfragen „ehrlich und genau“ sind?
A: YouGov Deutschland arbeitet streng nach den Richtlinien des Berufsverband Deutscher Markt- und Sozialforscher e.V. (BVM), des Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM) und der Deutschen Gesellschaft für Online-Forschung (DGOF).
Political Research bei YouGov – Häufig gestellte Fragen (F.A.Qs)
Ist YouGov Deutschland Teil einer Regierung?
Nein, wir sind eine unabhängige kommerzielle Organisation, komplett getrennt von der Regierung und gelistet bei der Alternative Investment Market (AIM).
Hat die Regierung Einfluss auf die Arbeit die Sie machen?
Nein, wir sind eine unabhängige kommerzielle Organisation.
Führt YouGov nur Wahlforschung durch?
Nein. Auch wenn wir in der Gesellschaft für unsere Wahlforschung bekannt sind, macht dies nur einen kleinen Teil unseres Umsatzes in Deutschland aus.
Ist YouGov Political geführt von Unterstützern der Partei XYZ?
Unvermeidlich besteht das Political Team aus Menschen, die sich für Politik interessieren. Dabei repräsentieren sie aber die ganze Breite an politischen Ansichten. Als kommerzielles Markt- und Meinungsforschungsinstitut ist es unser Job, exakte, unabhängige und objektive Messungen durchzuführen und diese Ansichten und Meinungen zu berichten. YouGov verfolgt keine Parteipositionen oder -linien zu irgendeinem Thema.
Ich habe an einer Umfrage teilgenommen, die Ergebnisse wurden aber nicht veröffentlicht. Warum veröffentlichen Sie nur einen Teil der Ergebnisse?
Jedes Jahr führt YouGov eine Vielzahl von Umfragen für unterschiedliche Kund*innen durch. Die Mehrheit dieser Umfragen ist für den privaten Gebrauch durch unterschiedliche Gruppen, wie Unternehmen und Organisationen gedacht. Diese Umfrageergebnisse werden nicht unbedingt veröffentlicht. Die Entscheidung ob, wann und in welchem Umfang Ergebnisse veröffentlicht werden, liegt allein bei unseren Kund*innen.
Sind die Gerüchte, die ich über ein Umfrageergebnis gehört habe, wahr?
Wir kommentieren keine unveröffentlichten Ergebnisse oder Umfrageergebnisse, die nicht von uns durchgeführt werden. Unsere eigenen veröffentlichten Forschungsergebnisse sind mit detaillierten Ergebnistabellen auf der Website verfügbar.
Lehnen Sie auch die Zusammenarbeit mit bestimmten Kund*innen ab?
Ja, manchmal. Wir arbeiten mit Expert*innen, akademischen Forscher*innen, Interessengruppen und Parteien des gesamten demokratischen Spektrums. Dabei müssen alle Kund*innen mit dem arbeiten, was YouGov als faire, neutrale und ausgewogenen Fragen bewertet. Wir arbeiten in engem Kontakt mit unseren Kund*innen zusammen. Wenn Kund*innen aber auf Fragen bestehen, auf die diese Kriterien nicht zutreffen, lehnen wir eine Zusammenarbeit ab.
Sind Ihre Umfragen nicht verzerrt, da jede*r teilnehmen kann?
Prinzipiell kann sich jede*r registrieren, um an den YouGov Umfragen teilzunehmen, aber nur die Personen, die wir für eine bestimmte Umfrage kontaktieren, können an ihr teilnehmen – und das nur einmal. An den Fragen in der „Mitmachen“ Rubrik auf der YouGov Website darf jede*r teilnehmen, aber diese werden getrennt von den veröffentlichten Umfragen behandelt.