April 25th, 2017, YouGov
Vil det kommende valg til det britiske underhus kunne genrejse den tabte tillid til meningsmålinger?
I min forrige klumme beskrev jeg blandt andet professor Patrick Sturgis’ evalueringer af målingerne op til det engelske parlamentsvalg i 2015. Her forudsagde målingerne dødt løb – men det endte som bekendt med en klar sejr til de konservative. Og selv om målingerne, sådan rent statistisk set, hverken var værre eller bedre end målingerne ved flere af de foregående parlamentsvalg, så er der absolut plads til forbedringer!
Nu er der så, i utide, udskrevet nyt valg i Storbritannien, hvilket giver analyseinstitutterne en god chance for at revanchere sig. For efter Patrick Sturgis’ omfattende evaluering af 2015-valget kan man vel ikke forestille sig andet end at målingerne i denne omgang ligger i lod og vater - både på resultat og statistisk præcision?
Hmmmmm – hvis jeg tager udgangspunkt i styrkeforholdet mellem Conservative og Labour og ser på målingerne i ugen op til valgudskrivelsen, så svinger de fra et 9 procentpoints forspring i The Observer over 18 procentpoints forspring i The Guardian til vores (YouGov) 21 procentpoints forspring i The Times.
Altså ganske pæne udsving, men alle med så stor føring til Theresa May’s parti, at det virker højst usandsynligt, at vi ikke rammer resultatet rigtigt i den sidste ende – med alle mulige forbehold, naturligvis!
Men nu er det den statistiske præcision, der interesserer mig, og i Patrick Sturgis’ evaluering af valgdata fra 2015 ser han ikke dokumentation for særlig stor effekt af de forhold, som ellers ofte volder os problemer – valgdeltagelsen (turn-out), uærlige vælgere (shy tories) og sene holdningssving.
I stedet peger han på to andre forhold – nemlig stikprøvernes sammensætninger, som især havde problemer med uddannelse og politisk interesse, og ”herding”, hvilket er et begreb, som dækker over, at institutterne tilpasser deres vejematricer, så de dæmper de mest afvigende resultater.
Stikprøvernes sammensætning er en velkendt udfordring i branchen, som forøges med de stærkt faldende svarprocenter i telefon og udfordringer med at rekruttere alle segmenter til online-paneler. Det er dog en udfordring, som vi er vant til at håndtere.
Lidt sværere er det med ”herding”, som ikke har noget med uærlighed at gøre. Lad mig give et personligt eksempel. Før det danske valg i 2015 havde vi relativt ofte, og i det seneste halve år op til valget for det meste, DF større end Venstre. Dette blev undervejs stærkt problematiseret flere steder – blandt andet i Berlingske og i fagbladet Journalisten.
Nu ændrer jeg kun nødtvungent vejeprincip mellem valg, så jeg stod fast på trods af både internt og eksternt pres. Men da jeg skulle tilrettelægge stikprøven til valgdagens exit poll godkendte jeg ukritisk det første udtræk, som jeg fik forelagt – på trods af at det, modsat flertallet af vores seneste målinger, viste Venstre større end DF! Nu ved jeg naturligvis ikke, om jeg havde ret hele vejen eller om svinget fra Venstre til DF først kom meget sent – men min ukritiske accept af en stikprøve som afveg lidt fra vores normale undersøgelser på et kritiseret område, er et godt eksempel på herding!
Nuvel, nu er det, set fra min stol, blevet tid til et revanchevalg. Om Patrick Sturgis og institutternes egne evalueringer har båret frugt ved vi om 6 uger – jeg krydser fingre!
Klummen er oprindeligt publiceret i Berlingske tirsdag den 25. april 2017.
PA Images