2015-08-20 09:37

Kritisera gärna YouGov - men för rätt fel

Reaktionen på Metro/YouGovs opinionsundersökning verkar ofta gå ut på att YouGovs metodik har brister. Vilket stämmer, men Göteborgs Universitet har visat att bristen är att (fi), (v) och (mp) överrepresenteras i dessa opinionsundersökningar, inte (sd), som istället underrepresenteras.

Första stapeln för varje parti är faktiskt utfall. Andra stapeln är
de slumpmässigt valda som tackade ja till att svara. Tredje
stapeln är de som på eget intiativ anmälde sig att svara.
Källa: Göteborgs Universitet (PDF)
Så kritisera för all del på, men var då medveten vilka siffror man kritiserar.

Det är etablerat hur relativt små stickprov man behöver för en opinionsundersökning. Opinionsinstituten frågar naturligtvis inte fler än man behöver för ett någorlunda säkert resultat, eftersom varje respondent kostar pengar i om inte annat tid.

Man kan fundera på om de som nu kritiserar YouGov är medvetna om att de därmed kritiserar att (fi), (v) och (mp) har fått för höga siffror, medan (sd) fått för låga?

YouGov gav (v) 6.8%, (mp) 6.4% och (fi) 2.8%. Dessa siffror är alltså för höga enligt Göteborgs Universitets forskning i valprogrammet. Den stora underrepresentationen hittas hos (m), (s) och (sd).

Opinionsinstituten använder sedan metoder för att få fram ett representativt urval, t ex ålder, kön, bostadsort, utbildning, inkomst etc. Man kanske frågar 5 000 personer, och maskar av dessa ur 1 500 personer som är en mix som representerar svenska folket. Givet att dessa förstås svarat ärligt kring demografifrågor.

39 kommentarer:

  1. Så om YouGov antas ha samma fel som sist så borde SD eg landa på 12.9/8.9 x 25.2 = 36.5%

    DÖ is dead!

    SvaraRadera
  2. Man kan alltså konstatera att det är skillnad på "moderiktiga" åsikter och folks faktiska åsikter.
    Partierna med "rätta åsikterna" som V, MP och FI har ju helt klart en svans med "låtsasväljare" som gärna associeras med dessa partiers varumärken. FP sticker ju ut bland de borgerliga av någon anledning. Deras "brand" är väl inte direkt inne, men kanske tycker en del SD-väljare att de kan låtsas vara FP-väljare?
    Att "tråkiga" partier som M och S har många fler faktiska väljare beror nog på dels att de har ganska trista varumärken, men trygga. Många röstar på dem eftersom man ändå inte vill "slänga bort sin röst" på några av de svagare partierna.

    Eller så är valsystemet helt kaputt och en massa människor har röstat på fel parti av misstag..

    Intressant diagram i vilket fall..

    SvaraRadera
    Svar
    1. Såg en framträdande vänsterretoriker, och allmänt sympatisk person, som nu efterfrågade hur man ska "storma" YouGovs panel och få ner SD:s opinionssiffror. Vilket baserat på ovanstående alltså redan sker.

      Radera
    2. Ha ha ha.. För felaktig data hjälper ju verkligen de andra partierna att justera sina budskap för att fåna väljarna.. Som att fixa till dåliga försäljningssiffror genom att ändra siffrorna snarare än att sälja mer. Det brukar ju sluta lyckligt.

      Radera
    3. Vilken framträdande vänsterretoriker och i vilket forum?

      Radera
  3. Tendensen bland folk att skämmas över sitt Sd-stöd har troligtvis minskat rejält sen GU:s undersökning genomfördes, samtidigt får ofta Sd höga siffror på nätundersökningar, absolut inte omöjligt att de ligger för högt i den här undersökningen.

    SvaraRadera
  4. Om man väljer att nu kritisera YouGovs tillförlitlighet för att man inte är bekväm med utfallet, så skulle jag säga att det faller under "Confirmation Bias, konfirmeringsbias". Inom trading är det allt som oftast ett kostsamt misstag, att enbart leta efter information som bekräftar våra egna uppfattningar och förkasta allt som motsäger dem

    SvaraRadera
    Svar
    1. Även inom politik kan också vara ett kostsamt misstag.


      Att kritisera Yougov för deras metodik finns det dock stöd för - det är bara att titta på diagramen och se hur snett de varit på det, iofs har andra undersökningar också varit snett på det, men tydligen inte lika mycket.

      Radera
  5. Just den här mätningen kanske gjordes lite för tidigt innan alla skolor kommit igång. Kan påverka urvalet t.ex. om FP har många skollärare på semester. De anger konstigt nog inte förändringarna. M:s förslag idag att införa en extra karensdag och sänka a-kassan är knappast en opinionsvinnare. Åsså beklagar de sig över en prognos 2½% ökade kostnader under kommande 5 år, när offentliga utgifter ökade med hela 30% under deras 8 regeringsår.

    SvaraRadera
    Svar
    1. Intressanta siffror. Källan?

      Radera
    2. Den här Excel-filen:
      http://www.scb.se/sv_/Hitta-statistik/Statistik-efter-amne/Nationalrakenskaper/Nationalrakenskaper/Nationalrakenskaper-kvartals--och-arsberakningar/Aktuell-Pong/22918/Tabeller/376984/
      Härifrån:
      http://www.scb.se/sv_/Hitta-statistik/Statistik-efter-amne/Nationalrakenskaper/Nationalrakenskaper/Nationalrakenskaper-kvartals--och-arsberakningar/#c_li_377031

      Flik "Tot_off" rad 50.
      2031 miljarder år 2014 mot 1553 miljarder år 2006. En uppgång med 477 miljarder kr/år. Det är alltså hela offentliga sektorns utgifter, statsbudgeten är knappt hälften av detta. Allt från skatter, avgifter, vinstudelningar, försäljningar m.m.

      Radera
    3. Komiskt nog gormar skrivvänstern om borgarnas "nedskärningar". Det är mycket tacksamt för borgarna så klart eftersom många röstar på dem därför att de lurats tro på att borgarna står för nedskärningar och skattesänkningar.

      Radera
    4. Helt rätt, det är många som inte förstår att det faktiskt blev en sådan ökning av både utgifter och inkomster, trots skattesänkningar och bidragsminskningar. Mycket går ju på autopilot dock (tex pensioner och volymer i äldreomsorg).

      Radera
    5. Den här kommentaren har tagits bort av skribenten.

      Radera
    6. Offentliga utgifter minskade bara ett år av 20 år i dokumentet, med 0.9% år 1996 under Göran Perssons socialdemokratiska regering.

      Radera
    7. Jovisst, allt räknas bara upp på autopilot i svensk politik numera. Det har ju inte genomförts någon politisk reform sedan 1990:talet då vi gick med i EU, ställde om försvaret, tillät friskolor, kommunaliserade statsskolan, införde nya pensionssytemet. Men vad har politikerna gjort senaste 15 åren? Dividera beloppen politikerna nämner med 2000 miljarder för att få sinne för proportionerna.Det är sällan de kommer upp i mer än en promille. Så "styrs" landet. SD föreslog nån slags industripolitik för 0.025% av off.utg.

      Radera
    8. Några typiska reformer är ju att faktiskt minska inkomstskatterna och det generella skatte- och utgiftstrycket. Skatter och offentliga utgifter har ju stigit långsammare än BNP. Jämför kvoten totala skatter vs total BNP.

      År: skatt / utgift = skattekvot
      2000: 1 166 / 2 380 = 49,0%
      2006: 1 425 / 3 099 = 46,0%
      2014: 1 670 / 3 914 = 42,7%

      Det är ändå en viss minskning. Man kan till exempel se att hushållens inkomst- och förmögenhetsskatter gått från 547 miljarder 2006 till 591 miljarder 2014, +8%, vilket är långsammare än ekonomins nominella ökning på +26%.

      Jag kan hålla med om att inte mycket hänt sedan 2009/2010 vad gäller statsbudgeten.

      Radera
    9. Under borgarnas regering ökades skattetrycket med 30%, 477000000000 kronor om året. Vad är det du försöker låtsas inte fatta med det, Joakim Persson? Hur kan de spendera 30% MER om året om de har SÄNKT skatten??? Är det för att du inte klarar av att fatta vad skatt är för någonting? Du kanske gissar att Fredrik Reinfeldt personligen donerat alla extra tusentals miljarder som offentlig spenderat under hans tid vid makten, eller? Är det så svårt för dig att fatta att du är totalt grundlurad?

      Radera
    10. 12 hela försvarsbudgetar mer VARJE ÅR. Ändå har de tillsammans med sossarna beslutat att fortsätta nedrustningen under denna mandatperiod.

      Radera
  6. Tolkningen av SD:s resutat kan vara att det är den "lilla" aktiva SD-svansen som syns på nätröstningar men att den inte räcker till för att påverka resultatet när man bara får rösta en gång. Således är SD-väljare i allmänhet lika ideologiskt lata som övriga högerpartier, medan the religiösa vänsterfanatikerna är mer ideologiskt aktiva och gärna anmäler sig frivilligt för att dikten skall överträffa verkligheten.

    SvaraRadera
  7. Jag tror man måste ta denna undersökning på allvar.

    Alla opinionsundersökningars akilleshäl är urvalet. Datorpaneler är inte sämre än andra urval. Vi vet att folk har blivit mer generellt obenägna att svara med resulterande allt större bortfall, vi vet också att man i t.ex. telefonintervjuer tenderar att inte svara helt ärligt om man sneglar åt SD. "Självrekryterade" paneler betyder inte heller vad vissa verkar tro det innebär, osv.

    Inget institut kan således utan att fara med osanning kunna säga sig ha ett slumpmässigt urval, alla är tvungna att leva med skeva "biased" datamängder. Allt beror på efterbehandlingen av dessa data och de institut som har bäst metodik och algoritmer för detta kommer närmast sanningen.

    Vad gäller absoluta tal är det enda rättvisa sättet att värdera de olika instituten är hur väl deras förutsägelser stämmer med kända utfall, dvs. i detta fall valresultat och då finns ingenting som talar för att Sentio och Yougov skulle vara sämre än t.ex. Novus (snarare tvärtom), det institut vars chef har fått massor av gratis mediautrymme för att förtala sina konkurrenter. SVT:s policy är f.ö. ett skämt.

    Nu tror jag man inte ska stirra sig blind på absoluta tal, utan derivator (dvs. förändringar) - och alla institut (med något undantag) pekar åt samma håll - en dramatisk ommöblering av det svenska politiska landskapet med ett nästan exponentiellt växande SD på de "gamla elefanternas" bekostnad. Detta är den stora frågan - att ett parti med mycket tveksamma företrädare (nu och än värre förflutet) närmar sig makten allt mer pga. av gängse medias och politikers monumentala oförmåga att hantera vanliga människors växande problem och oro inför framtiden.

    Metodikfrågor blir i det ljuset en pseudodebatt och ytterligare bekräftelse av oförmåga och mörkläggning för presumtiva SD-röstare.

    SvaraRadera
  8. Enstaka opinionsmätningar är kanske inte så intressanta, men den långa trenden är det definitivt.

    Se bilden på den senaste poll of polls. Väldigt tydliga och dramatiska opinionsförändringar.

    SvaraRadera
  9. Även om SD varit underrepresenterade i andra paneler har de av någon anledning aldrig varit det i Yougovs – och då behöver man givetvis fråga sig varför det råkar vara så. Viktningen i sådana där paneler bygger inte enbart på kön, ålder, etc, utan också på vad man uppger sig ha röstat på i senaste valet. När man ansluter sig till en panel är det alltså "smart" att uppge något parti som gör att ens enkätsvar oftare blir fram- än bortviktade. En 20-årig man från Arvidsjaur som påstår sig ha röstat på FP kommer definitivt att räknas oftare än en 67-årig kvinna från Eksjö som brukar rösta på KD, bara som exempel.

    Vad gäller de demografiska viktningsparametrarna finns åtminstone en teoretisk möjlighet att förhindra att de manipuleras. Men inte parametern vad man röstade på i senaste valet, eftersom uppgiften ju aldrig kan kontrolleras. Att försöka manipulera en självrekryterad panel för ett visst partis räkning är alltså relativt enkelt om några ger sig den på det.

    SvaraRadera
    Svar
    1. Fast vad jag förstått så är det just äldre kvinnor som det finns minst av i panelen så om man vill manipulera så är det 78-årig kvinna eller något liknande man ska utge sig för att vara. Bosatt utanför storstäderna också givetvis.

      Radera
  10. All kan bevisas med statistik... Ett par konstiga saker:
    (1) Att en fil dr i statsvetenskap + Novus VD (YouGovs närmaste konkurrent) skrivit en artikel i DN där de säger att SD är klart överrepresenterat i självutnämnda webpaneler:
    http://www.dn.se/debatt/daliga-undersokningar-ger-uppseendevackande-resultat/
    http://www.dn.se/nyheter/politik/sd-storsta-parti-hos-yougov/
    (2) I bilden ser man att det inte är någon större skillnad på slumpmässigt utvalda eller självvald panel för SD. Hur förklarar ni det? Det är ju det sistnämnda som är YouGovs stora andel och som ni tar upp som kritiserat här. Jättekonstigt faktiskt.

    SvaraRadera
    Svar
    1. 2. Har du tittat på bilden själv innan du kom till den slutsatsen, om inte så titta på den nu och se ifall det verkligen är sån liten skillnad...

      Radera
    2. Japp, 8,9 resp 9,1%, obefintlig skillnad. Och det är bara en av alla konstigheter.

      Dessutom har SIFOs undersökning nu kommit som bara ger SD 17,8% och då måste alla seriösa människor fråga sig hur YouGov kan ha gett dem mer än dubbla ökningen sen valet och Sentio nästan lika mkt. Just dessa två institut använder självanmäld webpanel. De är därför mycket lätta att infiltrera, det räcker med något hundratal entusiastiska högerextremister med för mkt fritid. Men det är faktiskt ännu värre än så. Jag testade just att registrera mig på YouGov. Två gånger, med två olika e-mail men samma IP och cookies disablade. Det betyder att en enda person på en dag kan registrera sig uppåt 1000 ggr om han är flitig och har ett lager e-mailadresser. Det betyder att YouGov och Sentio är direkt olämpliga för att mäta väljaropinioner. Och en affärsidé kan ju vara att registrera sig någon tusental gånger och sen sälja sin åsikt, därmed är dessa institut värdelösa även för annat än politiska åsikter.

      Radera
    3. Titta nogrannare, titta t.ex på staplarna längst till vänster. Tripp, trapp, trull - en faktor två i fel i sita steget. Mönstret repeteras - ibland blir det mer överskattning i sista stapen ibland mer underskattning. Ifall man överlag tycker att högra stapeln ungefär är lika stor som vänsterstapeln och att skillnaden mot vänsteratapeln är ungefär som mittanstapeln så skall man nog skaffa glasögon.

      Radera
    4. Som du dock nämner så verkar metodiken ganska tvivelaktig - diagrammet bekräftar detta. Att man öpp ar upp för att manipulera resultatet gör ju att folk med för mycket fritid kan syssla med sånt - att utgå från att det är samma grupperingar som har för mycket fritid varje gång kräver isf en motivering, någon sådan har man inte gett.

      Radera
  11. Och SD brukar få mycket högre siffror hos YouGov än andra på senare tid iallafall. Också svårt förklara med tesen ni ansatt ovan:
    http://www.di.se/artiklar/2015/8/20/sd-storsta-parti-hos-yougov/

    SvaraRadera
  12. En förklaring jag läst är att undersökningen skedde under samma tid som morden på IKEA......

    SvaraRadera
    Svar
    1. Tja, halva undersökningen skedde före mordet, sedan tog det ett par dagar innan de flesta detaljer runt mordet var kända. Så jag skulle nog säga att ca 1/3 faktiskt påverkades av mordet.

      Tror att SD reklamkanpanj ... eller mer exakt, skrikvänsterns respons till den, gjorde större skillnad.

      Radera
  13. En förklaring jag läst är att undersökningen skedde under samma tid som morden på IKEA......

    SvaraRadera
  14. Eller våldtäckten i...
    Eller gruppvåldtäckten i ...
    Eller skottlossningen i ...
    Eller granatkastningen/arna i ...
    Ja, ni vet ju själva.
    I så fall " störs" ju utfallet ständigt.
    Eller vi kan kanske säga: det ger alltid en sann bild av nutida Sverige!

    SvaraRadera
  15. Kolla in siten www.status.st så ser ni alla undersökningarna sammanfattade och slipper lyssna på ljugmedia som vill förminska Sd och svenskarna.

    SvaraRadera
    Svar
    1. Tar aldrig ljugmedia på allvar, nånsin.

      Radera
  16. På SVT/Aktuellt hävdade man precis att SD alltid är överrepresenterat i YouGov....
    Antar att man då ser de andra opinionsinstituten (och inte verkligheten) som facit.

    Förnekelsen i PS är pinsam... igen...

    SvaraRadera
  17. Det märkliga är allt snack om "självutnämnd panel". Är själv med i YouGovs panel och jag tror ingen är med för att "fixa" en opinionsundersökning. Folk går med för att samla poäng och få lite gratissaker. Man får mail om undersökningar och så tar det 5-10 minuter att göra dessa. Undersökningar om exempelvis "Vad skulle du rösta på" har alltid varit en extrafråga som kommer efter ordinarie undersökning. Det är alltså ganska omständligt att vara med i YouGov för att manipulera en undersökning. Du måste nämligen klicka dig igenom en massa frågor för att eventuellt få frågan om valet.

    Har dock varit med i liknande undersökningar från Novus. Då ringer dessa och jag måste berätta för en person över telefon vad jag skulle rösta på. Vi vet att den typen av undersökningar ger sämre resultat för SDs väljare då dessa oftast skäms (vilket man kan fundera över på många sätt).

    Då undersökningarna görs online och inte på telefon så kan också fler olika typer av personer vara med. Alla har inte möjlighet att prata i telefon om dagarna eller kvällarna när panelen söker just dig.

    Vi får väl se vad lite andra undersökningar kommer fram till framöver. Personligen ser jag ju gärna att mer fokus läggs på smink och plåster. Det är tydligen stort problem där ute.


    SvaraRadera
    Svar
    1. Bejjan: Du får tro vad du vill, men det räcker med att kolla hur snett på det de har varit med den självutnämnda panelen för att inse att det inte är en speciellt bra metod.

      Kanske är det så att andra resonerar annorlunda än vad du gör, kanske är det så att bara för att du resonerar på ett visst sätt så kanske det inte är speciellt representativt för hur andra som deltar resonerar.

      Radera

Related Posts Plugin for WordPress, Blogger...