2011-09-15

Fooled by randomness: Det finns inget samband mellan antal villaavslut och prisökningar

Fick mycket relevant kritik från en läsare angående förra inlägget om sambandet mellan omsättning och prisökningar på villamarknaden. Jag hade fel och lurade mig själv. Naturligtvis skall man köra korrelationen på de procentuella förändringarna istället för på trenden.

Inget samband mellan antal avslut och prisökningar
för villor i Stor-Stockholm

Och de procentuella förändringarna visar sig vara betydligt mer slumpmässiga, även om den som försöker hitta mönster ser fallande omsättning när priset föll 2007-2009 eller nu under 2011.

Med korrelationen mellan de procentuella förändringarna i avslut och pris är bara 0.05. Nästan ingen alls.

Jag gick alltså själv i fällan att söka mönster där mönster inte finns. Iaf inte mönster som går att visa med något så enkelt som korrelation.

Rätt skall vara rätt. Man kan fortfarande naturligtvis anse att fallande priser ger fallande omsättning, men inte baserat på korrelation. Det blir en åsikt, inte enkel matematik eller någon absolut sanning.

Jag har alltså själv fallit i Talebs Fooled by Randomness-fälla i förra inlägget och medger detta här och nu.

Såg förresten en kommentar till en artikel i DI där kommentatorn omnämnde mig som "den fete och fule bondläppen Cornucopia". Detta angående bostadsbubblan. Tyvärr censurerade DI:s moderatorer bort denna kommentar, men jag bevarar den till eftervärlden ovan då den är väldigt talande på många sätt. Fast kanske inte som kommentatorn avsåg. Har iaf lagt till omdömet till bloggens om-sida.
Kommentarer kräver registrering, t ex hos Blogger, Google, Yahoo, Wordpress eller annan OpenID-leverantör. Det är snabbt och enkelt att registrera sig hos Verisigns OpenID-tjänst eller MyOpenId, som kan rekommenderas, alternativt använd Facebook via tredjepartstjänsten Facebook-OpenId. Håll en god ton i kommentarerna, respektera övriga kommentatorer och läsare samt håll er till ämnet. Brott mot svensk yttrandefrihet, inklusive hets mot folkgrupp, uppmaning till brott, eller personliga detaljer om privatpersoner och uppenbar reklam, inklusive politisk reklam, t ex länkar till politiska partier eller kopierad text från partier, kommer raderas. Det samma gäller sk folkhemsfundamentalistisk vokabulär. En del inlägg identifieras automatiskt som spam och dyker därför inte upp förrän de avspammats, vilket kan ta flera timmar. Vid fler än 200 kommentarer syns inte alla kommentarer direkt utan man måste klicka på Visa fler. För ouppmärksamma kan det se ut som att kommentarer raderas eller censureras, men de finns kvar under Visa fler. Frånvaron av radering innebär inte ett stöd för kommentaren från bloggens sida, bara att den inte verkar bryta mot lagar, reglerna eller är en sanitär olägenhet. För att kunna kommentera behöver du ha tredjeparts cookies aktiverade i din webläsare.
Nedanstående kommentarer kommer från bloggläsare och är inte en del av det redaktionella innehållet.

24 kommentarer:

  1. Varför måste man köra korrelationen på de procentuella förändringarna? Förklara gärna! Det hedrar dig att du rättar felaktigheter snabbt och utan knot.

    "Naturligtvis skall man köra korrelationen på de procentuella förändringarna istället för på trenden."

    SvaraRadera
  2. Tack för intressanta försök att koppla tro till vetenskap.
    Du var snabb när det gällde beviset att nysvenskar inte stödjer boprisutvecklingen.
    Detta kan ju varit motiverat av annat än att föra vetenskapen framåt.
    Naivt och för mig otroligt men kanske i all välmening!/Oppti

    SvaraRadera
  3. 08:38

    Om man kör korreleringen mot de absoluta talen så visar man bara att både priser och antal affärer ökar över tiden, dvs att vi haft både inflation och ökande befolkning på lång sikt.

    Om man korrelerar förändringarna så blir man av med den stora inverkan som denna långsiktiga trend har på resultatet.

    /Christian

    SvaraRadera
  4. 08:38 säger:

    Tack för svar Christian.

    Betyder inte detta att även slutsatsen i blogginlägget om att BNP korrelerar med transportförbrukningen av olja är tveksamt? Även där borde man kolla på förändringarna istället för de absoluta talen.

    http://cornucopia.cornubot.se/2010/04/korrelationen-bnp-och-olja-till.html

    SvaraRadera
  5. När jag tittar på "nya" grafen tycker jag mig se att korrelationen ökat under senare år. Eller ljuger ögat? Vad händer om du delar upp analysen i två delar - ex. före respektive efter 2004?

    SvaraRadera
  6. Beppo: Om man bestämmer sig för vilket mönster man vill finna är det nästan alltid väldigt lätt att plocka ut ett subset av data som stödjer det man vill visa....

    SvaraRadera
  7. Och även i fall när man faktiskt har korrelation (som i den ursprungliga jämförelsen), så betyder det inte att det finns ett orsakssamband:
    http://en.wikipedia.org/wiki/Correlation_does_not_imply_causation

    SvaraRadera
  8. 10:17, det där är en sådan floskel att den inte är värd att nämna. Den nämns bara av den som vill låtsas vara opartisk.

    SvaraRadera
  9. 10:15 Självklart är det så! Samtidigt händer det också att verkligheten ibland ändras - ett samband som under en period inte finns kan senare uppstå.

    SvaraRadera
  10. 10:17
    Är det säkert?
    Jag gjorde en körning mellan kvinnors ålder och barnafödande. Tydligen sker det något med dem vid 27 års ålder vilket stödjer min tes om att åldern är orsaken till att deras kroppar graveras.

    SvaraRadera
  11. 10:39, det finns inget samband mellan korrelationen barnafödande och kvinnors ålder. Det är bara en ren slump, korrelation betyder ju inte orsakssamband. Fniss.

    När man däremot finner att smörpriset i Bangladesh perfekt korrelerar med New York-bösen så kan man fundera på skillnaden mellan korrelation och orsakssamband.

    T ex är sambandet BNP och bränsle till transporter ett orssakssamband och inte bara en korrelation. Större produktion av varor och tjänster betyder mer transporter. Utan mer transporter kan man inte skicka mer varor eller flytta fler tjänstepersoner till sina arbetsplatser.

    SvaraRadera
  12. Kan tillägga att när man kör korrelationen procentuell förändring av bränsle till transporter och procentuell förändring av BNP så kvarstår en medelhög korrelation, men inte extremt hög. Korrelationen blir 0.38, inte 0.96.

    SvaraRadera
  13. cornu 10:19: Du gjorde ju själv misstaget att förutsätta att ett orsakssamband fanns (vilket du i detta inlägg erkänner), så jag kan inte se varför det inte skulle vara värt att nämna.

    Det betyder ju naturligtvis inte heller att orsakssamband INTE finns, men korrelation används väldigt ofta, särskilt i samband som detta, som bevis för att x orsakar y, utan vidare analys av bakomliggande faktorer. Och väldigt många låter sig luras av dessa bevis. Du lurade ju dig själv, och har här själv påvisat hur du gjorde det, alltså ett utmärkt exempel på sund skepsis mot liknande "bevis".

    SvaraRadera
  14. Det omvända gäller också. Brist på korrelation utesluter inte orsakssamband. Omsättningen av bostäder kraschade under 90-talet tillsammans med priserna.

    Tyvärr tittade jag bara på data tillbaka till 1998, då SCB inte hade äldre data i regionserier.

    SvaraRadera
  15. Engagerad skribent belönas av engagerade läsare. Konstruktiv kritik är en komplimang och att sakligt erkänna en brist är en styrka. Den lediga korrelationen här är utmärkt. Jag önskar att där fanns mer av den prestigelösa varan i vårt samhälle. Det skulle vi alla tjäna på.

    SvaraRadera
  16. Du kan ju glädja dig med att enligt mäklare i metro så är bopriserna i sthlm ner -10%

    "– Statistiken släpar efter. Priserna har säkert gått ner 10 procent den senaste månaden, säger Peter Rathje, innerstadsmäklare på Sight.se."

    " Niklas Berntzon, VD för mäklarfirman Eklund Stockholm New York, gör samma bedömning....Jag gissar på en nedgång med 10 procent i vart fall, säger han till Metro"


    /Darius

    SvaraRadera
  17. Imponerad av ditt sätt att hantera kritik. Om det fanns fler som klarade det lika bra skulle världen vara en bättre plats.

    SvaraRadera
  18. 11.50 En av de mäklarna säljer enbart mkt dyra och exklusiva objekt. Säger väldigt lite.

    SvaraRadera
  19. Just ESNY har ett utmärkt exempel själva ute till försäljning:

    http://www.hemnet.se/bostad/fritidshus-2rum-nacka-tegelon-nacka-kommun-sondagspromenaden-10-underbart-sommarnoje-2608537

    Om man kollar i PDF-filen för objektbeskrivning finns det tidigare utannonserade priset på 3 450' kvar längst ner. Det var under sommaren. Nu har man gått ner till 2 950'. Verkar inte som att någon vill slänga ut ett par miljoner på ett "sommarnöje" i dagsläget...

    SvaraRadera
  20. Saxat ur en artikel på DI: web, där en underhuggare hos RB tycker att "lugnt fallande" bostadspriser är bra.
    ---
    Han räknar inte med något ras på bomarknaden.

    ”Jag förväntar mig inte att priserna ska falla snabbt.”

    Han är inte heller särskilt orolig för kreditförluster på bolån.

    ”Jag tror inte att de blir särskilt stora. Man fallerar helt enkelt inte på sitt bolån i Sverige. Skulderna följer en i graven. Då drar man först ned på allt annat.”
    ---

    just det, följer en i graven...

    SvaraRadera
  21. 10:19 Det är faktiskt ingen floskel alls. Korrelation slutade vara användbart som mått på någonting i samma veva som man började bry sig om orsakssamband.

    Ingen vettig riskhanterare/statistiker/matematiker på bank eller försäkringsbolag använder någonsin mer korrelation för att påvisa samband. Det är copulas som gäller.

    Vill inte vara högfärdig men det är otroligt låg nivå på dina analyser här på bloggen.

    SvaraRadera
  22. Hm, möjligtvis skulle du kunna köra kointegrationsanalys på de där serierna på originaldata, utan att differentiera. Lite beroende på hur många observationer som finns iofs.

    SvaraRadera
  23. Word.

    http://www.e24.se/business/bank-och-finans/den-djuriska-marknaden_3060058.e24

    SvaraRadera

Related Posts Plugin for WordPress, Blogger...