det utbredda missförståndet om slumpmässighet orsakar många problem.
idag ska vi utforska ett koncept som orsakar mycket mänsklig felbedömning. Det kallas bias från okänslighet för provstorlek,eller, om du föredrar, lagen om små tal.
okänslighet för små provstorlekar orsakar många problem.
* * *
om jag mätte en person, som råkade mäta 6 fot, och sedan berättade att alla i hela världen var 6 fot, skulle du intuitivt inse att detta är ett misstag. Du skulle säga att du inte kan mäta bara en person och sedan dra en sådan slutsats. För att göra det behöver du ett mycket större prov.
och naturligtvis skulle du ha rätt.
även om det är enkelt är detta exempel en viktig byggsten för vår förståelse av hur okänslighet för provstorlek kan leda oss vilse.
som Stuard Suterhland skriver i irrationalitet:
innan du drar slutsatser från information om ett begränsat antal händelser (ett urval) valt från ett mycket större antal händelser (befolkningen) är det viktigt att förstå något om statistiken över prover.
i tänkande, snabbt och långsamt skriver Daniel Kahneman ”en slumpmässig händelse, per definition, låter sig inte förklaras, men samlingar av slumpmässiga händelser beter sig på ett mycket regelbundet sätt.”Kahnemen fortsätter,” extrema resultat (både höga och låga) är mer benägna att hittas i små än i stora prover. Denna förklaring är inte kausal.”
vi vet alla intuitivt att ”resultaten av större prover förtjänar mer förtroende än mindre prover, och även människor som är oskyldiga till statistisk kunskap har hört talas om denna lag av stort antal.”
principen om regression till medelvärdet säger att när provstorleken blir större bör resultaten konvergera till en stabil frekvens. Så om vi vänder mynt och mäter andelen gånger som vi får huvuden, förväntar vi oss att det närmar sig 50% efter en stor provstorlek på 100 men inte nödvändigtvis 2 eller 4.
i våra sinnen misslyckas vi ofta med att ta hänsyn till noggrannheten och osäkerheten med en given provstorlek.
medan vi alla förstår det intuitivt är det svårt för oss att inse i ögonblicket av bearbetning och beslutsfattande att större prover är bättre representationer än mindre prover.
vi förstår skillnaden mellan en provstorlek på 6 och 6 000 000 ganska bra men vi förstår inte intuitivt skillnaden mellan 200 och 3 000.
* * *
denna bias kommer i många former.
i en telefonundersökning av 300 seniorer stöder 60% presidenten.
om du var tvungen att sammanfatta meddelandet i denna mening med exakt tre ord, vad skulle de vara? Nästan säkert skulle du välja ” äldre stöd president.”Dessa ord ger kärnan i historien. De utelämnade detaljerna i undersökningen, att det gjordes i telefon med ett urval av 300, är inte av intresse för sig själva; de ger bakgrundsinformation som lockar lite uppmärksamhet.”Naturligtvis, om provet var extremt, säg 6 personer, skulle du ifrågasätta det. Om du inte är helt matematiskt utrustad, kommer du dock intuitivt att bedöma provstorleken och du kanske inte reagerar annorlunda på ett urval av 150 och 3000. Det är i ett nötskal exakt meningen med uttalandet att ”människor inte är tillräckligt känsliga för provstorlek.”
en del av problemet är att vi fokuserar på historien över tillförlitlighet, eller robusthet, av resultaten.
System one tänkande, det är vår intuition, är ”inte benägen att tvivla. Det undertrycker tvetydighet och konstruerar spontant berättelser som är så sammanhängande som möjligt. Om inte meddelandet omedelbart negeras kommer de föreningar som det framkallar att spridas som om meddelandet var sant.”
med tanke på provstorlek, om det inte är extremt, är inte en del av vår intuition.
Kahneman skriver:
den överdrivna tron på små prover är bara ett exempel på en mer allmän illusion – vi ägnar mer uppmärksamhet åt innehållet i meddelanden än information om deras tillförlitlighet, och som ett resultat hamnar vi med en syn på världen runt oss som är enklare och mer sammanhängande än uppgifterna motiverar. Att hoppa till slutsatser är en säkrare sport i vår fantasivärld än i verkligheten.
* * *
inom teknik kan vi till exempel stöta på detta i utvärderingen av prejudikat.
Steven Vick, skriver i grader av tro: subjektiv sannolikhet och teknisk bedömning, skriver:
om något har fungerat tidigare är antagandet att det kommer att fungera igen utan att misslyckas. Det vill säga sannolikheten för framtida framgång villkorad av tidigare framgång tas som 1.0. Följaktligen antas en struktur som har överlevt en jordbävning kunna överleva med samma storlek och avstånd, med den underliggande antagandet att de operativa orsaksfaktorerna måste vara desamma. Men de seismiska markrörelserna är ganska varierande i deras frekvensinnehåll, dämpningsegenskaper och många andra faktorer, så att ett prejudikat för en enda jordbävning representerar en mycket liten provstorlek.
Bayesian tänkande berättar för oss att en enda framgång, frånvarande annan information, ökar sannolikheten för överlevnad i framtiden.
på ett sätt är detta relaterat till robusthet. Ju mer du har haft att hantera och du fortfarande överleva mer robust du är.
Låt oss titta på några andra exempel.
* * *
sjukhus
Daniel Kahneman och Amos Tversky visade vår okänslighet för provstorlek med följande fråga:
en viss stad betjänas av två sjukhus. På det större sjukhuset föds cirka 45 barn varje dag, och på det mindre sjukhuset föds cirka 15 barn varje dag. Som du vet är cirka 50% av alla barn pojkar. Den exakta procentsatsen varierar dock från dag till dag. Ibland kan det vara högre än 50%, ibland lägre. Under en period av 1 år registrerade varje sjukhus de dagar då mer än 60% av de födda barnen var pojkar. Vilket sjukhus tror du spelat in fler sådana dagar?
- det större sjukhuset
- det mindre sjukhuset
- ungefär samma (det vill säga inom 5% av varandra)
de flesta väljer felaktigt 3. Rätt svar är dock 2.
i dom i ledningsbeslut, förklarar Max Bazerman:
de flesta individer väljer 3 och förväntar sig att de två sjukhusen registrerar ett liknande antal dagar där 60 procent eller mer av babystyrelsen är pojkar. Människor verkar ha en viss grundläggande uppfattning om hur ovanligt det är att ha 60 procent av en slumpmässig händelse som inträffar i en viss riktning. Statistiken berättar dock att vi är mycket mer benägna att observera 60 procent av manliga barn i ett mindre prov än i ett större prov.”Denna effekt är lätt att förstå. Tänk på vilket som är mer troligt: att få mer än 60 procent huvuden i tre flips av mynt eller få mer än 60 procent huvuden i 3000 flips.
* * *
ett annat intressant exempel kommer från Poker.
under korta perioder är lycka viktigare än skicklighet. Ju mer tur bidrar till resultatet, desto större prov behöver du skilja mellan någons skicklighet och ren chans.
David Einhorn förklarar.
folk frågar mig ” är poker Tur?”och” investerar tur?”
svaret är, inte alls. Men provstorlekar spelar roll. På en viss dag en bra investerare eller en bra pokerspelare kan förlora pengar. Alla aktieinvesteringar kan visa sig vara en förlorare oavsett hur stor kanten visas. Samma för en pokerhand. En pokerturnering skiljer sig inte mycket från en myntvändande tävling och inte heller sex månaders investeringsresultat.
på den grunden spelar tur en roll. Men över tiden – över tusentals händer mot en mängd olika spelare och över hundratals investeringar i en mängd olika marknadsmiljöer-skicklighet vinner ut.
när antalet spelade händer ökar spelar skicklighet en större och större roll och tur spelar mindre roll.
* * *
men detta går långt utöver sjukhus och poker. Baseball är ett annat bra exempel. Under en lång säsong, oddsen är de bästa lagen kommer att stiga till toppen. På kort sikt kan allt hända. Om du tittar på de stående 10 matcherna in i säsongen är oddsen att de inte kommer att vara representativa för var saker kommer att landa efter hela 162-spelsäsongen. På kort sikt spelar tur för mycket Roll.
i Moneyball skriver Michael Lewis ”i en serie med fem spel kommer det värsta laget i baseboll att slå bäst cirka 15% av tiden.”
* * *
om du marknadsför människor eller arbetar med kollegor vill du också ha denna bias i åtanke.
om du antar att prestanda på jobbet är en kombination av skicklighet och tur kan du enkelt se att provstorleken är relevant för prestandans tillförlitlighet.
att prestandaprovtagning fungerar som allt annat, ju större provstorlek desto större minskning av osäkerheten och desto mer sannolikt är det att du fattar bra beslut.
detta har studerats av en av mina favorittänkare, James March. Han kallar det den falska rekord effekten.
han skriver:
falsk rekord effekt. En grupp chefer med identisk (måttlig) förmåga kommer att visa stor variation i sina prestationsrekord på kort sikt. Vissa kommer att hittas i ena änden av distributionen och kommer att ses som enastående; andra kommer att vara i andra änden och kommer att ses som ineffektiva. Ju längre en chef stannar i ett jobb, desto mindre är den sannolika skillnaden mellan den observerade prestationsrekordet och den faktiska förmågan. Tiden på jobbet ökade det förväntade urvalet av observationer, minskade förväntat provtagningsfel och minskade därmed förändringen att chefen (eller måttlig förmåga) antingen kommer att främjas eller avslutas.
Hjälte Effekt. Inom en grupp chefer med olika förmågor, desto snabbare är befordringsgraden, desto mindre sannolikt är det att vara motiverat. Prestationsposter produceras av en kombination av underliggande förmåga och provtagningsvariation. Chefer som har bra poster är mer benägna att ha hög förmåga än chefer som har dåliga poster, men tillförlitligheten i differentieringen är liten när poster är korta.
(jag inser att kampanjer är mycket mer komplicerade än jag släpper på. Vissa jobb är till exempel svårare än andra. Det blir rörigt snabbt och det är en del av problemet. Ofta när saker blir röriga stänger vi av våra hjärnor och samlar den enklaste förklaringen vi kan. Enkelt men fel. Jag påpekar bara att provstorleken är en ingång i beslutet. Jag förespråkar inte på något sätt en” upplevelse är bäst ” – strategi, eftersom det kommer med en mängd andra problem.)
* * *
denna bias används också mot dig i reklam.
nästa gång du ser en reklam som säger ” 4 av 5 läkare rekommenderar….”Dessa resultat är meningslösa utan att veta provstorleken. Oddsen är ganska bra att provstorleken är 5.
* * *
stora provstorlekar är inte ett universalmedel. Saker förändras. System utvecklas och tron på dessa resultat kan också vara ogrundad.
nyckeln är alltid att tänka.
denna bias leder till en hel massa saker, till exempel:
– underskattning av risk
-överskattning av risk
– otillbörligt förtroende för trender/mönster
-otillbörligt förtroende för bristen på biverkningar/problem
Bias från okänslighet för provstorlek är en del av Farnam Street latticework av mentala modeller.