den utbredte misforståelsen av tilfeldighet forårsaker mange problemer.
I Dag skal vi utforske et konsept som forårsaker mye menneskelig feilvurdering. Det kalles bias fra ufølsomhet til utvalgsstørrelse,eller, hvis du foretrekker, loven om små tall.
Ufølsomhet for små utvalgsstørrelser forårsaker mange problemer.
* * *
hvis jeg målte en person, som skjedde å måle 6 fot, og så fortalte deg at alle i hele verden var 6 fot, ville du intuitivt innse at dette er en feil. Du vil si, du kan ikke måle bare en person og deretter trekke en slik konklusjon. For å gjøre det trenger du en mye større prøve.
Og selvfølgelig ville du ha rett.
selv om det er enkelt, er dette eksemplet en viktig byggestein for vår forståelse av hvordan ufølsomhet for utvalgsstørrelse kan føre oss på villspor.
Som Stuard Suterhland skriver I Irrasjonalitet:
før det trekkes konklusjoner fra informasjon om et begrenset antall hendelser (et utvalg) valgt ut fra et mye større antall hendelser (populasjonen), er det viktig å forstå noe om statistikken over prøver.
I Tenkning, Fort Og Sakte, Skriver Daniel Kahneman » en tilfeldig hendelse, per definisjon, gir seg ikke til forklaring, men samlinger av tilfeldige hendelser oppfører seg på en svært vanlig måte.»Kahnemen fortsetter,» ekstreme utfall (både høye og lave) er mer sannsynlig å bli funnet i små enn i store prøver. Denne forklaringen er ikke årsakssammenheng.»
vi vet alle intuitivt at » resultatene av større prøver fortjener mer tillit enn mindre prøver, og selv folk som er uskyldige av statistisk kunnskap har hørt om denne loven av store tall.»
prinsippet om regresjon til gjennomsnittet sier at når prøvestørrelsen vokser, bør større resultater konvergere til en stabil frekvens. Så, hvis vi flipper mynter, og måler andelen ganger vi får hoder, forventer vi at den nærmer seg 50% etter en stor prøvestørrelse på, si 100, men ikke nødvendigvis 2 eller 4.
i våre sinn unnlater vi ofte å redegjøre for nøyaktigheten og usikkerheten med en gitt utvalgsstørrelse.
mens vi alle forstår det intuitivt, er det vanskelig for oss å innse i øyeblikket for behandling og beslutningstaking at større prøver er bedre representasjoner enn mindre prøver.
vi forstår forskjellen mellom en prøvestørrelse på 6 og 6.000.000 ganske bra, men vi forstår ikke intuitivt forskjellen mellom 200 og 3000.
* * *
denne bias kommer i mange former.
i en telefon avstemning av 300 seniorer, 60% støtte presidenten.
hvis du måtte oppsummere budskapet i denne setningen i nøyaktig tre ord, hva ville de være? Nesten helt sikkert du ville velge » eldre støtte president.»Disse ordene gir kjernen i historien. De utelatte detaljene i avstemningen, at den ble gjort på telefonen med en prøve på 300, har ingen interesse i seg selv; de gir bakgrunnsinformasjon som tiltrekker seg liten oppmerksomhet.»Selvfølgelig, hvis prøven var ekstrem, si 6 personer, ville du stille spørsmål til det . Med mindre du er fullt matematisk utstyrt, vil du intuitivt dømme prøvestørrelsen, og du kan ikke reagere annerledes på et utvalg av, si 150 og 3000. Det er i et nøtteskall akkurat meningen med uttalelsen om at » folk ikke er tilstrekkelig følsomme for prøvestørrelse.»
En del av problemet er at vi fokuserer på historien over pålitelighet, eller robusthet, av resultatene.
System one tenkning, det er vår intuisjon, er » ikke utsatt for tvil. Den undertrykker tvetydighet og spontant konstruerer historier som er så sammenhengende som mulig. Med mindre meldingen er umiddelbart negert, assosiasjoner som det fremkaller vil spre seg som om meldingen var sant.»
Vurderer prøvestørrelse, med mindre det er ekstremt, er ikke en del av vår intuisjon.
Kahneman skriver:
den overdrevne troen på små prøver er bare ett eksempel på en mer generell illusjon-vi legger mer vekt på innholdet i meldinger enn på informasjon om deres pålitelighet, og som et resultat ender med et syn på verden rundt oss som er enklere og mer sammenhengende enn dataene rettferdiggjør. Hoppe til konklusjoner er en tryggere sport i verden av vår fantasi enn det er i virkeligheten.
* * *
i ingeniørfag kan vi for eksempel møte dette i evalueringen av presedens.
Steven Vick, skriver I Grader Av Tro: Subjektiv Sannsynlighet og Teknisk Dom, skriver:
hvis noe har fungert før, er formodningen at det vil fungere igjen uten å feile. Det vil si at sannsynligheten for fremtidig suksess betinget av tidligere suksess er tatt som 1.0. Følgelig vil en struktur som har overlevd et jordskjelv antas i stand til å overleve med samme størrelse og avstand, med den underliggende antakelsen at de operative årsaksfaktorene må være de samme. Men de seismiske grunnbevegelsene er ganske variable i deres frekvensinnhold, dempningsegenskaper og mange andre faktorer, slik at en presedens for et enkelt jordskjelv representerer en svært liten prøvestørrelse.
Bayesiansk tenkning forteller Oss at en enkelt suksess, uten annen informasjon, øker sannsynligheten for overlevelse i fremtiden.
på en måte er dette relatert til robusthet. Jo mer du har måttet håndtere og du fortsatt overlever, jo mer robust er du.
La oss se på noen andre eksempler.
* * *
Sykehus
Daniel Kahneman og Amos Tversky demonstrerte vår ufølsomhet for prøvestørrelse med følgende spørsmål:
En bestemt by serveres av to sykehus. På det større sykehuset fødes ca. 45 babyer hver dag, og på det mindre sykehuset fødes ca. 15 babyer hver dag. Som du vet, er ca 50% av alle babyer gutter. Den nøyaktige prosentandelen varierer imidlertid fra dag til dag. Noen ganger kan det være høyere enn 50%, noen ganger lavere. I en periode på 1 år registrerte hvert sykehus dagene hvor mer enn 60% av de fødte babyene var gutter. Hvilket sykehus tror du registrert flere slike dager?
- det større sykehuset
- det mindre sykehuset
- Omtrent det samme (det vil si innenfor 5% av hverandre)
De fleste velger feil 3. Det riktige svaret er imidlertid 2.
I Dommen I Ledelsesmessige Beslutningsprosesser, Forklarer Max Bazerman:
de fleste velger 3, og forventer at de to sykehusene registrerer et tilsvarende antall dager hvor 60 prosent eller mer av babystyret er gutter. Folk synes å ha noen grunnleggende ide om hvor uvanlig det er å ha 60 prosent av en tilfeldig hendelse som skjer i en bestemt retning. Statistikk forteller oss imidlertid at vi er mye mer sannsynlig å observere 60 prosent av mannlige babyer i en mindre prøve enn i en større prøve.»Denne effekten er lett å forstå. Tenk på hvilken som er mer sannsynlig: få mer enn 60 prosent hoder i tre flips av mynt eller få mer enn 60 prosent hoder i 3000 flips.
* * *
et annet interessant eksempel kommer Fra Poker.
over korte perioder er flaks viktigere enn ferdighet. Jo mer flaks bidrar til utfallet, jo større prøven du trenger for å skille mellom noens dyktighet og ren sjanse.
David Einhorn forklarer.
Folk spør meg «er poker flaks?»og» investerer flaks?»
svaret er, ikke i det hele tatt. Men prøvestørrelser betyr noe. På en gitt dag kan en god investor eller en god pokerspiller tape penger. Enhver aksjeinvestering kan vise seg å være en taper, uansett hvor stor kanten vises. Det samme gjelder for en pokerhånd. En pokerturnering er ikke veldig forskjellig fra en mynt-flipping konkurranse, og det er heller ikke seks måneders investeringsresultater.
på dette grunnlaget spiller flaks en rolle. Men over tid – over tusenvis av hender mot en rekke spillere og over hundrevis av investeringer i en rekke markedsmiljøer-vinner ferdigheten ut.
etter hvert som antall hender som spilles øker, spiller ferdighet en større og større rolle, og flaks spiller mindre rolle.
* * *
Men dette går langt utover sykehus og poker. Baseball er et annet godt eksempel. Over en lang sesong er oddsene de beste lagene vil stige til toppen. På kort sikt kan alt skje. Hvis du ser på de stående 10 spillene i sesongen, er oddsen at de ikke vil være representative for hvor ting vil lande etter hele 162-sesongen. På kort sikt spiller flaks for mye av en rolle.
I Moneyball skriver Michael Lewis «i en serie på fem kamper vil det verste laget i baseball slå det beste omtrent 15% av tiden.»
* * *
hvis du fremmer folk eller jobber med kolleger, vil du også ha denne bias i tankene.
hvis du antar at ytelse på jobben er en kombinasjon av dyktighet og flaks, kan du enkelt se at prøvestørrelsen er relevant for påliteligheten av ytelsen.
at ytelsesprøvetaking fungerer som alt annet, jo større prøvestørrelse jo større reduksjon i usikkerhet og jo mer sannsynlig er det å ta gode beslutninger.
Dette har blitt studert av En av Mine favoritt tenkere, James March. Han kaller det den falske rekordeffekten.
han skriver:
Falsk Rekord Effekt. En gruppe ledere med identisk (moderat) evne vil vise betydelig variasjon i deres ytelsesrekorder på kort sikt. Noen vil bli funnet i den ene enden av distribusjonen og vil bli sett på som enestående; andre vil være i den andre enden og vil bli sett på som ineffektive. Jo lenger en leder forblir i en jobb, desto mindre er den sannsynlige forskjellen mellom den observerte oppførelsen av ytelse og faktisk evne. Tid pa jobben okte forventet utvalg av observasjoner, redusert forventet utvalgsfeil, og dermed redusert endringen som lederen (eller moderat evne) vil enten bli forfremmet eller avslutte.
Helteffekt. Innenfor en gruppe ledere med varierende evner, jo raskere frekvensen av kampanjen, jo mindre sannsynlig er det å være berettiget. Resultat poster er produsert av en kombinasjon av underliggende evne og prøvetaking variasjon. Ledere som har gode poster er mer sannsynlig å ha høy evne enn ledere som har dårlige poster, men påliteligheten av differensiering er liten når postene er korte.
(jeg innser kampanjer er mye mer komplisert enn jeg la på. Noen jobber, for eksempel, er vanskeligere enn andre. Det blir rotete raskt, og det er en del av problemet. Ofte når ting blir rotete, slår vi av hjernen vår og samler den enkleste forklaringen vi kan. Enkel, men feil. Jeg peker bare på at prøvestørrelsen er en inngang i beslutningen. Jeg er på ingen måte fortaler en» opplevelse er best » tilnærming, da det kommer med en rekke andre problemer.)
* * *
denne bias brukes også mot deg i reklame.
neste gang du ser en reklame som sier » 4 av 5 Leger anbefaler….»Disse resultatene er meningsløse uten å vite prøvestørrelsen. Oddsen er ganske bra at utvalgsstørrelsen er 5.
* * *
Store utvalgsstørrelser er ikke et paradis. Ting forandrer seg. Systemer utvikle seg og tro på disse resultatene kan være ubegrunnet også.
nøkkelen er til enhver tid å tenke.
denne skjevheten fører til en hel rekke ting, for eksempel:
– undervurdering av risiko
-overvurdering av risiko
– utilbørlig tillit til trender/mønstre
-utilbørlig tillit til mangel på bivirkninger/problemer
Skjevheten fra ufølsomhet til utvalgsstørrelse er en del Av farnam Street gitterverk av mentale modeller.