Il diffuso fraintendimento della casualità causa molti problemi.
Oggi esploreremo un concetto che causa molti errori di valutazione umani. Si chiama bias dall’insensibilità alla dimensione del campione, o, se preferisci, la legge dei piccoli numeri.
L’insensibilità a campioni di piccole dimensioni causa molti problemi.
* * *
Se misurassi una persona, che per caso misurasse 6 piedi, e poi ti dicessi che tutti in tutto il mondo erano 6 piedi, capiresti intuitivamente che questo è un errore. Diresti, non puoi misurare solo una persona e poi trarre una tale conclusione. Per farlo avresti bisogno di un campione molto più grande.
E, naturalmente, avresti ragione.
Sebbene semplice, questo esempio è un elemento chiave per la nostra comprensione di come l’insensibilità alla dimensione del campione possa portarci fuori strada.
Come scrive Stuard Suterhland in Irrazionality:
Prima di trarre conclusioni da informazioni su un numero limitato di eventi (un campione) selezionati da un numero molto maggiore di eventi (la popolazione) è importante capire qualcosa sulle statistiche dei campioni.
In Thinking, Fast and Slow, Daniel Kahneman scrive “Un evento casuale, per definizione, non si presta a spiegazioni, ma le raccolte di eventi casuali si comportano in modo altamente regolare.”Continua Kahnemen,” i risultati estremi (sia alti che bassi) sono più probabili essere trovati in piccoli che in grandi campioni. Questa spiegazione non è causale.”
Sappiamo tutti intuitivamente che ” i risultati di campioni più grandi meritano più fiducia dei campioni più piccoli, e anche le persone che sono innocenti della conoscenza statistica hanno sentito parlare di questa legge di grandi numeri.”
Il principio della regressione alla media dice che man mano che la dimensione del campione cresce, i risultati dovrebbero convergere a una frequenza stabile. Quindi, se lanciamo monete e misuriamo la proporzione di volte in cui otteniamo teste, ci aspetteremmo che si avvicini al 50% dopo una grande dimensione del campione di, diciamo, 100 ma non necessariamente 2 o 4.
Nella nostra mente, spesso non riusciamo a spiegare l’accuratezza e l’incertezza con una data dimensione del campione.
Mentre tutti noi lo capiamo intuitivamente, è difficile per noi realizzare nel momento dell’elaborazione e del processo decisionale che i campioni più grandi sono rappresentazioni migliori rispetto ai campioni più piccoli.
Comprendiamo abbastanza bene la differenza tra una dimensione del campione di 6 e 6.000.000 ma non capiamo intuitivamente la differenza tra 200 e 3.000.
* * *
Questo pregiudizio si presenta in molte forme.
In un sondaggio telefonico di 300 anziani, il 60% sostiene il presidente.
Se dovessi riassumere il messaggio di questa frase esattamente in tre parole, quali sarebbero? Quasi certamente sceglieresti ” presidente di sostegno anziano.”Queste parole forniscono il succo della storia. I dettagli omessi del sondaggio, che è stato fatto al telefono con un campione di 300, non sono di alcun interesse per se stessi; forniscono informazioni di base che attirano poca attenzione.”Certo, se il campione fosse estremo, diciamo 6 persone, lo metteresti in discussione. A meno che tu non sia completamente equipaggiato matematicamente, tuttavia, giudicherai intuitivamente la dimensione del campione e potresti non reagire in modo diverso a un campione di, ad esempio, 150 e 3000. Questo, in poche parole, è esattamente il significato dell’affermazione che “le persone non sono adeguatamente sensibili alle dimensioni del campione.”
Parte del problema è che ci concentriamo sulla storia sull’affidabilità, o, robustezza, dei risultati.
Il pensiero del sistema uno, cioè la nostra intuizione, non è ” incline al dubbio. Sopprime l’ambiguità e costruisce spontaneamente storie il più coerenti possibile. A meno che il messaggio non venga immediatamente negato, le associazioni che evoca si diffonderanno come se il messaggio fosse vero.”
Considerando la dimensione del campione, a meno che non sia estrema, non fa parte della nostra intuizione.
Kahneman scrive:
La fede esagerata nei piccoli campioni è solo un esempio di un’illusione più generale: prestiamo più attenzione al contenuto dei messaggi che alle informazioni sulla loro affidabilità e, di conseguenza, finiamo con una visione del mondo che ci circonda più semplice e coerente di quanto giustifichino i dati. Saltare alle conclusioni è uno sport più sicuro nel mondo della nostra immaginazione di quanto non sia nella realtà.
* * *
In ingegneria, ad esempio, possiamo incontrarlo nella valutazione dei precedenti.
Steven Vick, scrivendo in Degrees of Belief: probabilità soggettiva e giudizio ingegneristico, scrive:
Se qualcosa ha funzionato prima, la presunzione è che funzionerà di nuovo senza fallo. Cioè, la probabilità di successo futuro condizionata dal successo passato è presa come 1.0. Di conseguenza, si presume che una struttura sopravvissuta a un terremoto sia in grado di sopravvivere con la stessa grandezza e distanza, con la presunzione sottostante che i fattori causali operativi devono essere gli stessi. Ma i moti sismici del terreno sono abbastanza variabili nel loro contenuto di frequenza, caratteristiche di attenuazione, e molti altri fattori, in modo che un precedente per un singolo terremoto rappresenta una dimensione del campione molto piccola.
Il pensiero bayesiano ci dice che un singolo successo, privo di altre informazioni, aumenta la probabilità di sopravvivenza in futuro.
In un certo senso questo è legato alla robustezza. Più hai dovuto gestire e sopravvivi ancora, più sei robusto.
Diamo un’occhiata ad alcuni altri esempi.
* * *
Ospedale
Daniel Kahneman e Amos Tversky hanno dimostrato la nostra insensibilità alla dimensione del campione con la seguente domanda:
Una certa città è servita da due ospedali. Nell’ospedale più grande nascono circa 45 bambini ogni giorno, e nell’ospedale più piccolo nascono circa 15 bambini ogni giorno. Come sapete, circa il 50% di tutti i bambini sono ragazzi. Tuttavia, la percentuale esatta varia di giorno in giorno. A volte può essere superiore al 50%, a volte inferiore. Per un periodo di 1 anno, ogni ospedale ha registrato i giorni in cui oltre il 60% dei bambini nati erano ragazzi. Quale ospedale pensi abbia registrato più di questi giorni?
- L’ospedale più grande
- L’ospedale più piccolo
- Circa lo stesso (cioè entro il 5% l’uno dall’altro)
La maggior parte delle persone sceglie erroneamente 3. La risposta corretta è, tuttavia, 2.
Nel giudizio nel processo decisionale manageriale, Max Bazerman spiega:
La maggior parte delle persone sceglie 3, aspettandosi che i due ospedali registrino un numero simile di giorni in cui il 60% o più dei bambini sono maschi. Le persone sembrano avere un’idea di base di quanto sia insolito avere il 60% di un evento casuale che si verifica in una direzione specifica. Tuttavia, le statistiche ci dicono che è molto più probabile osservare il 60% dei bambini maschi in un campione più piccolo che in un campione più grande.”Questo effetto è facile da capire. Pensa a quale è più probabile: ottenere più del 60% di teste in tre lanci di monete o ottenere più del 60% di teste in 3.000 lanci.
* * *
Un altro esempio interessante viene dal Poker.
In brevi periodi di tempo la fortuna è più importante dell’abilità. Più fortuna contribuisce al risultato, più grande è il campione che dovrai distinguere tra l’abilità di qualcuno e il puro caso.
David Einhorn spiega.
La gente mi chiede ” È poker fortuna?”e” Sta investendo fortuna?”
La risposta è, per niente. Ma le dimensioni del campione contano. In un dato giorno un buon investitore o un buon giocatore di poker può perdere soldi. Qualsiasi investimento azionario può rivelarsi un perdente, non importa quanto grande appare il bordo. Lo stesso per una mano di poker. Un torneo di poker non è molto diverso da un concorso coin-flipping e nessuno dei due è sei mesi di risultati di investimento.
Su questa base la fortuna gioca un ruolo. Ma nel corso del tempo-nel corso di migliaia di mani contro una varietà di giocatori e oltre centinaia di investimenti in una varietà di ambienti di mercato – abilità vince fuori.
Man mano che il numero di mani giocate aumenta, l’abilità gioca un ruolo sempre più grande e la fortuna gioca meno di un ruolo.
* * *
Ma questo va ben oltre gli ospedali e il poker. Il baseball è un altro buon esempio. Nel corso di una lunga stagione, le probabilità sono le migliori squadre saliranno verso l’alto. A breve termine, tutto può succedere. Se si guardano i 10 giochi in piedi nella stagione, le probabilità sono che non saranno rappresentativi di dove le cose atterreranno dopo l’intera stagione di gioco 162. A breve termine, la fortuna gioca troppo di un ruolo.
In Moneyball, Michael Lewis scrive “In una serie di cinque partite, la squadra peggiore del baseball batterà il migliore circa il 15% delle volte.”
* * *
Se promuovi persone o lavori con colleghi, vorrai anche tenere a mente questo pregiudizio.
Se si assume che le prestazioni sul lavoro siano una combinazione di abilità e fortuna, si può facilmente vedere che la dimensione del campione è rilevante per l’affidabilità delle prestazioni.
Che il campionamento delle prestazioni funziona come qualsiasi altra cosa, maggiore è la dimensione del campione maggiore è la riduzione dell’incertezza e più è probabile che tu prenda buone decisioni.
Questo è stato studiato da uno dei miei pensatori preferiti, James March. Lo chiama l’effetto record falso.
Scrive:
Effetto record falso. Un gruppo di manager di capacità identica (moderata) mostrerà notevoli variazioni nei loro record di prestazioni nel breve periodo. Alcuni saranno trovati ad un’estremità della distribuzione e saranno visti come eccezionali; altri saranno dall’altra parte e saranno considerati inefficaci. Più a lungo un manager rimane in un lavoro, minore è la differenza probabile tra il record osservato di prestazioni e capacità effettiva. Il tempo sul posto di lavoro ha aumentato il campione previsto di osservazioni, ridotto l’errore di campionamento previsto e quindi ridotto il cambiamento che il manager (o la capacità moderata) sarà promosso o uscito.
Effetto eroe. All’interno di un gruppo di manager di diverse capacità, più veloce è il tasso di promozione, meno è probabile che sia giustificato. I record delle prestazioni sono prodotti da una combinazione di abilità sottostante e variazione di campionamento. I manager che hanno buoni record hanno maggiori probabilità di avere un’elevata capacità rispetto ai manager che hanno record scadenti, ma l’affidabilità della differenziazione è piccola quando i record sono brevi.
(Mi rendo conto che le promozioni sono molto piu ‘ complicate di quanto non voglia dire. Alcuni lavori, ad esempio, sono più difficili di altri. Diventa disordinato rapidamente e questo è parte del problema. Spesso quando le cose si fanno disordinato spegniamo il nostro cervello e inventare la spiegazione più semplice che possiamo. Semplice ma sbagliato. Sto solo sottolineando che la dimensione del campione è un input nella decisione. Non sto affatto sostenendo un approccio “l’esperienza è la migliore”, in quanto ciò comporta una serie di altri problemi.)
* * *
Questo pregiudizio è usato anche contro di te nella pubblicità.
La prossima volta che vedi uno spot che dice “4 medici su 5 raccomandano ….”Questi risultati non hanno senso senza conoscere la dimensione del campione. Le probabilità sono abbastanza buone che la dimensione del campione è 5.
* * *
Le grandi dimensioni del campione non sono una panacea. Le cose cambiano. I sistemi si evolvono e la fede in questi risultati può essere infondata pure.
La chiave, in ogni momento, è pensare.
Questo pregiudizio porta a tutta una serie di cose, come:
– sotto-stima del rischio
– oltre-la stima del rischio
– indebito fiducia nelle tendenze/modelli
– indebito fiducia nella mancanza di effetti collaterali/problemi
Il Bias da insensibilità per la dimensione del campione è parte di Farnam Street un traliccio di modelli mentali.