Modèle mental: Biais de l’Insensibilité à la Taille de l’échantillon

L’incompréhension généralisée du caractère aléatoire cause beaucoup de problèmes.

Aujourd’hui, nous allons explorer un concept qui provoque beaucoup d’erreurs de jugement humaines. C’est ce qu’on appelle le biais de l’insensibilité à la taille de l’échantillon ou, si vous préférez, la loi des petits nombres.

L’insensibilité aux échantillons de petite taille pose de nombreux problèmes.

* * *

Si je mesurais une personne, qui mesurait 6 pieds, et que je vous disais que tout le monde dans le monde entier mesurait 6 pieds, vous réaliseriez intuitivement que c’est une erreur. Vous diriez que vous ne pouvez pas mesurer une seule personne et tirer une telle conclusion. Pour ce faire, vous auriez besoin d’un échantillon beaucoup plus grand.

Et, bien sûr, vous auriez raison.

Bien que simple, cet exemple est un élément clé de notre compréhension de la façon dont l’insensibilité à la taille de l’échantillon peut nous égarer.

Comme l’écrit Stuard Suterhland dans Irrationalité:

Avant de tirer des conclusions à partir d’informations sur un nombre limité d’événements (un échantillon) sélectionnés parmi un nombre beaucoup plus important d’événements (la population), il est important de comprendre quelque chose sur les statistiques des échantillons.

Dans Thinking, Fast and Slow, Daniel Kahneman écrit: « Un événement aléatoire, par définition, ne se prête pas à l’explication, mais les collections d’événements aléatoires se comportent de manière très régulière. »Poursuit Kahnemen, »les résultats extrêmes (élevés et faibles) sont plus susceptibles d’être trouvés dans de petits échantillons que dans de grands échantillons. Cette explication n’est pas causale. »

Nous savons tous intuitivement que « les résultats d’échantillons plus grands méritent plus de confiance que les échantillons plus petits, et même les personnes innocentes des connaissances statistiques ont entendu parler de cette loi des grands nombres. »

Le principe de régression vers la moyenne dit qu’à mesure que la taille de l’échantillon augmente, les résultats devraient converger vers une fréquence stable. Donc, si nous retournons des pièces et mesurons la proportion de fois où nous obtenons des têtes, nous nous attendons à ce qu’elle approche 50% après une taille d’échantillon importante de, disons, 100 mais pas nécessairement 2 ou 4.

Dans notre esprit, nous ne rendons souvent pas compte de la précision et de l’incertitude avec une taille d’échantillon donnée.

Bien que nous le comprenions tous intuitivement, il nous est difficile de réaliser au moment du traitement et de la prise de décision que les échantillons plus grands sont de meilleures représentations que les échantillons plus petits.

Nous comprenons assez bien la différence entre une taille d’échantillon de 6 et 6 000 000, mais nous ne comprenons pas intuitivement la différence entre 200 et 3 000.

* * *

Ce biais se présente sous de nombreuses formes.

Dans un sondage téléphonique auprès de 300 personnes âgées, 60% soutiennent le président.

Si vous deviez résumer le message de cette phrase en exactement trois mots, quels seraient-ils? Presque certainement, vous choisiriez « président de soutien aux personnes âgées. »Ces mots fournissent l’essentiel de l’histoire. Les détails omis du sondage, qu’il a été fait au téléphone avec un échantillon de 300 personnes, n’ont aucun intérêt en eux-mêmes; ils fournissent des informations de base qui attirent peu l’attention. »Bien sûr, si l’échantillon était extrême, disons 6 personnes, vous le remettrez en question. Cependant, à moins d’être entièrement équipé mathématiquement, vous jugerez intuitivement la taille de l’échantillon et vous ne réagirez peut-être pas différemment à un échantillon de, disons, 150 et 3000. En un mot, c’est exactement le sens de l’affirmation selon laquelle « les gens ne sont pas suffisamment sensibles à la taille de l’échantillon. »

Une partie du problème est que nous nous concentrons sur l’histoire plutôt que sur la fiabilité, ou, la robustesse, des résultats.

La pensée du système un, c’est-à-dire notre intuition, n’est « pas sujette au doute. Il supprime l’ambiguïté et construit spontanément des histoires aussi cohérentes que possible. À moins que le message ne soit immédiatement nié, les associations qu’il évoque se répandront comme si le message était vrai. »

Considérer la taille de l’échantillon, à moins qu’elle ne soit extrême, ne fait pas partie de notre intuition.

Kahneman écrit:

La foi exagérée dans les petits échantillons n’est qu’un exemple d’illusion plus générale – nous accordons plus d’attention au contenu des messages qu’aux informations sur leur fiabilité et, par conséquent, nous nous retrouvons avec une vision du monde qui nous entoure plus simple et plus cohérente que ne le justifient les données. Sauter aux conclusions est un sport plus sûr dans le monde de notre imagination qu’il ne l’est en réalité.

* * *

En ingénierie, par exemple, nous pouvons le rencontrer dans l’évaluation des précédents.

Steven Vick, écrit dans Degrees of Belief: Subjective Probability and Engineering Judgment, écrit:

Si quelque chose a déjà fonctionné, la présomption est que cela fonctionnera à nouveau sans faute. Autrement dit, la probabilité de succès futur conditionnée au succès passé est prise comme 1.0. Par conséquent, une structure qui a survécu à un tremblement de terre serait supposée capable de survivre avec la même magnitude et la même distance, la présomption sous-jacente étant que les facteurs de causalité opérationnels doivent être les mêmes. Mais les mouvements sismiques du sol sont assez variables en termes de fréquence, de caractéristiques d’atténuation et de nombreux autres facteurs, de sorte qu’un précédent pour un seul tremblement de terre représente une très petite taille d’échantillon.

La pensée bayésienne nous dit qu’un seul succès, en l’absence d’autres informations, augmente la probabilité de survie dans le futur.

D’une certaine manière, cela est lié à la robustesse. Plus vous avez eu à gérer et plus vous survivez, plus vous êtes robuste.

Regardons quelques autres exemples.

* * *

Hôpital

Daniel Kahneman et Amos Tversky ont démontré notre insensibilité à la taille de l’échantillon avec la question suivante:

Une certaine ville est desservie par deux hôpitaux. Dans le plus grand hôpital, environ 45 bébés naissent chaque jour et dans le plus petit hôpital, environ 15 bébés naissent chaque jour. Comme vous le savez, environ 50% de tous les bébés sont des garçons. Cependant, le pourcentage exact varie d’un jour à l’autre. Parfois, il peut être supérieur à 50%, parfois inférieur. Pendant une période de 1 an, chaque hôpital a enregistré les jours où plus de 60% des bébés nés étaient des garçons. Selon vous, quel hôpital a enregistré le plus de jours de ce type?

  1. Le plus grand hôpital
  2. Le plus petit hôpital
  3. À peu près le même (c’est-à-dire à moins de 5% l’un de l’autre)

La plupart des gens choisissent incorrectement 3. La bonne réponse est, cependant, 2.

Dans Jugement dans la Prise de décision managériale, Max Bazerman explique:

La plupart des personnes choisissent 3, s’attendant à ce que les deux hôpitaux enregistrent un nombre similaire de jours au cours desquels 60% ou plus des bébés sont des garçons. Les gens semblent avoir une idée de base de la façon dont il est inhabituel d’avoir 60% d’un événement aléatoire se produisant dans une direction spécifique. Cependant, les statistiques nous indiquent que nous sommes beaucoup plus susceptibles d’observer 60% des bébés mâles dans un échantillon plus petit que dans un échantillon plus grand. »Cet effet est facile à comprendre. Pensez à ce qui est le plus probable: obtenir plus de 60% de têtes en trois coups de monnaie ou obtenir plus de 60% de têtes en 3 000 coups.

* * *

Un autre exemple intéressant vient du Poker.

Sur de courtes périodes, la chance est plus importante que la compétence. Plus la chance contribue au résultat, plus l’échantillon dont vous aurez besoin pour faire la distinction entre les compétences de quelqu’un et le hasard pur est important.

David Einhorn explique.

Les gens me demandent « Est-ce que le poker a de la chance? » et « Investit-il de la chance? »

La réponse est, pas du tout. Mais la taille des échantillons est importante. Un jour donné, un bon investisseur ou un bon joueur de poker peut perdre de l’argent. Tout investissement en actions peut s’avérer perdant, peu importe la taille du bord. Idem pour une main de poker. Un tournoi de poker n’est pas très différent d’un concours de retournement de pièces et six mois de résultats d’investissement non plus.

Sur cette base, la chance joue un rôle. Mais au fil du temps – sur des milliers de mains contre une variété de joueurs et sur des centaines d’investissements dans une variété d’environnements de marché – la compétence l’emporte.

À mesure que le nombre de mains jouées augmente, la compétence joue un rôle de plus en plus important et la chance joue un rôle de moins en moins important.

* * *

Mais cela va bien au-delà des hôpitaux et du poker. Le baseball est un autre bon exemple. Sur une longue saison, il y a de fortes chances que les meilleures équipes se hissent au sommet. À court terme, tout peut arriver. Si vous regardez les 10 matchs de la saison, il y a de fortes chances qu’ils ne soient pas représentatifs de l’endroit où les choses atterriront après la saison complète de 162 matchs. À court terme, la chance joue trop de rôle.

Dans Moneyball, Michael Lewis écrit « Dans une série de cinq matchs, la pire équipe du baseball battra la meilleure environ 15% du temps. »

* * *

Si vous faites la promotion de personnes ou travaillez avec des collègues, vous voudrez également garder ce biais à l’esprit.

Si vous supposez que la performance au travail est une combinaison de compétence et de chance, vous pouvez facilement voir que la taille de l’échantillon est pertinente pour la fiabilité de la performance.

Cet échantillonnage de performance fonctionne comme toute autre chose, plus la taille de l’échantillon est grande, plus la réduction de l’incertitude est importante et plus vous avez de chances de prendre de bonnes décisions.

Ceci a été étudié par l’un de mes penseurs préférés, James March. Il appelle cela l’effet de faux enregistrement.

Il écrit:

Effet de Faux enregistrement. Un groupe de gestionnaires de capacité identique (modérée) montrera des variations considérables dans leurs dossiers de rendement à court terme. Certains seront trouvés à une extrémité de la distribution et seront considérés comme exceptionnels; d’autres seront à l’autre extrémité et seront considérés comme inefficaces. Plus un gestionnaire reste longtemps dans un emploi, moins la différence probable entre le rendement observé et la capacité réelle est grande. Le temps passé au travail a augmenté l’échantillon d’observations attendu, a réduit l’erreur d’échantillonnage attendue et a donc réduit le changement que le gestionnaire (ou la capacité modérée) sera promu ou quittera.

Effet héros. Au sein d’un groupe de gestionnaires aux capacités variables, plus le taux de promotion est rapide, moins il est probable qu’il soit justifié. Les enregistrements de rendement sont produits par une combinaison de la capacité sous-jacente et de la variation d’échantillonnage. Les gestionnaires qui ont de bons dossiers sont plus susceptibles d’avoir des capacités élevées que les gestionnaires qui ont de mauvais dossiers, mais la fiabilité de la différenciation est faible lorsque les dossiers sont courts.

( Je me rends compte que les promotions sont beaucoup plus compliquées que je ne le laisse faire. Certains emplois, par exemple, sont plus difficiles que d’autres. Cela devient rapidement désordonné et cela fait partie du problème. Souvent, lorsque les choses deviennent désordonnées, nous éteignons notre cerveau et concoctons l’explication la plus simple possible. Simple mais faux. Je souligne seulement que la taille de l’échantillon est une entrée dans la décision. Je ne préconise en aucun cas une approche « l’expérience est la meilleure », car cela s’accompagne d’une foule d’autres problèmes.)

* * *

Ce biais est également utilisé contre vous dans la publicité.

La prochaine fois que vous verrez une publicité qui dit « 4 médecins sur 5 recommandent …. »Ces résultats n’ont aucun sens sans connaître la taille de l’échantillon. Les chances sont assez bonnes que la taille de l’échantillon soit de 5.

* * *

Les grandes tailles d’échantillons ne sont pas une panacée. Les choses changent. Les systèmes évoluent et la foi en ces résultats peut également être infondée.

La clé, en tout temps, est de penser.

Ce biais conduit à toute une série de choses, telles que:
– sous-estimation du risque
– surestimation du risque
– confiance indue dans les tendances / modèles
– confiance indue dans l’absence d’effets secondaires / problèmes

Le biais de l’insensibilité à la taille de l’échantillon fait partie du réseau de modèles mentaux de Farnam Street.

Tagged: Biais de l’insensibilité à la régression, Daniel Kahneman, David Einhorn, Effet de faux enregistrement, Max Bazerman, Modèle Mental, Statistiques

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.