El malentendido generalizado de la aleatoriedad causa muchos problemas.
Hoy vamos a explorar un concepto que causa muchos errores de juicio humanos. Se llama el sesgo de insensibilidad al tamaño de la muestra,o, si lo prefiere, la ley de números pequeños.
La insensibilidad a los tamaños de muestra pequeños causa muchos problemas.
* * *
Si midiera a una persona, que midiera 6 pies, y luego te dijera que todos en el mundo tenían 6 pies, intuitivamente te darías cuenta de que esto es un error. Dirías que no puedes medir a una sola persona y luego sacar esa conclusión. Para hacer eso necesitarías una muestra mucho más grande.
Y, por supuesto, tendrías razón.
Aunque sencillo, este ejemplo es un elemento fundamental para comprender cómo la insensibilidad al tamaño de la muestra puede llevarnos por mal camino.
Como escribe Stuard Suterhland en Irracionalidad:
Antes de sacar conclusiones de la información sobre un número limitado de eventos (una muestra) seleccionados de un número mucho mayor de eventos (la población), es importante comprender algo sobre las estadísticas de las muestras.
En Thinking, Fast and Slow, Daniel Kahneman escribe: «Un evento aleatorio, por definición, no se presta a explicación, pero las colecciones de eventos aleatorios se comportan de una manera muy regular.»Kahnemen continúa,» es más probable que los resultados extremos (tanto altos como bajos) se encuentren en muestras pequeñas que en muestras grandes. Esta explicación no es causal.»
Todos sabemos intuitivamente que » los resultados de muestras más grandes merecen más confianza que las muestras más pequeñas, e incluso personas que son inocentes del conocimiento estadístico han oído hablar de esta ley de grandes números.»
El principio de regresión a la media dice que a medida que el tamaño de la muestra crece, los resultados deben converger a una frecuencia estable. Por lo tanto, si estamos volteando monedas, y midiendo la proporción de veces que obtenemos cabezas, esperaríamos que se acercara al 50% después de un tamaño de muestra grande de, digamos, 100, pero no necesariamente 2 o 4.
En nuestra mente, a menudo no damos cuenta de la precisión y la incertidumbre con un tamaño de muestra dado.
Si bien todos lo entendemos intuitivamente, es difícil para nosotros darnos cuenta en el momento del procesamiento y la toma de decisiones que las muestras más grandes son mejores representaciones que las muestras más pequeñas.
Entendemos la diferencia entre un tamaño de muestra de 6 y 6.000.000 bastante bien, pero intuitivamente no entendemos la diferencia entre 200 y 3.000.
* * *
Este sesgo se presenta en muchas formas.
En una encuesta telefónica de 300 personas mayores, el 60% apoya al presidente.
Si tuviera que resumir el mensaje de esta oración en exactamente tres palabras, ¿cuáles serían? Es casi seguro que elegirías «presidente de apoyo a ancianos».»Estas palabras proporcionan la esencia de la historia. Los detalles omitidos de la encuesta, que se hizo por teléfono con una muestra de 300, no son de interés en sí mismos; proporcionan información de antecedentes que atrae poca atención.»Por supuesto, si la muestra fuera extrema, digamos 6 personas, lo cuestionarías. Sin embargo, a menos que esté completamente equipado matemáticamente, juzgará intuitivamente el tamaño de la muestra y es posible que no reaccione de manera diferente a una muestra de, digamos, 150 y 3000. En pocas palabras, ese es exactamente el significado de la afirmación de que » las personas no son suficientemente sensibles al tamaño de la muestra.»
Parte del problema es que nos centramos en la historia sobre la fiabilidad, o robustez, de los resultados.
El pensamiento del sistema uno, que es nuestra intuición, «no es propenso a la duda. Suprime la ambigüedad y construye espontáneamente historias lo más coherentes posible. A menos que el mensaje sea inmediatamente negado, las asociaciones que evoca se propagarán como si el mensaje fuera verdadero.»
Considerar el tamaño de la muestra, a menos que sea extremo, no es parte de nuestra intuición.
Kahneman escribe:
La fe exagerada en las muestras pequeñas es solo un ejemplo de una ilusión más general: prestamos más atención al contenido de los mensajes que a la información sobre su fiabilidad, y como resultado terminamos con una visión del mundo que nos rodea que es más simple y coherente de lo que los datos justifican. Sacar conclusiones es un deporte más seguro en el mundo de nuestra imaginación de lo que es en realidad.
* * *
En ingeniería, por ejemplo, podemos encontrar esto en la evaluación de la precedente.
Steven Vick, escribiendo en Grados de Creencia: Probabilidad Subjetiva y Juicio de Ingeniería, escribe:
Si algo ha funcionado antes, la presunción es que volverá a funcionar sin falta. Es decir, la probabilidad de éxito futuro condicionada al éxito pasado se toma como 1.0. En consecuencia, se asumiría que una estructura que ha sobrevivido a un terremoto es capaz de sobrevivir con la misma magnitud y distancia, con la presunción subyacente de que los factores causales operativos deben ser los mismos. Pero los movimientos sísmicos del suelo son bastante variables en su contenido de frecuencia, características de atenuación y muchos otros factores, por lo que un precedente para un solo terremoto representa un tamaño de muestra muy pequeño.
El pensamiento bayesiano nos dice que un solo éxito, sin otra información, aumenta la probabilidad de supervivencia en el futuro.
En cierto modo, esto está relacionado con la robustez. Cuanto más has tenido que manejar y aún sobrevives, más robusto eres.
veamos algunos otros ejemplos.
* * *
Hospital
Daniel Kahneman y Amos Tversky demostraron nuestra insensibilidad al tamaño de la muestra con la siguiente pregunta:
Una ciudad determinada es atendida por dos hospitales. En el hospital más grande nacen unos 45 bebés al día, y en el hospital más pequeño nacen unos 15 bebés al día. Como saben, alrededor del 50% de todos los bebés son varones. Sin embargo, el porcentaje exacto varía de un día a otro. A veces puede ser superior al 50%, a veces inferior. Durante un período de 1 año, cada hospital registró los días en que más del 60% de los bebés nacieron eran varones. ¿Qué hospital crees que registró más de esos días?
- El hospital más grande
- El hospital más pequeño
- Aproximadamente el mismo (es decir, dentro del 5% el uno del otro)
La mayoría de las personas eligen incorrectamente 3. La respuesta correcta es, sin embargo, 2.
En el Juicio en la Toma de Decisiones Gerenciales, Max Bazerman explica:
La mayoría de las personas eligen 3, esperando que los dos hospitales registren un número similar de días en los que el 60 por ciento o más de la junta de bebés sean varones. La gente parece tener una idea básica de lo inusual que es que el 60 por ciento de un evento aleatorio ocurra en una dirección específica. Sin embargo, las estadísticas nos dicen que es mucho más probable que observemos el 60 por ciento de los bebés varones en una muestra más pequeña que en una muestra más grande.»Este efecto es fácil de entender. Piensa en cuál es más probable: obtener más del 60 por ciento de cabezas en tres giros de moneda o obtener más del 60 por ciento de cabezas en 3,000 giros.
* * *
Otro ejemplo interesante viene del Poker.
Durante períodos cortos de tiempo, la suerte es más importante que la habilidad. Cuanta más suerte contribuya al resultado, más grande será la muestra que necesitará para distinguir entre la habilidad de alguien y la pura casualidad.
David Einhorn explica.
La gente me pregunta » ¿Es suerte el poker?»y» Es invertir suerte?»
La respuesta es, en absoluto. Pero el tamaño de las muestras importa. En cualquier día, un buen inversor o un buen jugador de póquer puede perder dinero. Cualquier inversión en acciones puede resultar un perdedor sin importar cuán grande parezca el borde. Mismo para una mano de poker. Un torneo de poker no es muy diferente de un concurso de lanzamiento de monedas y tampoco lo es seis meses de resultados de inversión.
Sobre esa base, la suerte juega un papel. Pero con el tiempo, a través de miles de manos contra una variedad de jugadores y cientos de inversiones en una variedad de entornos de mercado, la habilidad gana.
A medida que aumenta el número de manos jugadas, la habilidad juega un papel cada vez más importante y la suerte juega un papel menos importante.
* * *
Pero esto va mucho más allá de los hospitales y el póquer. El béisbol es otro buen ejemplo. Durante una larga temporada, las probabilidades son que los mejores equipos suban a la cima. A corto plazo, cualquier cosa puede suceder. Si nos fijamos en los 10 partidos de pie de la temporada, lo más probable es que no sean representativos de dónde aterrizarán las cosas después de la temporada completa de 162 partidos. A corto plazo, la suerte juega un papel demasiado importante.
En Moneyball, Michael Lewis escribe: «En una serie de cinco partidos, el peor equipo de béisbol vencerá al mejor alrededor del 15% de las veces.»
* * *
Si promocionas a personas o trabajas con colegas, también querrás tener en cuenta este sesgo.
Si asume que el rendimiento en el trabajo es una combinación de habilidad y suerte, puede ver fácilmente que el tamaño de la muestra es relevante para la confiabilidad del rendimiento.
Que el muestreo de rendimiento funciona como cualquier otra cosa, cuanto mayor sea el tamaño de la muestra, mayor será la reducción de la incertidumbre y más probabilidades tendrá de tomar buenas decisiones.
Esto ha sido estudiado por uno de mis pensadores favoritos, James March. Lo llama el efecto de registro falso.
Escribe:
Efecto de Registro Falso. Un grupo de gerentes de idéntica capacidad (moderada) mostrará una variación considerable en sus registros de rendimiento a corto plazo. Algunos se encontrarán en un extremo de la distribución y se considerarán excepcionales; otros estarán en el otro extremo y serán vistos como ineficaces. Cuanto más tiempo permanezca un gerente en un trabajo, menor será la diferencia probable entre el registro observado de desempeño y la capacidad real. El tiempo en el trabajo aumentó la muestra esperada de observaciones, redujo el error esperado de muestreo y, por lo tanto, redujo el cambio en que el gerente (o la capacidad moderada) será ascendido o saldrá.
Efecto Héroe. Dentro de un grupo de gerentes de diferentes capacidades, cuanto más rápido sea el ritmo de ascenso, menos probable será que se justifique. Los registros de rendimiento se producen mediante una combinación de capacidad subyacente y variación de muestreo. Los gerentes que tienen buenos registros tienen más probabilidades de tener una alta capacidad que los gerentes que tienen registros deficientes, pero la confiabilidad de la diferenciación es pequeña cuando los registros son cortos.
(Me doy cuenta de que los ascensos son mucho más complicados de lo que estoy diciendo. Algunos trabajos, por ejemplo, son más difíciles que otros. Se complica rápidamente y eso es parte del problema. A menudo, cuando las cosas se complican, apagamos nuestros cerebros y inventamos la explicación más simple que podemos. Simple pero equivocado. Solo estoy señalando que el tamaño de la muestra es una entrada en la decisión. De ninguna manera estoy abogando por un enfoque de «la experiencia es lo mejor», ya que eso viene con una serie de otros problemas.)
* * *
Este sesgo también se usa en su contra en la publicidad.
La próxima vez que vea un comercial que diga » 4 de cada 5 médicos recomiendan recommend»Estos resultados no tienen sentido sin conocer el tamaño de la muestra. Las probabilidades son bastante buenas de que el tamaño de la muestra sea de 5.
* * *
Los tamaños de muestra grandes no son una panacea. Las cosas cambian. Los sistemas evolucionan y la fe en esos resultados también puede ser infundada.
La clave, en todo momento, es pensar.
Este sesgo conduce a una gran cantidad de cosas, como:
– subestimación del riesgo
-sobreestimación del riesgo
– confianza indebida en tendencias/patrones
-confianza indebida en la falta de efectos secundarios/problemas
El Sesgo de insensibilidad al tamaño de la muestra es parte de la celosía de Farnam Street de los modelos mentales.