powszechne niezrozumienie losowości powoduje wiele problemów.
dzisiaj przyjrzymy się koncepcji, która powoduje wiele ludzkich błędów. Nazywa się to odchyleniem od niewrażliwości na wielkość próby, lub,jeśli wolisz, prawem małych liczb.
niewrażliwość na małe rozmiary próbek powoduje wiele problemów.
* * *
gdybym zmierzył jedną osobę, która mierzyła 1,5 metra, a potem powiedział, że wszyscy na całym świecie mają 1,5 metra, intuicyjnie zrozumiałbyś, że to błąd. Można powiedzieć, że nie można zmierzyć tylko jednej osoby i wyciągnąć takiego wniosku. Aby to zrobić, potrzebujesz znacznie większej próbki.
i oczywiście masz rację.
chociaż prosty, ten przykład jest kluczowym elementem naszego zrozumienia, w jaki sposób niewrażliwość na wielkość próbki może nas sprowadzić na manowce.
jak pisze Stuard Suterhland w irracjonalności:
przed wyciągnięciem wniosków z informacji o ograniczonej liczbie zdarzeń (próbka) wybranych ze znacznie większej liczby zdarzeń (populacja) ważne jest, aby zrozumieć coś o statystykach próbek.
w myślach, szybko i wolno, Daniel Kahneman pisze: „zdarzenie losowe z definicji nie nadaje się do wyjaśnienia, ale zbiory zdarzeń losowych zachowują się w bardzo regularny sposób.”Kahnemen kontynuuje,” ekstremalne wyniki (zarówno wysokie, jak i niskie) są bardziej prawdopodobne w małych niż dużych próbkach. To wyjaśnienie nie jest przyczynowe.”
wszyscy intuicyjnie wiemy, że ” wyniki większych próbek zasługują na większe zaufanie niż mniejsze próbki, a nawet ludzie, którzy są niewinni wiedzy statystycznej, słyszeli o tym prawie dużych liczb.”
zasada regresji do średniej mówi, że jak wielkość próby rośnie większe wyniki powinny zbiegać się do stabilnej częstotliwości. Tak więc, jeśli rzucamy monetami i mierzymy proporcję czasu, w którym otrzymujemy orły, spodziewamy się, że zbliży się do 50% po jakiejś dużej próbie, powiedzmy, 100, ale niekoniecznie 2 lub 4.
w naszych umysłach często nie uwzględniamy dokładności i niepewności przy danej wielkości próby.
chociaż wszyscy rozumiemy to intuicyjnie, trudno jest nam zdać sobie sprawę w momencie przetwarzania i podejmowania decyzji, że większe próbki są lepszymi reprezentacjami niż mniejsze próbki.
rozumiemy różnicę między wielkością próbki 6 A 6 000 000 dość dobrze, ale intuicyjnie nie rozumiemy różnicy między 200 a 3 000.
* * *
tendencja ta występuje w wielu formach.
w sondażu telefonicznym 300 seniorów 60% popiera prezydenta.
gdybyś miał streścić przesłanie tego zdania w dokładnie trzech słowach, jakie by to były? Prawie na pewno wybrałby Pan ” prezydenta wsparcia dla osób starszych.”Te słowa stanowią sedno tej historii. Pominięte szczegóły ankiety, że została ona wykonana przez telefon z próbką 300, nie są same w sobie interesujące; dostarczają podstawowych informacji, które przyciągają niewielką uwagę.”Oczywiście, gdyby próbka była ekstremalna, powiedzmy 6 osób, kwestionowałbyś to. Jeśli jednak nie jesteś w pełni wyposażony matematycznie, intuicyjnie ocenisz wielkość próby i nie możesz reagować inaczej na próbkę, powiedzmy, 150 i 3000. To, w skrócie, jest dokładnie znaczenie stwierdzenia, że ” ludzie nie są odpowiednio wrażliwe na wielkość próby.”
część problemu polega na tym, że skupiamy się na historii nad niezawodnością, lub, solidnością, wyników.
System one myślenie, czyli nasza intuicja, ” nie jest podatne na wątpliwości. Tłumi niejednoznaczność i spontanicznie konstruuje historie, które są jak najbardziej spójne. Jeśli wiadomość nie zostanie natychmiast zanegowana, skojarzenia, które wywołuje, rozprzestrzenią się tak, jakby wiadomość była prawdziwa.”
biorąc pod uwagę wielkość próby, chyba że jest ekstremalna, nie jest częścią naszej intuicji.
Kahneman pisze:
przesadna wiara w małe próbki jest tylko jednym z przykładów bardziej ogólnej iluzji – zwracamy większą uwagę na treść przekazów niż na informacje o ich wiarygodności, a w rezultacie otrzymujemy spojrzenie na otaczający nas świat prostsze i bardziej spójne niż dane uzasadniają. Wyciąganie wniosków jest bezpieczniejszym sportem w świecie naszej wyobraźni niż w rzeczywistości.
* * *
na przykład w inżynierii możemy spotkać się z tym w ocenie precedensu.
Steven Vick, pisząc w stopniach wiary: subiektywne prawdopodobieństwo i osąd inżynierski, pisze:
jeśli coś działało wcześniej, zakłada się, że będzie działać ponownie Bez przerwy. Oznacza to, że prawdopodobieństwo przyszłego sukcesu uzależnione od sukcesu z przeszłości jest brane jako 1.0. W związku z tym przyjmuje się, że struktura, która przetrwała trzęsienie ziemi, jest w stanie przetrwać z taką samą wielkością i odległością, przy założeniu, że operacyjne czynniki przyczynowe muszą być takie same. Ale sejsmiczne ruchy gruntu są dość zmienne pod względem zawartości częstotliwości, charakterystyki tłumienia i wielu innych czynników, tak że precedens dla pojedynczego trzęsienia ziemi reprezentuje bardzo mały rozmiar próbki.
myśl bayesowska mówi nam, że pojedynczy sukces, bez innych informacji, zwiększa prawdopodobieństwo przeżycia w przyszłości.
w pewnym sensie jest to związane z solidnością. Im więcej musisz poradzić sobie i nadal przetrwać, tym bardziej jesteś solidny.
spójrzmy na inne przykłady.
* * *
Szpital
Daniel Kahneman i Amos Tversky zademonstrowali naszą niewrażliwość na wielkość próby, zadając następujące pytanie:
w pewnym mieście działają dwa szpitale. W większym szpitalu każdego dnia rodzi się około 45 dzieci, a w mniejszym około 15 dzieci każdego dnia. Jak wiecie, około 50% wszystkich dzieci to chłopcy. Jednak dokładny procent zmienia się z dnia na dzień. Czasami może być wyższa niż 50%, czasami niższa. Przez okres 1 roku w każdym szpitalu odnotowano dni, w których ponad 60% urodzonych dzieci to chłopcy. Jak myślisz, który szpital odnotował więcej takich dni?
- większy Szpital
- mniejszy Szpital
- mniej więcej taki sam (czyli w granicach 5% od siebie)
większość osób nieprawidłowo wybiera 3. Poprawna odpowiedź to jednak 2.
w wyroku w podejmowaniu decyzji zarządczych Max Bazerman wyjaśnia:
większość osób wybiera 3, spodziewając się, że dwa szpitale zanotują podobną liczbę dni, w których 60% lub więcej dzieci to chłopcy. Ludzie zdają się mieć podstawowe pojęcie o tym, jak niezwykłe jest 60% przypadkowego zdarzenia zachodzącego w określonym kierunku. Jednak statystyki mówią nam, że znacznie częściej obserwujemy 60 procent męskich dzieci w mniejszej próbce niż w większej próbce.”Ten efekt jest łatwy do zrozumienia. Zastanów się, co jest bardziej prawdopodobne: uzyskanie więcej niż 60% Orłów w trzech rzutach monetą lub uzyskanie więcej niż 60% Orłów w 3000 rzutach.
* * *
Innym ciekawym przykładem jest poker.
w krótkim czasie szczęście jest ważniejsze od umiejętności. Im więcej szczęścia przyczynia się do wyniku, tym większa próbka będzie potrzebna, aby odróżnić czyjeś umiejętności od czystego przypadku.
David Einhorn wyjaśnia.
ludzie pytają mnie ” czy poker ma szczęście?”i” czy inwestowanie przynosi szczęście?”
odpowiedź brzmi, wcale nie. Ale rozmiary próbek mają znaczenie. W danym dniu dobry inwestor lub dobry gracz w pokera może stracić pieniądze. Każda inwestycja w akcje może okazać się przegrana, bez względu na to, jak duża jest krawędź. To samo z pokerowym rozdaniem. Jeden turniej pokerowy nie różni się zbytnio od konkursu rzut monetą i nie jest sześć miesięcy wyników inwestycyjnych.
na tej podstawie szczęście odgrywa rolę. Ale z czasem – w tysiącach rozdań przeciwko różnym graczom i w setkach inwestycji w różnych środowiskach rynkowych – umiejętności wygrywają.
wraz ze wzrostem liczby rozegranych rąk, umiejętności odgrywają coraz większą rolę, a szczęście odgrywa mniej roli.
* * *
ale to wykracza poza szpitale i pokera. Baseball to kolejny dobry przykład. W długim sezonie najlepsze drużyny awansują na szczyt. W krótkim czasie wszystko może się zdarzyć. Jeśli spojrzysz na 10 meczów w sezonie, szanse są takie, że nie będą one reprezentatywne dla tego, gdzie rzeczy wylądują po pełnym sezonie 162 gier. Na krótką metę szczęście odgrywa zbyt dużą rolę.
w Moneyball, Michael Lewis pisze: „w serii pięciu meczów najgorsza drużyna w baseballu pokona najlepszą około 15% przypadków.”
* * *
jeśli promujesz ludzi lub pracujesz z kolegami, pamiętaj o tym uprzedzeniu.
jeśli założysz, że wydajność w pracy jest połączeniem umiejętności i szczęścia, łatwo zauważysz, że wielkość próby ma znaczenie dla niezawodności wydajności.
że próbkowanie wydajności działa jak Wszystko inne, im większy rozmiar próbki, tym większe zmniejszenie niepewności i większe prawdopodobieństwo podjęcia dobrych decyzji.
badał to jeden z moich ulubionych myślicieli, James March. Nazywa to efektem fałszywego zapisu.
pisze:
efekt fałszywego zapisu. Grupa menedżerów o identycznych (umiarkowanych) zdolnościach wykaże znaczne różnice w ich wynikach w krótkim okresie. Niektóre zostaną znalezione na jednym końcu dystrybucji i będą postrzegane jako wybitne; inne będą na drugim końcu i będą postrzegane jako nieskuteczne. Im dłużej menedżer pozostaje w pracy, tym mniejsza jest prawdopodobna różnica między obserwowanym zapisem wydajności a rzeczywistymi zdolnościami. Czas pracy zwiększył oczekiwaną próbkę obserwacji, zmniejszył oczekiwany błąd próbkowania, a tym samym zmniejszył zmianę, że menedżer (lub umiarkowana zdolność) zostanie awansowany lub wycofany.
Efekt Bohatera. W grupie menedżerów o różnych umiejętnościach, im szybsze tempo awansu, tym mniejsze prawdopodobieństwo jego uzasadnienia. Rekordy wydajności są produkowane przez połączenie podstawowej zdolności i zmienności próbkowania. Menedżerowie, którzy mają dobre rekordy są bardziej narażone na wysoką zdolność niż menedżerowie, którzy mają słabe rekordy, ale niezawodność różnicowania jest niewielka, gdy rekordy są krótkie.
(zdaję sobie sprawę, że awansowanie jest o wiele bardziej skomplikowane, niż mówię. Na przykład niektóre zadania są trudniejsze od innych. Szybko robi się bałagan i to jest część problemu. Często, gdy robi się bałagan, wyłączamy mózgi i wymyślamy najprostsze wyjaśnienie. Proste, ale złe. Zaznaczam tylko, że wielkość próby jest jednym z elementów decyzji. W żadnym razie nie opowiadam się za podejściem” doświadczenie jest najlepsze”, ponieważ wiąże się to z wieloma innymi problemami.)
* * *
to uprzedzenie jest również używane przeciwko Tobie w reklamie.
następnym razem zobaczysz reklamę z napisem ” 4 na 5 lekarzy poleca … „Wyniki te są bez znaczenia, nie znając wielkości próby. Szanse są całkiem dobre, że wielkość próby wynosi 5.
* * *
duże rozmiary próbek nie są panaceum. Rzeczy się zmieniają. Systemy ewoluują i wiara w te wyniki może być również bezpodstawna.
kluczem jest zawsze myślenie.
to odchylenie prowadzi do całego szeregu rzeczy, takich jak:
– niedoszacowanie ryzyka
-nadmierne szacowanie ryzyka
– nadmierne zaufanie do trendów/wzorców
-nadmierne zaufanie do braku skutków ubocznych/problemów
odchylenie od niewrażliwości na wielkość próby jest częścią sieci Farnam Street modeli mentalnych.