înțelegerea distribuției cu coadă grasă

în partea 1, discutăm ce înseamnă pentru o variabilă aleatorie să aibă o distribuție „coadă grasă”.

departe? Grasă?

pentru a înțelege coada grasă, trebuie să răspundem la următoarele două întrebări.

1. Cât de departe este departe?
2. Cât de grasă este grăsimea?

Pentru a vorbi despre coadă, trebuie să determinăm cât de departe este departe pentru a decide cât de departe de mijloc este suficient de departe pentru a spune că este o coadă. Cu alte cuvinte, de unde începe coada? Depinde! Din păcate, nu există un singur răspuns.

luați în considerare distribuția normală. Rețineți că există două cozi: dreapta și stânga. Dacă dorim să descriem coada ‘dreaptă’ a distribuției de la o abatere standard de la medie, de exemplu, atunci partea umbrită se referă la coada dreaptă a distribuției normale.

formal, putem descrie coada după cum urmează:

• coada dreapta: P (x> x)
• coada stanga : P(x)

pentru o valoare mare de ‘x’. Acum, cunoaștem conceptul de ‘coadă’.

#For normal distribution with value 'x=a'
a=1
1-pnorm(a) #right tail
pnorm(-a) #left tail

fiecare distribuție are o coadă?

gândiți-vă la distribuția uniformă peste . Are coadă? În acest blog, se spune că nu fiecare distribuție are o coadă.

Dacă doriți ca „comportamentul cozii” să descrie caracteristicile pdf-ului atunci când ” x ” devine mare, atunci distribuțiile delimitate nu au cozi. Cu toate acestea, unele caracteristici ale cozilor pot fi cuantificate. În special, folosind limite și comportament asimptotic puteți defini noțiunea de cozi grele. SAS blog

voi explica distribuția (exponențial) delimitată / nu delimitată mai jos. Vă rugăm să vă reamintiți distribuția uniformă când ajungeți acolo!

de ce ar trebui să ne pese de partea ‘coadă’ a distribuției?

partea de coadă a distribuției a fost principala preocupare pentru gestionarea riscurilor. De exemplu, cele mai utilizate două măsuri de risc pentru distribuirea rentabilității sau a pierderii sunt Value at Risk (VaR) și Expected shapfall (ES)

de ce loss not return?

• pierderea este literalmente minus (-) întoarcere
• luarea limitei la infinitul negativ nu este intuitivă. Deci, luăm negativul valorilor returnate,adică transformând distribuția pe axa Y.

vedeți doar cum se raportează cantitatea VaR și ES la ‘coadă’. Nu trebuie să înțelegeți matematica sau semnificația din spatele lor.

„fiți conștienți de faptul că graficul de mai jos este o distribuție de pierdere nu se întoarce!”

gândiți-vă la distribuția pierderii, l, randament echivalent (negativ), asupra unui activ pe o anumită perioadă de deținere. Din motive de înțelegere, presupunem că variabila aleatorie a pierderilor de mâine urmează distribuția normală:

apoi, putem calcula VaR în felul următor:

prin a doua linie, putem verifica cu ușurință că VaR este doar o cantitate legată de coada grasă. Pentru mai multe detalii despre VaR, verificați capitolul doi al cărții „Managementul Riscului cantitativ: concepte, tehnici și instrumente” și nota de curs a lui Eric Zivot pe site-ul său web.

alpha = 0.95 #significant level
VaR.alpha = qnorm(alpha, mu, sigma)
VaR.alpha = mu + sigma*qnorm(alpha, 0, 1)

în mod similar, putem vedea că deficitul așteptat este o cantitate legată de partea de coadă a distribuției:

în a patra linie, se spune că „ES este pierderea așteptată în „coada” superioară a distribuției pierderilor. Similar cu VaR, în cazul distribuției normale, este convenabil să se calculeze ES acum că este doar o medie a distribuției normale trunchiate.

alpha = 0.95
q.alpha.z = qnorm(alpha)
ES.alpha = mu + sigma*(dnorm(q.alpha.z)/(1-alpha))

Dacă cineva curios despre motivul pentru care împărțim la 1-centimetrul, aceasta este doar o constantă de normalizare (sau factor de scalare) pentru a vă asigura că integrarea distribuției trunchiate a pierderilor este una, ceea ce este o cerință pentru ca aceasta să fie o distribuție de probabilitate.

înapoi la povestea ‘coada’, am vrut doar să subliniez că distribuțiile coada sunt utilizate pe scară largă ca instrument de gestionare a riscurilor.

cât de grasă este grăsimea? Cât de greu este greu?

de când ne-am dat seama care este coada în distribuție și unde este folosită, acum este timpul să vorbim despre partea ‘grasă’. Știm cu toții că distribuția normală nu are o coadă de grăsime. În schimb, am fost învățați să folosim distribuția student-t și să înregistrăm distribuția normală atunci când modelăm seria rentabilității financiare pentru a lua în considerare proprietatea ‘fat-tail’. Dar trebuie să cunoaștem definiția cozii grase. Din păcate, nu există o definiție universală pentru termenul de grăsime.

voi încerca să explic coada grasă în limba engleză, Grafic și Matematică. Sper să vă bucurați de cel puțin una dintre cele trei.

• o distribuție cu coadă grea are cozi mai grele decât o distribuție exponențială (Bryson, 1974) Se spune că distribuția
• are o coadă grea atunci când partea cozii se descompune mai lent decât distribuția exponențială.

de ce exponențială?

este convenabil să folosiți distribuția exponențială ca referință. Pdf-ul distribuției exponențiale se apropie de zero ‘exponențial’ rapid. Adică, coada pdf-ului arată (dar se comportă diferit de) distribuția exponențială.

în limbajul graficului,

vă voi arăta 4 grafice diferite care arată ce se întâmplă în cozile din extrema dreaptă a unui set de distribuții diferite, după cum urmează:

• distribuția exponențială (exp)
• distribuția Legii Puterii (PL)
• distribuția normală (N)
• distribuția Log-normală (LN)
• distribuția Student-t
• distribuția Cauchy
• distribuția taxei
• distribuția Weibull

Nu voi explica fiecare dintre aceste distribuții. În schimb, să ne bucurăm de graficul acestor distribuții pentru a simți ce se întâmplă în partea de coadă. Primul grafic arată partea întregului grafic al cărui ‘ x ‘ se află în

cu figura 5 de mai sus, nu putem spune cum se comportă coada. Dar, iată câteva lucruri care merită menționate

• distribuțiile normale, student-t și Cauchy sunt distribuții cu două cozi. Toate celelalte sunt distribuții cu o coadă
• pentru PL(2.5) și PL(3.5), există un punct de trecere lângă x=1.7, ceea ce indică faptul că PL(2.5) are o coadă mai groasă.

să vedem cum arată când se află ‘x’. Rețineți că valorile din axa y devin mult mai mici.

Î: Ce vedeți în acest grafic?

A: linia cea mai superioară ar avea cea mai groasă coadă! (Dar nu chiar!!!) Și veți vedea de ce!

în prealabil, să examinăm faptele importante din Figura 6 de mai sus.

• distribuțiile normale și exp(2) se târăsc lângă 0 când x=5. În special pentru distribuția normală, valoarea pdf a deviației standard 5 este 0.000001486 (=pnorm (5)). Aceasta este de aproximativ 8000 de ori mai mică decât cea a distribuției Cauchy. Cu alte cuvinte, 5 evenimente sigma sunt de 8000 de ori mai susceptibile să se întâmple sub distribuția Cauchy decât distribuția normală.
• în Figura 6, rețineți că distribuția exp(0.2) se situează cu mult peste distribuția normală a jurnalului și distribuțiile Legii Puterii. Vă rugăm să verificați modul în care se inversează în următoarele grafice după extinderea intervalului de valori ‘x’.

să vedem cum arată când se află ‘x’. Din nou, rețineți că valorile din axa y devin mult mai mici.

• rețineți că linia albastră exp(0.2) se descompune rapid în timp ce traversează celelalte două care sunt PL (2.5) și Cauchy. Aceasta este ceea ce înseamnă prin „descompunere mai lentă decât distribuția exponențială”
• este surprinzător să vedem ce se întâmplă lângă ” x ” egal cu 100. Valoarea sa pdf de PL (1.5) este 0.0005. Nu este de mirare că primul și al doilea moment (media și varianța) sunt infinite pentru PL(1.5). Informații detaliate despre acest lucru vor fi acoperite în următorul document. Stay tuned!

să mărim axa y pentru a vedea cum se comportă în detaliu!

• în mod surprinzător, linia albastră exp(0.2) scade prin trecerea PL(3.5) și LN(0,1). De asemenea, putem vedea că LN(0,1) se descompune mai repede decât PL(3.5) acum că traversează PL(3.5) și trece sub el.
• PL (1.5), pl(2.5) și distribuțiile Levy nici măcar nu sunt afișate în acest grafic.

în limba matematică,

distribuția cozii grase este o subclasă a distribuției cu coada grea. Înseamnă că, deși fiecare distribuție cu coadă grasă este cu coadă grea, inversul nu este adevărat (de exemplu, Weibull). Conform notelor de curs ale lui Jay Taylor, el a diferențiat greutatea și grăsimea în felul următor.

definiția cozii grele

• se spune că distribuția are o coadă grea dreaptă dacă cozile nu sunt „delimitate exponențial

putem interpreta ca atunci când’ x ‘ devine mare, viteza de creștere exponențială este mai rapidă decât viteza de scădere a probabilității pe coada dreaptă grea. Ia timp să se gândească la asta!

vedeți cum se conectează la definiția engleză.

• funcția de distribuție a probabilității care se descompune mai lent decât o exponențială se numește coada grea dreaptă.

când este delimitat exponențial?

dacă coada dreaptă grea nu este suficient de grea, adică se descompune foarte repede pe măsură ce ‘x’ merge la infinit, atunci ecuația 1 converge la zero. Exemplul evident este distribuția uniformă așa cum am discutat mai sus. Odată ce’ x ‘ îl depășește pe unu, probabilitatea lui X mai mare decât unu devine zero, astfel încât este delimitată exponențial. Un alt exemplu popular este distribuția normală. Fie X un standard normal. Desenați o serie de grafice pentru diferitele valori lambda pentru a obține

putem vedea că converge la zero, astfel încât cozile distribuției normale sunt delimitate exponențial.

f_exp = function(x, lambda){return (exp(lambda*x))
cdf_normal = function(x) pnorm(x)
ccdf_normal = function(x) {1-cdf_normal(x)}xs = seq(1,10,length=10000)
plot(xs, f_exp(xs,0.1)*ccdf_normal(xs), type='l', xlab='',ylab='', col='blue', lwd=2)
abline(v=1, lty = 'dashed')
lines(xs,f_exp(xs,0.5)*ccdf_normal(xs), col='purple', lwd=2)
lines(xs,f_exp(xs,1)*ccdf_normal(xs), col='red', lwd=2)
lines(xs,f_exp(xs,1.5)*ccdf_normal(xs), col='orange', lwd=2)
lines(xs,f_exp(xs,2)*ccdf_normal(xs), col='darkred', lwd=2)
lines(xs,f_exp(xs,3)*ccdf_normal(xs), col='darkblue', lwd=2)
grid()
legend(8, 0.15, 
legend=c("0.1", "0.5","1","1.5","2","3"), title = "lambda",
col=c("blue",'purple', "red",'orange','darkred','darkblue'), lwd=2, cex=1)

definiția cozii grase

• se spune că distribuția are o coadă grasă dreaptă dacă există un exponent pozitiv (alfa) numit indicele cozii astfel încât

‘~’înseamnă aceeași până la constantă. Sau partea cozii este proporțională cu legea puterii. Exact, înseamnă următoarele.

nu ezitați să săriți dacă matematica este ‘grea/grasă’ pentru dvs.

prin urmare, partea de coadă a distribuțiilor cu coadă grasă urmează o lege a puterii (care este ‘x’ la puterea minus alfa). Pentru cei care nu sunt familiarizați cu o lege a puterii, nu vă faceți griji acum. Gândiți-vă la Grafic când alfa este egal cu doi.

amintiți-vă că partea din coadă arată similar cu legea puterii așa cum am văzut în figurile 5-8 de mai sus. Voi explica legea puterii în detaliu din această serie.

rezumat

Am trecut peste conceptul ‘fat-tail’ în acest document intuitiv, Grafic și matematic. Pentru a înțelege ‘distribuția stabilă temperată’, este necesar să avem o înțelegere fundamentală a cozii grase. Sper că acest document a fost util pentru a vă îmbunătăți înțelegerea. Vă rugăm să comentați mai jos dacă aveți orice întrebare. Sper că sunteți curioși ce va urma. Data viitoare, mă voi întoarce cu „călătorie către distribuția stabilă temperată”

f_exp = function(x, lambda, xmin) {lambda*exp(-lambda*(x-xmin))}
f_power = function (x, k, x_min) {
C = (k-1)*x_min^(k-1)
return (C*x^(-k))
}
f_cauchy = function(x) dcauchy(x)
f_levy = function(x) dlevy(x) # required package: 'rmulti'
f_weibul = function(x) dweibull(x,shape=1)
f_norm = function(x) dnorm(x)
f_lnorm = function(x) dlnorm(x)
f_t = function(x) dt(x,5)
xs = seq(0.1,100,length=1000)plot(xs, f_exp(xs,0.5,0.1),type='l',xlab='',ylab='', col='blue', lwd=2,
main='Distributions on ', cex.main=1,
xlim=c(0,5),
ylim=c(0,2.5))
lines(xs,f_exp(xs,1,0.1), col='purple', lwd=2)
lines(xs,f_exp(xs,2,0.1), col='bisque3', lwd=2)
lines(xs,f_power(xs,1.5, 1), col='red', lwd=2)
lines(xs,f_power(xs,2.5, 1), col='orange', lwd=2)
lines(xs,f_power(xs,3.5, 1), col='darkred', lwd=2)
lines(xs,f_norm(xs),col='black', lwd=2)
lines(xs,f_lnorm(xs), col='darkgreen', lwd=2)
lines(xs,f_t(xs), col='deeppink', lwd=2)
lines(xs, f_cauchy(xs), col='darkblue', lwd=2)
lines(xs, f_levy(xs), col='azure4', lwd=2)
lines(xs, f_weibul(xs), col='springgreen', lwd=2)
abline(v=2, lty = 'dashed')
abline(v=3, lty = 'dashed')
grid()
legend(3.5, 2.5, 
legend=c("exp(0.2)", "exp(1)", 'exp(2)', "PL(1.5)", 'PL(2.5)', 'PL(3.5)', 'N(0,1)','LN(0,1)','student-t(5)','Cauchy','Levy','Weibull'),
col=c("blue",'purple', 'bisque3',"red",'orange','darkred', 'black','darkgreen','deeppink','darkblue', 'azure4','springgreen'), lwd=2, cex=0.8)

Jay Taylor, distribuție cu coadă mare (2013), note de curs,

Eric Zivot, măsuri de risc (2013), note de curs

Aaron Clauset, inferență, modele și simulare pentru sisteme complexe (2011), note de curs

https://blogs.sas.com/content/iml/2014/10/13/fat-tailed-and-long-tailed-distributions.html