Understanding Fat-tailed Distribution

i del 1 diskuterar vi vad det betyder för en slumpmässig variabel att ha en ”fat-tail” – fördelning.

långt? Fett?

för att förstå fettsvansen måste vi svara på följande två frågor.

1. Hur långt är långt?
2. Hur fett är fett?

för att prata om svansen måste vi bestämma hur långt är långt för att bestämma hur långt från mitten är tillräckligt långt för att säga det en ’svans’. Med andra ord, var börjar svansen? Det beror på! Tyvärr finns det inget enda svar.

Tänk på normalfördelningen. Observera att det finns två svansar: höger och vänster. Om vi vill beskriva distributionens ’högra’ svans från den ena standardavvikelsen från medelvärdet, till exempel, hänvisar den skuggade delen till normalfördelningens högra svans.

formellt kan vi beskriva svansen enligt följande:

• höger svans: P (X> x)
• vänster svans: P ( x)

för ett stort värde av ’x’. Nu vet vi begreppet ’svans’.

#For normal distribution with value 'x=a'
a=1
1-pnorm(a) #right tail
pnorm(-a) #left tail

har varje distribution en svans?

Tänk på den enhetliga fördelningen över . Har den en svans? I den här bloggen står det inte varje distribution har en svans.

Om du vill att” svansens beteende ”ska beskriva egenskaperna hos pdf-filen när” x ” blir stor, har begränsade fördelningar inte svansar. Ändå kan vissa funktioner i svansar kvantifieras. I synnerhet genom att använda gränser och asymptotiskt beteende kan du definiera begreppet tunga svansar. SAS blog

Jag kommer att förklara (exponentiellt) avgränsad / inte avgränsad fördelning nedan. Påminn dig själv om den enhetliga fördelningen när du kommer dit!

varför ska vi bry oss om’ svansen ’ del av distributionen?

den bakre delen av distributionen har varit det största problemet för riskhantering. Till exempel är de två mest använda riskmåtten för fördelning av avkastning eller förlust värde vid Risk (var) och förväntat underskott (er)

varför förlust inte avkastning?

• förlust är bokstavligen minus (-) avkastning
• att ta gränsen till negativ oändlighet är inte intuitivt. Så vi tar Negativet av returvärden, dvs vrider fördelningen över y-axeln.

se bara hur kvantiteten VaR och ES är relaterade till ’svans’. Behöver inte förstå matematiken eller betydelsen bakom dem.

” var medveten om att nedanstående diagram är en fördelning av förlust inte återvända!”

Tänk på fördelning av förlust, l, likvärdigt (negativ) avkastning, på någon tillgång under en given innehavsperiod. För förståelsens skull antar vi att den slumpmässiga variabeln av förluster i morgon följer normalfördelningen:

sedan kan vi beräkna VaR på följande sätt:

genom den andra raden kan vi enkelt kontrollera att VaR bara är en mängd relaterad till fettsvansen. För mer information om VaR, kolla kapitel två i boken ”kvantitativ riskhantering: begrepp, tekniker och verktyg” och Eric Zivots föreläsningsanteckning på sin webbplats.

alpha = 0.95 #significant level
VaR.alpha = qnorm(alpha, mu, sigma)
VaR.alpha = mu + sigma*qnorm(alpha, 0, 1)

på samma sätt kan vi se att förväntat underskott är en kvantitet relaterad till distributionens svansdel:

i fjärde raden står det ”ES är den förväntade förlusten i den övre ”svansen” av förlustfördelningen. I likhet med VaR, när det gäller normalfördelning, är det bekvämt att beräkna ES nu när det bara är ett medel för stympad normalfördelning.

alpha = 0.95
q.alpha.z = qnorm(alpha)
ES.alpha = mu + sigma*(dnorm(q.alpha.z)/(1-alpha))

Om någon som är nyfiken på varför vi delar med 1 — megapixlar, är detta bara en normaliserande konstant (eller skalningsfaktor) för att se till att integrationen av den stympade förlustfördelningen är en, vilket är ett krav för att det ska vara en sannolikhetsfördelning.

tillbaka till historien om ’svans’ ville jag bara betona att svansfördelningarna används allmänt som riskhanteringsverktyg.

hur fett är fett? Hur tung är tung?

eftersom vi räknade ut vad ’svansen’ är i distribution och var den används, är det nu dags att prata om ’fett’ – delen. Vi vet alla att normalfördelning inte har en fet svans. Istället fick vi lära oss att använda student-t-distributionen och logga normalfördelning när vi modellerade den finansiella avkastningsserien för att ta hänsyn till egenskapen fat-tail. Men vi behöver veta definitionen av fet svans. Tyvärr finns det ingen universell definition för termen fett.

Jag kommer att försöka förklara fettsvansen på engelska, graf och matematik. Hoppas du njuter av minst en av de tre.

• en tung tailed distribution har svansar som är tyngre än en exponentiell fördelning (Bryson, 1974)
• Distribution sägs ha en tung svans när svansdelen sönderfaller långsammare än den exponentiella fördelningen.

varför exponentiell?

Det är bekvämt att använda exponentiell fördelning som referens. Pdf-filen för den exponentiella fördelningen närmar sig noll ’exponentiellt’ snabbt. Det vill säga svansen på pdf-filen ser ut (men beter sig annorlunda än) den exponentiella fördelningen.

på språket i grafen,

Jag kommer att visa dig 4 olika grafer som visar vad som händer längst till höger svansar av en uppsättning olika fördelningar enligt nedan:

• exponentiell fördelning (exp)
• power-law distribution (PL)
• normalfördelning (n)
• Log-normalfördelning (LN)
• Student-t distribution
• Cauchy distribution
• Levy distribution
• Weibull distribution

Jag kommer inte att förklara var och en av dessa fördelningar. Låt oss istället bara njuta av grafen för dessa fördelningar för att känna vad som händer i svansdelen. Den första grafen visar den del av hela grafen vars ’ x ’ ligger i

med figuren 5 ovan kan vi inte berätta hur svansen beter sig. Men här är några saker som är värda att nämna

• Normal, student-t och Cauchy distributioner är två-tailed distributioner. Alla andra är en tailed fördelningar
• för PL(2.5) och PL(3.5), det finns en korsning över punkt nära x=1.7, vilket indikerar att PL(2.5) har en tjockare svans.

Låt oss titta på hur det ser ut när ’x’ ligger i . Var medveten om att värdena i y-axeln blir mycket mindre.

F: Vad ser du i den här grafen?

A: den mest övre linjen skulle ha den tjockaste svansen! (Men inte riktigt!!!) Och du kommer att se varför!

Låt oss i förväg undersöka de viktiga fakta i Figur 6 ovan.

• normal-och exp(2) – distributioner kryper nära 0 när x=5. Speciellt för normalfördelning är dess pdf-värde på 5 Standardavvikelse 0.000001486 (=pnorm (5)). Detta är cirka 8000 gånger mindre än Cauchy-distributionen. Med andra ord är 5 Sigma-händelser 8000 gånger mer benägna att hända under Cauchy-distribution än normalfördelning.
• i Figur 6, Kom ihåg att exp(0.2) distribution lokaliserar långt över log normalfördelning och kraftlagfördelningar. Kontrollera hur det vänds i följande diagram efter att ha utökat intervallet ’x’ – värden.

Låt oss se hur det ser ut när ’x’ ligger i . Återigen, var medveten om att värdena i y-axeln blir mycket mycket mindre.

• Observera att den blå linjen exp(0.2) sönderfaller snabbt när de passerar de andra två som är PL (2.5) och Cauchy. Detta är vad det betyder med” sönderfall långsammare än exponentiell fördelning ”
• det är förvånande att se vad som händer nära ’x’ är lika med 100. Dess pdf-värde på PL (1.5) är 0.0005. Inte konstigt att första och andra ögonblicket (medelvärde och varians) är oändliga för PL(1.5). Detaljerad information om detta kommer att behandlas i nästa dokument. Håll ögonen öppna!

låt oss zooma in y-axeln för att se hur den beter sig i detalj!

• överraskande minskar den blå linjen exp(0.2) genom att korsa PL(3.5) och LN (0,1). Vi kan också se att LN(0,1) sönderfaller snabbare än PL(3.5) nu när den korsar PL (3.5) och går under den.
• PL (1.5), PL (2.5) och Avgiftsfördelningar visas inte ens i denna graf.

på matematikens språk är

Fat tail distribution en underklass av den tunga tailed fördelningen. Det betyder att även om varje fett-tailed fördelning är tung-tailed, är det omvända inte sant (t.ex. Weibull). Enligt Jay Taylors föreläsningsanteckningar differentierade han det tunga och feta på följande sätt.

Definition av tung svans

• Distribution sägs ha rätt tung svans om svansar är ”inte” exponentiellt begränsade

vi kan tolka det som när ’x’ blir stor, hastigheten för exponentiellt ökande är snabbare än hastigheten för minskande sannolikhet på tung höger svans. Ta dig tid att tänka på det!

se hur den ansluter till den engelska definitionen.

• Sannolikhetsfördelningsfunktion som sönderfaller långsammare än en exponentiell kallas rätt tung svans.

när exponentiellt avgränsas?

om den tunga högra svansen inte är tillräckligt tung, dvs den sönderfaller super snabbt när ’ x ’ går till oändlighet, konvergerar ekvation 1 till noll. Det uppenbara exemplet är enhetlig fördelning över som vi diskuterade ovan. När’ x ’ överstiger den, blir sannolikheten för X större än en noll så att den exponentiellt begränsas. Ett annat populärt exempel är normalfördelningen. Låt X vara en standard normal. Rita en serie grafer för de olika lambda-värdena för att få

vi kan se att det konvergerar till noll så att svansar av normalfördelningen exponentiellt begränsas.

f_exp = function(x, lambda){return (exp(lambda*x))
cdf_normal = function(x) pnorm(x)
ccdf_normal = function(x) {1-cdf_normal(x)}xs = seq(1,10,length=10000)
plot(xs, f_exp(xs,0.1)*ccdf_normal(xs), type='l', xlab='',ylab='', col='blue', lwd=2)
abline(v=1, lty = 'dashed')
lines(xs,f_exp(xs,0.5)*ccdf_normal(xs), col='purple', lwd=2)
lines(xs,f_exp(xs,1)*ccdf_normal(xs), col='red', lwd=2)
lines(xs,f_exp(xs,1.5)*ccdf_normal(xs), col='orange', lwd=2)
lines(xs,f_exp(xs,2)*ccdf_normal(xs), col='darkred', lwd=2)
lines(xs,f_exp(xs,3)*ccdf_normal(xs), col='darkblue', lwd=2)
grid()
legend(8, 0.15, 
legend=c("0.1", "0.5","1","1.5","2","3"), title = "lambda",
col=c("blue",'purple', "red",'orange','darkred','darkblue'), lwd=2, cex=1)

Definition av fettsvans

• Distribution sägs ha rätt fettsvans om det finns en positiv exponent (alfa) som kallas svansindex så att

’~’betyder samma upp till konstant. Eller svansdelen är proportionell mot kraftlagen. Exakt betyder det följande.

Känn dig fri att hoppa över om matte är ’tung/fet’ för dig.

därför följer svansdelen av fett-tailed distributioner en kraftlag (som är ’x’ till kraften i minus alfa). För dem som inte är bekanta med en maktlag, oroa dig inte nu. Tänk på grafen när Alfa är lika med två.

Påminn dig själv om att svansdelen liknar maktlagen som vi har sett i figurerna 5-8 ovan. Jag kommer att förklara power law mer detaljerat från denna serie.

sammanfattning

vi gick över konceptet ’fat-tail’ i detta dokument intuitivt, grafiskt och matematiskt. För att förstå den ’tempererade stabila fördelningen’ är det nödvändigt att ha en grundläggande förståelse för fettsvansen. Hoppas detta dokument var till hjälp för att förbättra din förståelse. Kommentera nedan om du har några frågor. Jag hoppas att du är nyfiken på vad som kommer härnäst. Nästa gång kommer jag tillbaka med ”Journey to Tempered Stable Distribution”

f_exp = function(x, lambda, xmin) {lambda*exp(-lambda*(x-xmin))}
f_power = function (x, k, x_min) {
C = (k-1)*x_min^(k-1)
return (C*x^(-k))
}
f_cauchy = function(x) dcauchy(x)
f_levy = function(x) dlevy(x) # required package: 'rmulti'
f_weibul = function(x) dweibull(x,shape=1)
f_norm = function(x) dnorm(x)
f_lnorm = function(x) dlnorm(x)
f_t = function(x) dt(x,5)
xs = seq(0.1,100,length=1000)plot(xs, f_exp(xs,0.5,0.1),type='l',xlab='',ylab='', col='blue', lwd=2,
main='Distributions on ', cex.main=1,
xlim=c(0,5),
ylim=c(0,2.5))
lines(xs,f_exp(xs,1,0.1), col='purple', lwd=2)
lines(xs,f_exp(xs,2,0.1), col='bisque3', lwd=2)
lines(xs,f_power(xs,1.5, 1), col='red', lwd=2)
lines(xs,f_power(xs,2.5, 1), col='orange', lwd=2)
lines(xs,f_power(xs,3.5, 1), col='darkred', lwd=2)
lines(xs,f_norm(xs),col='black', lwd=2)
lines(xs,f_lnorm(xs), col='darkgreen', lwd=2)
lines(xs,f_t(xs), col='deeppink', lwd=2)
lines(xs, f_cauchy(xs), col='darkblue', lwd=2)
lines(xs, f_levy(xs), col='azure4', lwd=2)
lines(xs, f_weibul(xs), col='springgreen', lwd=2)
abline(v=2, lty = 'dashed')
abline(v=3, lty = 'dashed')
grid()
legend(3.5, 2.5, 
legend=c("exp(0.2)", "exp(1)", 'exp(2)', "PL(1.5)", 'PL(2.5)', 'PL(3.5)', 'N(0,1)','LN(0,1)','student-t(5)','Cauchy','Levy','Weibull'),
col=c("blue",'purple', 'bisque3',"red",'orange','darkred', 'black','darkgreen','deeppink','darkblue', 'azure4','springgreen'), lwd=2, cex=0.8)

Jay Taylor, heavy-tailed distribution (2013), Föreläsningsanteckningar,

Eric Zivot, riskåtgärder (2013), Föreläsningsanteckningar

Aaron Clauset, slutledning, modeller och simulering för komplexa system (2011), Föreläsningsanteckningar

https://blogs.sas.com/content/iml/2014/10/13/fat-tailed-and-long-tailed-distributions.html