Distribuzione di Laplace

Distribuzione di Laplace
Funzione di densità di probabilità
Funzione di ripartizione
Parametri μ R {\displaystyle \mu \in \mathbb {R} } parametro di posizione
b R + {\displaystyle b\in \mathbb {R} ^{+}} parametro di scala
Supporto x R {\displaystyle x\in \mathbb {R} }
Funzione di densità 1 2 b exp ( | x μ | b ) {\displaystyle {\frac {1}{2b}}\exp \left(-{\frac {|x-\mu |}{b}}\right)}
Funzione di ripartizione { 1 2 exp ( x μ b ) if  x < μ 1 1 2 exp ( x μ b ) if  x μ {\displaystyle {\begin{cases}{\frac {1}{2}}\exp \left({\frac {x-\mu }{b}}\right)&{\mbox{if }}x<\mu \\1-{\frac {1}{2}}\exp \left(-{\frac {x-\mu }{b}}\right)&{\mbox{if }}x\geq \mu \end{cases}}}
Valore atteso μ {\displaystyle \mu }
Mediana μ {\displaystyle \mu }
Moda μ {\displaystyle \mu }
Varianza 2 b 2 {\displaystyle 2b^{2}}
Indice di asimmetria 0 {\displaystyle 0}
Curtosi 3 {\displaystyle 3}
Entropia log ( 2 b e ) {\displaystyle \log(2be)}
Funzione generatrice dei momenti exp ( μ t ) 1 b 2 t 2  for  | t | < 1 / b {\displaystyle {\frac {\exp(\mu t)}{1-b^{2}t^{2}}}{\text{ for }}|t|<1/b}
Funzione caratteristica exp ( μ i t ) 1 + b 2 t 2 {\displaystyle {\frac {\exp(\mu it)}{1+b^{2}t^{2}}}}
Manuale

In statistica, la distribuzione di Laplace è una distribuzione di probabilità continua che prende il nome dal matematico Pierre-Simon de Laplace. È anche nota come doppia esponenziale poiché la sua densità può essere vista come l'associazione di due densità di leggi esponenziali. La legge di Laplace si può anche ottenere dalla differenza di due variabili esponenziali indipendenti e con uguale parametro (per esempio un moto browniano valutato come tempi distribuiti esponenzialmente). Incrementi del moto di Laplace o un processo di varianza gamma, valutati sulla scala dei tempi hanno ugualmente una distribuzione di Laplace.

La distribuzione di Laplace è la distribuzione di massima entropia dato il punto centrale μ {\displaystyle \mu } e la deviazione assoluta media b {\displaystyle b} .

Equazione differenziale

La funzione di densità di probabilità (probability density function - pdf) della distribuzione di Laplace è una soluzione delle seguenti equazioni differenziali:

{ { b f ( x ) + f ( x ) = 0 f ( 0 ) = e μ b 2 b } if  x μ { b f ( x ) f ( x ) = 0 f ( 0 ) = e μ b 2 b } if  x < μ {\displaystyle {\begin{cases}\left\{{\begin{array}{l}bf'(x)+f(x)=0\\[8pt]f(0)={\frac {e^{\frac {\mu }{b}}}{2b}}\end{array}}\right\}&{\text{if }}x\geq \mu \\[8pt]\left\{{\begin{array}{l}bf'(x)-f(x)=0\\[8pt]f(0)={\frac {e^{-{\frac {\mu }{b}}}}{2b}}\end{array}}\right\}&{\text{if }}x<\mu \end{cases}}}

Funzione di densità delle probabilità

Una variabile casuale ha una distribuzione di Laplace ( μ , b ) {\displaystyle {\textrm {Laplace}}(\mu ,b)} se la sua pdf è

f ( x μ , b ) = 1 2 b exp ( | x μ | b ) {\displaystyle f(x\mid \mu ,b)={\frac {1}{2b}}\exp \left(-{\frac {|x-\mu |}{b}}\right)\,\!}
= 1 2 b { exp ( μ x b ) if  x < μ exp ( x μ b ) if  x μ {\displaystyle ={\frac {1}{2b}}\left\{{\begin{matrix}\exp \left(-{\frac {\mu -x}{b}}\right)&{\text{if }}x<\mu \\[8pt]\exp \left(-{\frac {x-\mu }{b}}\right)&{\text{if }}x\geq \mu \end{matrix}}\right.}

In questa formula μ {\displaystyle \mu } è un parametro di posizione e b > 0 {\displaystyle b>0} . che è talvolta indicato come la diversità, è un parametro di scala. Se μ = 0 {\displaystyle \mu =0} e b = 1 {\displaystyle b=1} la semilinea positiva è esattamente un distribuzione esponenziale scalata a metà.

La pdf della distribuzione di Laplace ricorda anche la distribuzione normale; tuttavia, mentre la distribuzione normale è espressa in termini di quadrato delle differenze dalla media μ {\displaystyle \mu } la distribuzione di Laplace è espressa in termini di differenza assoluta dalla media. Di conseguenza, la distribuzione di Laplace ha "code" più pesanti della distribuzione normale.

Funzione di distribuzione cumulativa

La funzione di distribuzione di Laplace è integrabile facilmente (se vengono distinti due casi simmetrici a causa dell'uso della funzione valore assoluto). La sua funzione di ripartizione è la seguente:

F ( x ) = x f ( u ) d u = { 1 2 exp ( x μ b ) if  x < μ 1 1 2 exp ( x μ b ) if  x μ = 1 2 + 1 2 sgn ( x μ ) ( 1 exp ( | x μ | b ) ) . {\displaystyle {\begin{aligned}F(x)&=\int _{-\infty }^{x}\!\!f(u)\,\mathrm {d} u={\begin{cases}{\frac {1}{2}}\exp \left({\frac {x-\mu }{b}}\right)&{\mbox{if }}x<\mu \\1-{\frac {1}{2}}\exp \left(-{\frac {x-\mu }{b}}\right)&{\mbox{if }}x\geq \mu \end{cases}}\\&={\tfrac {1}{2}}+{\tfrac {1}{2}}\operatorname {sgn}(x-\mu )\left(1-\exp \left(-{\frac {|x-\mu |}{b}}\right)\right).\end{aligned}}}

La distribuzione cumulativa inversa è data da

F 1 ( p ) = μ b sgn ( p 0.5 ) ln ( 1 2 | p 0.5 | ) . {\displaystyle F^{-1}(p)=\mu -b\,\operatorname {sgn}(p-0.5)\,\ln(1-2|p-0.5|).}

Generazione di variabili casuali in accordo alla distribuzione di Laplace

Data una variabile casuale U {\displaystyle U} presa da una distribuzione uniforme nell'intervallo ( 1 / 2 , 1 / 2 ] {\displaystyle \left(-1/2,1/2\right]} la variabile casuale

X = μ b sgn ( U ) ln ( 1 2 | U | ) {\displaystyle X=\mu -b\,\operatorname {sgn}(U)\,\ln(1-2|U|)}

ha una distribuzione di Laplace con parametri μ {\displaystyle \mu } e b {\displaystyle b} . Questo deriva dalla distribuzione cumulativa inversa data sopra.

Una Laplace ( 0 , b ) {\displaystyle {\textrm {Laplace}}(0,b)} può essere generata come differenza di due variabili casuali exp ( 1 / b ) {\displaystyle {\textrm {exp}}(1/b)} indipendenti e con distribuzione identica (independent identically distributed, iid). In modo analogo Laplace ( 0 , 1 ) {\displaystyle {\textrm {Laplace}}(0,1)} può essere generata anche come logaritmo del rapporto di due variabili casuali uniformi iid.

Stima dei parametri

Dato N {\displaystyle N} indipendente con una distribuzione identica i campioni x 1 , x 2 , . . . , x N {\displaystyle x_{1},x_{2},...,x_{N}} la stima di massima verosimiglianza μ ^ {\displaystyle {\hat {\mu }}} di μ {\displaystyle \mu } è la mediana campionaria[1] e quella b ^ {\displaystyle {\hat {b}}} di b {\displaystyle b} è

b ^ = 1 N i = 1 N | x i μ ^ | {\displaystyle {\hat {b}}={\frac {1}{N}}\sum _{i=1}^{N}|x_{i}-{\hat {\mu }}|}

(rivelando così un collegamento fra la distribuzione di Laplace ed i minimi scostamenti assoluti.

Momenti

μ r = ( 1 2 ) k = 0 r [ r ! ( r k ) ! b k μ ( r k ) { 1 + ( 1 ) k } ] = m n + 1 2 b ( e m / b E n ( m / b ) e m / b E n ( m / b ) ) {\displaystyle \mu _{r}'={\bigg (}{\frac {1}{2}}{\bigg )}\sum _{k=0}^{r}{\bigg [}{\frac {r!}{(r-k)!}}b^{k}\mu ^{(r-k)}\{1+(-1)^{k}\}{\bigg ]}={\frac {m^{n+1}}{2b}}\left(e^{m/b}E_{-n}(m/b)-e^{-m/b}E_{-n}(-m/b)\right)}

dove E n ( ) {\displaystyle E_{n}()} è la funzione integrale esponenziale generalizzata E n ( x ) = x n 1 Γ ( 1 n , x ) {\displaystyle E_{n}(x)=x^{n-1}\Gamma (1-n,x)} .

Distribuzioni correlate

  • Se X Laplace ( μ , b ) {\displaystyle X\sim {\textrm {Laplace}}(\mu ,b)} allora k X + c Laplace ( k μ + c , k b ) {\displaystyle kX+c\sim {\textrm {Laplace}}(k\mu +c,kb)}
  • Se X Laplace ( 0 , b ) {\displaystyle X\sim {\textrm {Laplace}}(0,b)} allora | X | exp ( b 1 ) {\displaystyle \left|X\right|\sim {\textrm {exp}}\left(b^{-1}\right)} (distribuzione esponenziale)
  • Se X , Y exp ( λ ) {\displaystyle X,Y\sim {\textrm {exp}}(\lambda )} allora X Y Laplace ( 0 , λ 1 ) {\displaystyle X-Y\sim {\textrm {Laplace}}\left(0,\lambda ^{-1}\right)}
  • Se X Laplace ( μ , b ) {\displaystyle X\sim {\textrm {Laplace}}(\mu ,b)} allora | X μ | exp ( b 1 ) {\displaystyle \left|X-\mu \right|\sim {\textrm {exp}}(b^{-1})}
  • Se X Laplace ( μ , b ) {\displaystyle X\sim {\textrm {Laplace}}(\mu ,b)} allora X EPD ( μ , b , 0 ) {\displaystyle X\sim {\textrm {EPD}}(\mu ,b,0)} (distribuzione esponenziale di potenza)
  • Se X 1 , . . . , X 4 N ( 0 , 1 ) {\displaystyle X_{1},...,X_{4}\sim {\textrm {N}}(0,1)} (distribuzione normale) allora X 1 X 2 X 3 X 4 Laplace ( 0 , 1 ) {\displaystyle X_{1}X_{2}-X_{3}X_{4}\sim {\textrm {Laplace}}(0,1)}
  • Se X i Laplace ( μ , b ) {\displaystyle X_{i}\sim {\textrm {Laplace}}(\mu ,b)} allora 2 b i = 1 n | X i μ | χ 2 ( 2 n ) {\displaystyle {\frac {\displaystyle 2}{b}}\sum _{i=1}^{n}|X_{i}-\mu |\sim \chi ^{2}(2n)} (distribuzione chi quadro)
  • Se X , Y Laplace ( μ , b ) {\displaystyle X,Y\sim {\textrm {Laplace}}(\mu ,b)} allora | X μ | | Y μ | F ( 2 , 2 ) {\displaystyle {\tfrac {|X-\mu |}{|Y-\mu |}}\sim \operatorname {F} (2,2)} (Distribuzione F)
  • Se X , Y U ( 0 , 1 ) {\displaystyle X,Y\sim {\textrm {U}}(0,1)} (Distribuzione uniforme)allora log ( X / Y ) Laplace ( 0 , 1 ) {\displaystyle \log(X/Y)\sim {\textrm {Laplace}}(0,1)}
  • Se X exp ( λ ) {\displaystyle X\sim {\textrm {exp}}(\lambda )} and Y Bernoulli ( 0.5 ) {\displaystyle Y\sim {\textrm {Bernoulli}}(0.5)} (Distribuzione di Bernoulli) indipendente da X {\displaystyle X} allora X ( 2 Y 1 ) Laplace ( 0 , λ 1 ) {\displaystyle X(2Y-1)\sim {\textrm {Laplace}}\left(0,\lambda ^{-1}\right)}
  • Se X exp ( λ ) {\displaystyle X\sim {\textrm {exp}}(\lambda )} and Y exp ( ν ) {\displaystyle Y\sim {\textrm {exp}}(\nu )} indipendente da X {\displaystyle X} allora λ X ν Y Laplace ( 0 , 1 ) {\displaystyle \lambda X-\nu Y\sim {\textrm {Laplace}}(0,1)}
  • Se X {\displaystyle X} ha una distribuzione di Rademacher e Y exp ( λ ) {\displaystyle Y\sim {\textrm {exp}}(\lambda )} allora X Y Laplace ( 0 , 1 / λ ) {\displaystyle XY\sim {\textrm {Laplace}}(0,1/\lambda )}
  • Se V exp ( 1 ) {\displaystyle V\sim {\textrm {exp}}(1)} e Z N ( 0 , 1 ) {\displaystyle Z\sim N(0,1)} sono indipendentiu da V {\displaystyle V} allora X = μ + b 2 V Z L a p l a c e ( μ , b ) {\displaystyle X=\mu +b{\sqrt {2V}}Z\sim \mathrm {Laplace} (\mu ,b)}
  • Se X GeometricStable ( 2 , 0 , λ , 0 ) {\displaystyle X\sim {\textrm {GeometricStable}}(2,0,\lambda ,0)} (distribuzione geometrica stabile) allora X Laplace ( 0 , λ ) {\displaystyle X\sim {\textrm {Laplace}}(0,\lambda )}
  • La distribuzione di Laplace è un caso limite della distribuzione iperbolica
  • Se X | Y N ( μ , σ = Y ) {\displaystyle X|Y\sim {\textrm {N}}(\mu ,\sigma =Y)} con Y Rayleigh ( b ) {\displaystyle Y\sim {\textrm {Rayleigh}}(b)} (distribuzione di Rayleigh) allora X Laplace ( μ , b ) {\displaystyle X\sim {\textrm {Laplace}}(\mu ,b)}

Relazione con la distribuzione esponenziale

Una variabile casuale di Laplace può essere rappresentata come la differenza due variabili esponenziali con distribuzione identica[2]. Un modo di dimostrare ciò è usando la funzione caratteristica. Per qualsiasi insieme di variabili casuali continue e indipendenti, per ogni combinazione lineare di tali variabili, la sua funzione caratteristica (che determina univocamente la distribuzione) può essere ottenuta moltiplicando le funzioni caratteristiche.

Considerando due variabili casuali iid X , Y exp ( λ ) {\displaystyle X,Y\sim {\textrm {exp}}(\lambda )} . Le funzioni caratteristiche per X , Y {\displaystyle X,-Y} sono rispettivamente

λ i t + λ , λ i t + λ {\displaystyle {\frac {\lambda }{-it+\lambda }},\quad {\frac {\lambda }{it+\lambda }}}

Moltiplicando queste funzioni caratteristiche (equivalenti alla funzione caratteristica della somma delle variabili casuali X + ( Y ) {\displaystyle X+(-Y)} ) il risultato è

λ 2 ( i t + λ ) ( i t + λ ) = λ 2 t 2 + λ 2 . {\displaystyle {\frac {\lambda ^{2}}{(-it+\lambda )(it+\lambda )}}={\frac {\lambda ^{2}}{t^{2}+\lambda ^{2}}}.}

che equivale alla funzione caratteristica di Z Laplace ( 0 , 1 / λ ) {\displaystyle Z\sim {\textrm {Laplace}}(0,1/\lambda )} , che è

1 1 + t 2 λ 2 . {\displaystyle {\frac {1}{1+{\frac {t^{2}}{\lambda ^{2}}}}}.}

Le distribuzioni di Sargan

Le distribuzioni di Sargan sono un sistema di distribuzioni entro cui la distribuzione di Laplace rappresenta un membro essenziale. Una distribuzione di Sargan di p {\displaystyle p} esimo ordine ha un densità [3][4]

f p ( x ) = 1 2 exp ( α | x | ) 1 + j = 1 p β j α j | x | j 1 + j = 1 p j ! β j , {\displaystyle f_{p}(x)={\tfrac {1}{2}}\exp(-\alpha |x|){\frac {\displaystyle 1+\sum _{j=1}^{p}\beta _{j}\alpha ^{j}|x|^{j}}{\displaystyle 1+\sum _{j=1}^{p}j!\beta _{j}}},}

per i parametri α 0 , β j 0 {\displaystyle \alpha \geq 0,\beta _{j}\geq 0} . La distribuzione di Laplace ha un valore p = 0 {\displaystyle p=0}

Storia

Questa distribuzione spesso è indicata come prima legge di Laplace degli errori. La ha pubblicata nel 1774, quando notò che la frequenza di un errore poteva essere espressa come una funzione esponenziale della sua grandezza una volta che il suo segno fosse trascurato[5][6].

John Maynard Keynes ha pubblicato nel 1911 un articolo basato sulle sue precedenti tesi dove dimostrava che la distribuzione di Laplace minimizzava la deviazione assoluta dalla mediana[7].

Applicazioni

  • La distribuzione di Laplace è stata usata nel riconoscimento delle parole per modellare le priorità nei coefficienti della trasformata discreta di Fourier[8] e nella compressione di immagini JPEG per modellare i coefficienti AC[9] generate in una trasformazione discreta di coseni.
  • L'aggiunta di rumore tratto da una distribuzione di Laplace, con parametro di scala appropriato per il tipo di dati, per generare il risultato di una query di una base dati statistica è uno dei metodi più comuni per generare una privacy differenziale nelle basi dati statistiche.
  • Nelle analisi di regressione il metodo dei minimi scarti assoluti dà luogo alla stima di massima verosimiglianza se si assume una distribuzione di Laplace per gli errori.
  • Il metodo LASSO può essere pensato come una regressione bayesiana con una distribuzione a priori di Laplace centrata su 0 per tutti i parametri tranne l'intercetta.

Note

  1. ^ Robert M. Norton, The Double Exponential Distribution: Using Calculus to Find a Maximum Likelihood Estimator, in The American Statistician, vol. 38, n. 2, American Statistical Association, May 1984, pp. 135–136, DOI:10.2307/2683252, JSTOR 2683252.
  2. ^ Samuel Kotz, Tomasz J. Kozubowski e Krzysztof Podgórski, The Laplace distribution and generalizations: a revisit with applications to Communications, Economics, Engineering and Finance, Birkhauser, 2001, pp. 23 (Proposition 2.2.2, Equation 2.2.8), ISBN 978-0-8176-4166-5.
  3. ^ Everitt, B.S. (2002) The Cambridge Dictionary of Statistics, CUP. ISBN 0-521-81099-X
  4. ^ Johnson, N.L., Kotz S., Balakrishnan, N. (1994) Continuous Univariate Distributions, Wiley. ISBN 0-471-58495-9. p. 60
  5. ^ Laplace, P-S. (1774). Mémoire sur la probabilité des causes par les évènements. Mémoires de l’Academie Royale des Sciences Presentés par Divers Savan, 6, 621–656
  6. ^ Wilson EB (1923) First and second laws of error. JASA 18, 143
  7. ^ Keynes JM (1911) The principal averages and the laws of error which lead to them. J Roy Stat Soc, 74, 322–331
  8. ^ T. Eltoft, Taesu Kim e Te-Won Lee, On the multivariate Laplace distribution (PDF), in IEEE Signal Processing Letters, vol. 13, n. 5, 2006, pp. 300–303, DOI:10.1109/LSP.2006.870353 (archiviato dall'url originale il 6 giugno 2013).
  9. ^ J. Minguillon e J. Pujol, JPEG standard uniform quantization error modeling with applications to sequential and progressive operation modes, in Journal of Electronic Imaging, vol. 10, n. 2, 2001, pp. 475–485, DOI:10.1117/1.1344592.
  Portale Statistica: accedi alle voci di Wikipedia che trattano di statistica

Altri progetti

Altri progetti

  • Wikimedia Commons
  • Collabora a Wikimedia Commons Wikimedia Commons contiene immagini o altri file su Distribuzione di Laplace

Collegamenti esterni

  • (EN) Eric W. Weisstein, Distribuzione di Laplace, su MathWorld, Wolfram Research. Modifica su Wikidata
  • (EN) Distribuzione di Laplace, su Encyclopaedia of Mathematics, Springer e European Mathematical Society. Modifica su Wikidata