Loi de Dirichlet

En probabilité et statistiques, la loi de Dirichlet, souvent notée Dir(α), est une famille de lois de probabilité continues pour des variables aléatoires multinomiales. Cette loi (ou encore distribution) est paramétrée par le vecteur α de nombres réels positifs et tire son nom de Johann Peter Gustav Lejeune Dirichlet. Elle est vue comme la généralisation multinomiale de la loi bêta.

La loi de Dirichlet d'ordre K ≥ 2 de paramètres α₁, ..., α_K > 0 possède pour densité de probabilité :

${\displaystyle f(x_{1},\dots ,x_{K};\alpha _{1},\dots ,\alpha _{K})={\frac {1}{\mathrm {B} (\alpha )}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}$

pour tous les x₁, ..., x_K > 0 vérifiant x₁ + ... + x_K-1 < 1, où x_K est une abréviation pour 1 – x₁ – ... – x_K–1. La densité est nulle en dehors de ce simplexe ouvert de dimension (K − 1).

La constante de normalisation est la fonction bêta multinomiale, qui s'exprime à l'aide de la fonction gamma :

${\displaystyle \mathrm {B} (\alpha )={\frac {\prod _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}},\qquad \alpha =(\alpha _{1},\dots ,\alpha _{K}).}$

Soit ${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha )}$, signifiant que les K – 1 premières composantes possèdent la distribution précédente et que

${\displaystyle X_{K}=1-X_{1}-\cdots -X_{K-1}.}$

Posons ${\displaystyle \textstyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}}$. Alors

${\displaystyle \mathrm {E} [X_{i}]={\frac {\alpha _{i}}{\alpha _{0}}},}$

et

${\displaystyle \mathrm {Var} [X_{i}]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}},}$

En fait, les densités marginales sont des lois bêta :

${\displaystyle X_{i}\sim \operatorname {Beta} (\alpha _{i},\alpha _{0}-\alpha _{i}).}$

Qui plus est pour ${\displaystyle i\neq j}$,

${\displaystyle \mathrm {Cov} [X_{i}X_{j}]=-{\frac {\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$

Le mode de la distribution est le vecteur (x₁, ..., x_K) avec

${\displaystyle x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\quad \alpha _{i}>1.}$

Si ${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K})}$,alors ${\displaystyle X'=(X_{1},\ldots ,X_{i}+X_{j},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{i}+\alpha _{j},\ldots ,\alpha _{K})}$. Cette propriété d'agrégation permet d'obtenir la distribution marginale de ${\displaystyle X_{i}}$ mentionnée plus haut.

• Si, pour ${\displaystyle i\in \{1,2,\ldots ,K\},}$

${\displaystyle Y_{i}\sim \gamma (\alpha _{i},1),}$, où γ désigne la distribution Gamma, indépendamment

alors

${\displaystyle V=\sum _{i=1}^{K}Y_{i}\sim \gamma \left(\sum _{i=1}^{K}\alpha _{i},1\right),}$

et

${\displaystyle (X_{1},\ldots ,X_{K})=(Y_{1}/V,\ldots ,Y_{K}/V)\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K}).}$

Bien que les X_i ne soient pas indépendants, ils peuvent néanmoins générer un échantillon de ${\displaystyle K}$ variables aléatoires, distribuées selon une distribution Gamma. Malheureusement, puisque la somme ${\displaystyle V}$ est perdue lors de la génération de X = (X₁, ..., X_K), il n'est pas possible de retrouver les variables Gamma initiales.

• Les marginales d'une loi de Dirichlet sont des lois bêta :

${\displaystyle X_{i}\sim \operatorname {Beta} \left(\alpha _{i},\sum _{k=1}^{K}\alpha _{k}-\alpha _{i}\right).}$

Une méthode pour obtenir un vecteur aléatoire ${\displaystyle x=(x_{1},\ldots ,x_{K})}$ à partir de la distribution de Dirichlet de dimension K de paramètres ${\displaystyle (\alpha _{1},\ldots ,\alpha _{K})}$ est fournie par la remarque précédente. Tout d'abord, on tire K variables indépendantes ${\displaystyle y_{1},\ldots ,y_{K}}$ selon des distributions Gamma, chacune avec la densité

${\displaystyle {\textrm {Gamma}}(\alpha _{i},1)={\frac {y_{i}^{\alpha _{i}-1}\;e^{-y_{i}}}{\Gamma (\alpha _{i})}},\!}$

et on pose finalement

${\displaystyle x_{i}=y_{i}/\sum _{j=1}^{K}y_{j}.\!}$

Une illustration de la distribution de Dirichlet apparaît lorsque l'on désire découper des ficelles (toutes de longueur initiale 1.0) en K pièces de différentes longueurs, et où chaque pièce a, en moyenne, une longueur désignée mais cette longueur est autorisée à varier. Les valeurs α/α₀ spécifient les longueurs moyennes des découpes résultant de la distribution. La variance (disparité autour de la moyenne) varie inversement avec α₀.

Considérons une urne contenant K couleurs différentes. Initialement, l'urne contient α₁ boules de couleur 1, α₂ boules de couleur 2, etc. Procédons alors à N tirages dans l'urne suivant ce protocole : chaque boule tirée est replacée dans l'urne et on y ajoute une boule supplémentaire de même couleur. Lorsque N devient très grand, les proportions des boules de différentes couleurs sont distribuées selon ${\displaystyle \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K})}$^[1].

Notons que chaque tirage modifie la probabilité d'obtenir une couleur donnée. Cette modification s'atténue d'ailleurs avec le nombre de tirages, puisque l'effet marginal de l'ajout d'une boule supplémentaire diminue avec l'augmentation du nombre total de boules dans l'urne.

• Loi bêta
• Loi binomiale
• Loi multinomiale
• Allocation de Dirichlet latente (LDA)

• Dirichlet Distribution
• Estimating the parameters of the Dirichlet distribution

Non-Uniform Random Variate Generation, par Luc Devroye http://cg.scs.carleton.ca/~luc/rnbookindex.html

• SciencesPo: Un package de R qui contient des fonctions pour simuler des paramètres d'une distribution de Dirichlet.

v · m Lois de probabilité (liste)
Lois discrètes	à support fini 0 paramètre de forme Dirac Rademacher 1 paramètre de forme Benford Bernoulli uniforme discrète 2 paramètres de forme binomiale Zipf 3 paramètres de forme bêta-binomiale hypergéométrique N paramètres de forme multinomiale Poisson binomiale à support infini 0 paramètre de forme Gauss-Kuzmin 1 paramètre de forme géométrique logarithmique Poisson Yule-Simon zêta 2 paramètres de forme binomiale négative Conway-Maxwell-Poisson Skellam 3 paramètres de forme bêta-binomiale négative binomiale négative étendue Delaporte
Lois absolument continues	à support compact 0 paramètre de forme arc sinus cosinus surélevé demi-cercle parabolique uniforme continue Xenakis 1 paramètre de forme Bates Irwin-Hall triangulaire Kesten-McKay 2 paramètres de forme bêta Kumaraswamy logit-normale 3 paramètres de forme bêta décentrée bêta rectangulaire bêta PERT à support semi-infini 0 paramètre de forme demi-logistique demi-normale exponentielle Lévy normale repliée Rayleigh 1 paramètre de forme χ χ² Davis Erlang Fréchet Gamma Gompertz avec dérive inverse-χ² inverse-gamma inverse-gaussienne log-Cauchy log-Laplace log-logistique log-normale Nakagami normale généralisée v2 Pareto Rice Weibull 2 paramètres de forme χ non centrée χ² non centrée Benktander I Benktander II bêta prime Burr Dagum Fisher Gamma généralisée inverse-gaussienne généralisée normale tronquée 3 paramètres de forme bêta prime généralisée N paramètres de forme hyper-exponentielle hypo-exponentielle à support infini 0 paramètre de forme Cauchy Gumbel Holtsmark Landau Laplace logistique normale sécante hyperbolique Slash Voigt 1 paramètre de forme Gompertz normale asymétrique normale généralisée v1 Student 2 paramètres de forme géométrique stable stable z de Fisher
Autres types de lois	Lois à support mixte continu-discret normale rectifiée Lois à support variable Tukey-lambda Lois multidimensionnelles Discrètes Ewens (en) multinomiale Continues Dirichlet normale multidimensionnelle Matricielles Wishart Wishart inverse Lois directionnelles Univariantes von Mises Sphériques bidimensionnelles Kent Toroïdales bidimensionnelles Von Mises bivariante Multidimensionnelles Bingham Lois singulières Cantor Familles de lois Circulaire (en) Poisson composé elliptique (en) exponentielle exponentielle naturelle (en) d'entropie maximale de Pearson de Burr de Johnson fractale parabolique tronquée enveloppée

• Portail des probabilités et de la statistique