Kumulante

Kumulanten sind in der Wahrscheinlichkeitstheorie und Statistik Kenngrößen der Verteilung einer Zufallsvariablen, die in Bezug auf die Summenbildung von stochastisch unabhängigen Zufallsvariablen einfachen Rechengesetzen genügen. Die Folge der Kumulanten beginnt mit dem Erwartungswert und der Varianz.

Definition

Ist $M_{X}(t)$ die momenterzeugende Funktion der Zufallsvariablen , d.h., es ist

$M_{X}(t)=E(e^{{tX}})\,$ ,

so heißt die Funktion

$g_{X}(t)=\ln M_{X}(t)=\ln E(e^{{tX}})$

kumulantenerzeugende Funktion. Die -te Kumulante $\kappa_n$ der Verteilung von ist dann definiert durch

$\kappa _{n}={\frac {\partial ^{n}}{\partial t^{n}}}g_{X}(t){\bigg |}_{{t=0}}$ .

Alternativ lassen sich Kumulanten auch durch die charakteristische Funktion $G_{X}(t)=E(e^{itX})$ einer Zufallsvariablen definieren.

Die -te Kumulante $\kappa_n$ ist dann definiert durch

$\kappa _{n}={\frac {1}{i^{n}}}{\frac {\partial ^{n}}{\partial t^{n}}}\ln G_{X}(t){\bigg |}_{{t=0}}$

Eigenschaften

Verschiebungs-Invarianz

Die Kumulanten werden auch als Semiinvarianten der Dichtefunktion p(x) bezeichnet, da sie sich, mit Ausnahme von $\kappa_1$ , bei einer Verschiebung des Erwartungswertes nicht ändern. Sei eine Zufallsvariable, dann gilt für eine beliebige Konstante $c\in \mathbb R$ :

$\kappa_1(X + c) = \kappa_1(X) + c\,$

$\kappa_n(X + c) = \kappa_n(X) ~ \text{ mit } ~ n \ge 2\,$

Homogenität

Die -te Kumulante ist homogen vom Grad , sei eine beliebige Konstante, dann gilt:

$\kappa_n(cX)=c^n\kappa_n(X)\,$

Additivität

Seien $X_{1}$ und $X_{2}$ stochastisch unabhängige Zufallsvariablen, dann gilt für Y=X_1+X_2

$\kappa_{n}(Y)=\kappa_{n}(X_1)+\kappa_{n}(X_2)\,$

Für unabhängige Zufallsvariablen ist die charakteristische Funktion ein Produkt $G_{Y}(k)=G_{X_{1}}(k)\cdot G_{X_{2}}(k)$ und somit der Logarithmus eine Summe:

$\ln G_{Y}(t)=\ln G_{X_{1}}(t)+\ln G_{X_{2}}(t)=\sum _{n=1}^{\infty }{\frac {(\mathrm {i} t)^{n}}{n!}}\left[\kappa _{n}(X_{1})+\kappa _{n}(X_{2})\right]=\sum _{n=1}^{\infty }{\frac {(\mathrm {i} t)^{n}}{n!}}\kappa _{n}(Y)$

Für die Summe $Y=\sum_{i=1}^{N}X_i$ aus stochastisch unabhängigen Zufallsvariablen $X_1, X_2, \dotsc, X_N$ gilt:

$\kappa_{n}(Y)=\sum_{i=1}^{N}\kappa_{n}(X_i)\,$

Besonderheit der Normalverteilung

Für eine Normalverteilung mit Erwartungswert $\mu$ und Varianz $\sigma ^{2}$ ist die charakteristische Funktion gleich $G(t)=\exp(\mathrm {i} \mu t-\sigma ^{2}t^{2}/2)$ und somit die Kumulanten:

$\kappa _{1}=\mu ;\quad \kappa _{2}=\sigma ^{2};\quad \kappa _{n}=0$ für $n\geq 3$ .

Alle Kumulanten größer als 2. Ordnung verschwinden. Diese Eigenschaft charakterisiert die Normalverteilung.

Man kann zeigen, dass

entweder alle Kumulanten außer den ersten beiden verschwinden
oder unendlich viele nichtverschwindende Kumulanten existieren.

Anders ausgedrückt: Die Kumulanten generierende Funktion $\ln G(k)$ kann kein endliches Polynom von Grad größer 2 sein.

Kumulanten und Momente

Kumulanten als Funktion der Momente

Bezeichne m_n das n-te Moment einer Zufallsvariablen . Durch G(k) lässt sich m_n darstellen als

$m_{n}={\frac {1}{i^{n}}}{\frac {\partial ^{n}}{\partial t^{n}}}G(t){\bigg |}_{t=0}$

Folglich lassen sich die Kumulanten durch die Momente m_n bzw. folgendermaßen ausdrücken:

$\kappa_1=m_1\,$

$\kappa _{2}=m_{2}-m_{1}^{2}\,$

$\kappa_{3}=m_{3}-3m_{2}m_{1}+2m_{1}^{3}\,$

$\kappa_{4}=m_{4}-4m_{3}m_{1}-3m_{2}^{2}+12m_{2}m_{1}^{2}-6m_{1}^{4}\,$

$\kappa_{5}=m_{5}+5m_{1}(6m_{2}^{2}-m_{4})-10m_{3}m_{2}+20m_{3}m_{1}^{2}-60m_{2}m_{1}^{3}+24m_{1}^{5}\,$

Im Allgemeinen lässt sich die Abhängigkeit der Kumulanten von den Momenten durch folgende Rekursionsformel beschreiben:

$\kappa_{n}=m_{n}-\sum_{k=1}^{n-1}{n-1 \choose k-1}\kappa_{k}m_{n-k}$

Alternativ lässt sich aus der Formel von Faà di Bruno die k-te Kumulante mittels der Bell-Polynome $B_{{n,k}}$ und der Momente $m_{1},\dots ,m_{n}$ darstellen als

$\kappa _{n}=\sum _{{k=1}}^{n}(k-1)!(-1)^{{k+1}}B_{{n,k}}(m_{1},\dots ,m_{{n-k+1}})$ .

Mit den zentralen Momenten $\mu _{n}$ sind die Formeln meist kürzer:

$\kappa_1=m_1\,$

$\kappa_2=\mu_2\,$

$\kappa_3=\mu_3\,$

$\kappa _{4}=\mu _{4}-3\mu _{2}^{2}\,$

$\kappa_5=\mu_5-10\mu_3\mu_2\,$

$\kappa _{6}=\mu _{6}-15\mu _{4}\mu _{2}-10\mu _{3}^{2}+30\mu _{2}^{3}\,$

Von besonderer Bedeutung sind die ersten beiden Kumulanten: $\kappa_1$ ist der Erwartungswert m_1=E(X) und $\kappa_2$ ist die Varianz $\mu_2=V(X)$ . Ab der vierten Ordnung stimmen Kumulante und zentrales Moment nicht mehr überein.

Herleitung der ersten Kumulanten

Man entwickelt $\ln G(t)$ um $G(t)=1$

$\ln G(t)=\sum _{n=1}^{\infty }(-1)^{n+1}{\frac {(G(t)-1)^{n}}{n}}=(G(t)-1)-{\frac {(G(t)-1)^{2}}{2}}+{\frac {(G(t)-1)^{3}}{3}}\mp \dotsb$

und setzt die Reihendarstellung von G(k)

$G(t)=\sum _{n=0}^{\infty }{\frac {(\mathrm {i} t)^{n}}{n!}}m_{n}=1+\mathrm {i} tm_{1}+{\frac {(it)^{2}}{2}}m_{2}+{\frac {(it)^{3}}{6}}m_{3}+\dotsb$

in obige Entwicklung ein

${\begin{aligned}\ln G(t)=&\left[\mathrm {i} tm_{1}+{\frac {(it)^{2}}{2}}m_{2}+{\frac {(it)^{3}}{6}}m_{3}+\dotsb \right]\\&-{\frac {1}{2}}\left[\mathrm {i} tm_{1}+{\frac {(it)^{2}}{2}}m_{2}+\dotsb \right]^{2}\\&+{\frac {1}{3}}\left[\mathrm {i} tm_{1}+{\frac {(it)^{2}}{2}}m_{2}+\dotsb \right]^{3}\mp \dotsb \\=&\left[\mathrm {i} tm_{1}+{\frac {(it)^{2}}{2}}m_{2}+{\frac {(it)^{3}}{6}}m_{3}+\dotsb \right]\\&-{\frac {1}{2}}\left[(\mathrm {i} t)^{2}m_{1}^{2}+2{\frac {(it)^{3}}{2}}m_{1}m_{2}+{\frac {(it)^{4}}{4}}m_{2}^{2}+\dotsb \right]\\&+{\frac {1}{3}}\left[(\mathrm {i} t)^{3}m_{1}^{3}+2{\frac {(it)^{4}}{2}}m_{1}^{2}m_{2}+2{\frac {(it)^{5}}{4}}m_{1}m_{2}^{2}+{\frac {(it)^{6}}{8}}m_{2}^{3}+\dotsb \right]\mp \dotsb \end{aligned}}$

Sortiert man noch nach Potenzen von , so erhält man die Kumulanten:

$\ln G(t)=\mathrm {i} t\underbrace {\left[m_{1}\right]} _{\kappa _{1}}+{\frac {(it)^{2}}{2}}\underbrace {\left[m_{2}-m_{1}^{2}\right]} _{\kappa _{2}}+{\frac {(it)^{3}}{6}}\underbrace {\left[m_{3}-3m_{1}m_{2}+2m_{1}^{3}\right]} _{\kappa _{3}}+\dotsb$

Momente als Funktion der Kumulanten

Das -te Moment ist ein Polynom -ten Grades der ersten Kumulanten. Hier die ersten sechs Momente:

$m_1=\kappa_1\,$

$m_2=\kappa_2+\kappa_1^2\,$

$m_3=\kappa_3+3\kappa_2\kappa_1+\kappa_1^3\,$

$m_4=\kappa_4+4\kappa_3\kappa_1+3\kappa_2^2+6\kappa_2\kappa_1^2+\kappa_1^4\,$

$m_5=\kappa_5+5\kappa_4\kappa_1+10\kappa_3\kappa_2+10\kappa_3\kappa_1^2+15\kappa_2^2\kappa_1+10\kappa_2\kappa_1^3+\kappa_1^5\,$

$m_6=\kappa_6+6\kappa_5\kappa_1+15\kappa_4\kappa_2+15\kappa_4\kappa_1^2+10\kappa_3^2+60\kappa_3\kappa_2\kappa_1+20\kappa_3\kappa_1^3+15\kappa_2^3+45\kappa_2^2\kappa_1^2+15\kappa_2\kappa_1^4+\kappa_1^6.\,$

Die Koeffizienten entsprechen genau denjenigen in der Formel von Faà di Bruno. Allgemeiner, ist das n-te Moment genau das nte vollständige Bell-Polynom $B_{n}$ , ausgewertet an den Stellen $\kappa _{1},\dots ,\kappa _{n}$ :

$m_{n}=B_{n}(\kappa _{1},\dots ,\kappa _{n})$ .

Um die zentralen Momente als Funktion der Kumulanten auszudrücken, vernachlässige in obigen Polynomen für die Momente alle Terme, bei denen $\kappa_1$ als Faktor auftaucht.

$\mu_1=0\,$

$\mu_2=\kappa_2\,$

$\mu _{3}=\kappa _{3}\,$

$\mu_4=\kappa_4+3\kappa_2^2\,$

$\mu_5=\kappa_5+10\kappa_3\kappa_2\,$

$\mu_6=\kappa_6+15\kappa_4\kappa_2+10\kappa_3^2+15\kappa_2^3.\,$

Kumulanten und Mengenpartitionen

Oben haben wir die Momente als Polynome in den Kumulanten ausgedrückt. Diese Polynome haben eine interessante kombinatorische Interpretation: ihre Koeffizienten zählen Mengenpartitionen. Die allgemeine Form dieser Polynome kann folgendermaßen geschrieben werden

$m_{n}=\sum _{\pi \in \Pi }\prod _{B\in \pi }\kappa _{\left|B\right|}$

wobei

$\pi$ die Menge aller Partitionen einer n-elementigen Menge durchläuft;
" $B\in \pi$ " bedeutet dass einer der Blöcke ist, in welche die Menge zerlegt wurde; und
$\vert B\vert$ ist die Größe des Blocks .

Multivariate Kumulanten

Die multivariaten (oder gemeinsamen) Kumulanten von mehreren Zufallsvariablen X₁, ..., X_n kann auch durch eine Kumulanten-erzeugende Funktion definiert werden:

$K(t_{1},t_{2},\dots ,t_{n})=\log E(\mathrm {e} ^{\sum _{j=1}^{n}t_{j}X_{j}}).$

Diese Formel kann wieder in kombinatorischer Form interpretiert werden gemäß

$\kappa _{n}(X_{1},\dots ,X_{n})=\sum _{\pi }(|\pi |-1)!(-1)^{|\pi |-1}\prod _{B\in \pi }E\left(\prod _{i\in B}X_{i}\right)$

wobei $\pi$ alle Partitionen von { 1, ..., n } durchläuft, läuft durch die Menge aller Blöcke der Partition $\pi$ , und $\vert \pi \vert$ ist die Anzahl der Blöcke in $\pi$ . Zum Beispiel haben wir

$\kappa _{3}(X,Y,Z)=E(XYZ)-E(XY)E(Z)-E(XZ)E(Y)-E(YZ)E(X)+2E(X)E(Y)E(Z).\,$

Dieser kombinatorische Zusammenhang zwischen Kumulanten und Momenten erhält eine einfachere Form, wenn man Momente durch Kumulanten ausdrückt:

$E(X_{1}\cdots X_{n})=\sum _{\pi }\prod _{B\in \pi }\kappa (X_{i}:i\in B).$

Zum Beispiel haben wir dann:

$E(XYZ)=\kappa (X,Y,Z)+\kappa (X,Y)\kappa (Z)+\kappa (X,Z)\kappa (Y)+\kappa (Y,Z)\kappa (X)+\kappa (X)\kappa (Y)\kappa (Z).\,$

Die erste Kumulante einer Zufallsvariable ist ihr Erwartungswert, die gemeinsame zweite Kumulante von zwei Zufallsvariablen ist ihre Kovarianz. Sind einige der Zufallsvariablen unabhängig voneinander, so verschwindet jede gemischte Kumulante welche mindestens zwei der unabhängigen Variablen enthält. Sind alle Zufallsvariablen gleicht, so reduziert sich die gemeinsame Kumulante $\kappa _{n}(X,\dots ,X)$ auf die gewöhnliche n-te Kumulante $\kappa_n$ von .

Eine weitere wichtige Eigenschaft der multivariaten Kumulanten ist Multilinearität in den Variablen:

$\kappa _{n}(X+Y,Z_{1},Z_{2},\dots )=\kappa _{n}(X,Z_{1},Z_{2},\dots )+\kappa _{n}(Y,Z_{1},Z_{2},\dots ).\,$

Folgerungen

Gegeben seien die identisch verteilten und stochastisch unabhängigen Zufallsvariablen $X_1, X_2, \dotsc, X_N$ .

Zentraler Grenzwertsatz

Für die Zufallsvariable

$Y=\frac{1}{\sqrt{N}}(X_{1}+X_{2}+\dotsb+X_{N})\,$

ergeben sich unter Ausnutzung der Eigenschaften Homogenität und Additivität folgende Kumulanten:

$\kappa_{n}(Y)=\frac{1}{\sqrt{N}^{n}} \sum_{i=1}^{N} \kappa_{n}(X_i) \approx \mathcal{O}(N^{1-n/2})\,$

Die Ordnung ergibt sich, da die Summe über die Einzelkumulanten $\sum_{i=1}^{N}\kappa_{n}$ von der Ordnung $\mathcal{O}(N)$ ist. Hier die Ordnungen der ersten Kumulanten:

$\kappa_{1}(Y)=\mathcal{O}(N^{1/2})\ ,\quad\kappa_{2}(Y)=\mathcal{O}(N^{0})\ ,\quad\kappa_{3}(Y)=\mathcal{O}(N^{-1/2})\ ,\quad\kappa_{4}(Y)=\mathcal{O}(N^{-1})$

Für $n\geq 3$ ist die Ordnung hoch einem negativen Exponenten und somit gilt im Grenzwert unendlich vieler Zufallsvariablen:

$\lim_{N\to\infty}\kappa_{n}(Y)=0\quad\text{mit}\quad n\geq3$

D. h. es bleiben nur die beiden ersten Kumulanten übrig. Die einzige Verteilung, die nur die erste und zweite Kumulante besitzt, ist die Gauß-Verteilung. Damit wird plausibel, dass die Summe beliebiger Zufallsvariablen geteilt durch die Wurzel der Anzahl gegen die Gauß-Verteilung konvergiert; dies ist der Zentrale Grenzwertsatz. Um diese Plausibilitätsbetrachtung zu einem Beweis zu vervollständigen, bedarf es der Verwendung allgemeiner Gesetzmäßigkeiten von charakteristischen Funktionen. Die Gauß-Verteilung nimmt also eine besondere Stellung unter allen Verteilungen ein. Wirken bei einem Experiment viele stochastisch unabhängige Einflüsse, so kann man die Gesamtheit der Einflüsse durch eine Gaußsche Zufallsvariable darstellen.

Als einfachen Spezialfall betrachte alle Zufallsvariablen als identisch X_i=X mit Mittelwert 0, Varianz $\sigma ^{2}$ und beliebigen höheren Momenten.

$\kappa_{1}(Y)=\frac{1}{\sqrt{N}}\sum_{i=1}^{N}0=0\ ,\quad\kappa_{2}(Y)=\frac{1}{N}\sum_{i=1}^{N}\sigma^{2}=\sigma^{2}\ ,\quad\kappa_{3}(Y)=\frac{1}{\sqrt{N}^3}\sum_{i=1}^{N}\kappa_{3}(X) =\frac{\kappa_{3}(X)}{\sqrt{N}} \underset{N\to\infty}{\longrightarrow}0$

Für die Zufallsvariable

$Z:=Y-E(Y)=\frac{1}{\sqrt{N}}(X_{1}-E(X_{1})+X_{2}-E(X_{2})+\dotsb+X_{N}-E(X_{N}))\,$

kann man gegenüber die Verschiebungsinvarianz der Kumulanten der Ordnung größer gleich 2 ausnutzen. Der einzige Unterschied zur Zufallsvariablen ist, dass Erwartungswert von Null ist, auch dann wenn die Erwartungswerte der $X_{i}$ nicht verschwinden.

$\begin{align} \kappa_{1}(Z) & =\frac{1}{\sqrt{N}}\sum_{i=1}^{N}\underbrace{\kappa_{1}(X_{i}-E(X_{i}))}_{E(X_{i})-E(X_{i})}=0\\ \kappa_{2}(Z) & =\frac{1}{N}\sum_{i=1}^{N}\kappa_{2}(X_{i}-E(X_{i}))=\frac{1}{N}\sum_{i=1}^{N}\kappa_{2}(X_{i})=\kappa_{2}(Y)=\frac{1}{N}\sum_{i=1}^{N}\sigma_{i}^{2}\overset{\text{ Spezialfall }}{\underset{\sigma_{i}=\sigma,\,\forall i}{=}}\sigma^{2}\\ \kappa_{3}(Z) & =\frac{1}{\sqrt{N}^{3}}\sum_{i=1}^{N}\kappa_{3}(X_{i}-E(X_{i}))=\frac{1}{\sqrt{N}^{3}}\sum_{i=1}^{N}\kappa_{3}(X_{i})=\kappa_{3}(Y)\underset{N\to\infty}{\longrightarrow}0\end{align}$

Gesetz der großen Zahlen

Für die Zufallsvariable

$Y=\frac{1}{N}(X_{1}+X_{2}+\dotsb+X_{N})\,$

ergeben sich unter Ausnutzung der Eigenschaften Homogenität und Additivität folgende Kumulanten:

$\kappa_{n}(Y)=\frac{1}{N^{n}} \sum_{i=1}^{N} \kappa_{n}(X_i) \approx \mathcal{O}(N^{1-n})\,$

Die Ordnung ergibt sich, da die Summe über die Einzelkumulanten $\sum_{i=1}^{N}\kappa_{n}$ von der Ordnung $\mathcal{O}(N)$ ist. Hier die Ordnungen der ersten Kumulanten:

$\kappa_{1}(Y)=\mathcal{O}(N^{0})\ ,\quad\kappa_{2}(Y)=\mathcal{O}(N^{-1})\ ,\quad\kappa_{3}(Y)=\mathcal{O}(N^{-2})\ ,\quad\kappa_{4}(Y)=\mathcal{O}(N^{-3})$

Für $n\geq 2$ ist die Ordnung hoch einem negativen Exponenten und somit gilt im Grenzwert unendlich vieler Zufallsvariablen:

$\lim_{N\to\infty}\kappa_{n}(Y)=0\quad\text{mit}\quad n\geq2$

D. h. es bleibt nur die erste Kumulante bzw. das erste Moment übrig. Mit wachsendem erhält man eine Gauß-Verteilung um den Mittelwert

$\kappa_{1}(Y)=\frac{1}{N} \sum_{i=1}^{N} \kappa_{1}(X_i)$ ,

wobei die Breite von der Ordnung $N^{-1}$ ist, und im Grenzfall $N\to\infty$ einen scharfen (Delta-förmigen) Peak bei $\kappa_1$ .

Als einfachen Spezialfall betrachte alle Zufallsvariablen als identisch X_i=X mit Mittelwert $\mu$ , Varianz $\sigma ^{2}$ und beliebigen höheren Momenten.

$\kappa_{1}(Y)=\frac{1}{N}\sum_{i=1}^{N}m=m\ ,\quad\kappa_{2}(Y)=\frac{1}{N^{2}}\sum_{i=1}^{N}\sigma^{2}=\frac{\sigma^{2}}{N}\underset{N\to\infty}{\longrightarrow}0\ ,\quad\kappa_{3}(Y)=\frac{1}{N^{3}}\sum_{i=1}^{N}\kappa_{3}(X)=\frac{\kappa_{3}(X)}{N^{2}}\underset{N\to\infty}{\longrightarrow}0$

Somit ist eine Zufallsvariable mit demselben Mittelwert wie (man nennt erwartungstreuer Schätzer für den Mittelwert von ). Die für wachsende immer schmaler werdende Breite der Gauß-Verteilung (Standardabweichung um Mittelwert) beträgt $\sigma_Y=\sigma_X/\sqrt{N}$ .

Geschichte

Kumulanten und ihre Eigenschaften wurden erstmals 1889 von dem dänischen Mathematiker Thorvald Nicolai Thiele in einem in dänischer Sprache erschienenen Buch beschrieben. Obwohl dieses Buch im gleichen Jahr im Jahrbuch über die Fortschritte der Mathematik ausführlich referiert wurde, blieben die Ergebnisse zunächst weitgehend unbeachtet, so dass Felix Hausdorff noch 1901 diese Kenngrößen in einer Arbeit als (von ihm) „neueingeführt“ bezeichnete.

Freie Kumulanten

In obiger kombinatorischer Momenten-Kumulanten-Formel

$E(X_{1}\cdots X_{n})=\sum _{\pi }\prod _{B\in \pi }\kappa (X_{i}:i\in B)$

summiert man über alle Partitionen der Menge $\{1,\dotsc ,n\}$ . Wenn man stattdessen nur über nicht-kreuzende Partitionen summiert, so erhält man die freien Kumulanten. Diese wurden von Roland Speicher eingeführt und spielen in der freien Wahrscheinlichkeitstheorie eine analoge Rolle wie die üblichen Kumulanten in der klassischen Wahrscheinlichkeitstheorie. Insbesondere sind die freien Kumulanten additiv für freie Zufallsvariable. Die Wignersche Halbkreisverteilung, welche das freie Gegenstück zur Normalverteilung ist, ist dadurch charakterisiert, dass nur die freie Kumulante zweiter Ordnung nicht verschwindet.

Basierend auf einem Artikel in:

Wikipedia.de