Kovarianz

Die Kovarianz ist in der Stochastik ein nichtstandardisiertes Zusammenhangsmaß für einen monotonen Zusammenhang zweier Zufallsvariablen mit gemeinsamer Wahrscheinlichkeitsverteilung. Der Wert dieser Kenngröße macht tendenzielle Aussagen darüber, ob hohe Werte der einen Zufallsvariablen eher mit hohen oder eher mit niedrigen Werten der anderen Zufallsvariablen einhergehen.

Definition

Sind und zwei reelle, integrierbare Zufallsvariablen, deren Produkt ebenfalls integrierbar ist, d.h., die Erwartungswerte $\operatorname {E} (X)$ , $\operatorname {E}(Y)$ und $\operatorname E(XY)$ existieren, dann heißt

$\operatorname {Cov}(X,Y):=\operatorname E{\bigl [}(X-\operatorname E(X))\cdot (Y-\operatorname E(Y)){\bigr ]}$

die Kovarianz von und . Die geforderte Existenz der Erwartungswerte ist insbesondere erfüllt, wenn und quadratintegrierbar sind, also wenn $\operatorname {E}(|X|^{2})<\infty$ und $\operatorname {E} (|Y|^{2})<\infty$ gilt. Des Weiteren gilt die folgende Fallunterscheidung für stetige und diskrete Zufallsvariablen

$\operatorname {Cov} (X,Y)={\begin{cases}\sum _{i=1}^{n}\sum _{j=1}^{n}f(x_{i},y_{i})(x_{i}-\operatorname {E} (X))(y_{j}-\operatorname {E} (Y))&{\text{falls X und Y diskret}}\\\int _{-\infty }^{+\infty }\int _{-\infty }^{+\infty }f(x,y)(x-\operatorname {E} (X))(y-\operatorname {E} (Y))\mathrm {d} x\mathrm {d} y&{\text{falls X und Y stetig}}\end{cases}}$ .

Eigenschaften und Rechenregeln

Interpretation der Kovarianz

Die Kovarianz ist positiv, wenn und einen monotonen Zusammenhang besitzen, d.h., hohe (niedrige) Werte von gehen mit hohen (niedrigen) Werten von einher.
Die Kovarianz ist hingegen negativ, wenn und einen gegensinnigen monotonen Zusammenhang aufweisen, d.h., hohe Werte der einen Zufallsvariablen gehen mit niedrigen Werten der anderen Zufallsvariablen einher und umgekehrt.
Ist das Ergebnis null, so besteht kein monotoner Zusammenhang zwischen und (Nichtmonotone Beziehungen sind aber möglich.).

Die Kovarianz gibt zwar die Richtung einer Beziehung zwischen zwei Zufallsvariablen an, über die Stärke des Zusammenhangs wird aber keine Aussage getroffen. Dies liegt an der Linearität der Kovarianz. Um einen Zusammenhang vergleichbar zu machen, muss die Kovarianz normiert werden. Die gebräuchlichste Normierung mittels der Standardabweichung führt zum Korrelationskoeffizienten.

Verschiebungssatz

Zur oft einfacheren Berechnung der Kovarianz kann man auch den Verschiebungssatz als alternative Darstellung der Kovarianz anwenden.

Satz (Verschiebungssatz für die Kovarianz):

$\operatorname {Cov}(X,Y)=\operatorname {E}(XY)-\operatorname {E}(X)\operatorname {E}(Y).$

Beweis:

${\begin{aligned}\operatorname {Cov} (X,Y)&=\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (Y-\operatorname {E} (Y)){\bigr ]}\\&=\operatorname {E} {\bigl [}(XY-X\operatorname {E} (Y)-Y\operatorname {E} (X)+\operatorname {E} (X)\operatorname {E} (Y)){\bigr ]}\\&=\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y)-\operatorname {E} (Y)\operatorname {E} (X)+\operatorname {E} (X)\operatorname {E} (Y)\\&=\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y)\qquad \Box \end{aligned}}$

Beziehung zur Varianz

Satz: Die Kovarianz ist eine Verallgemeinerung der Varianz, denn es gilt

$\operatorname {Var}(X)=\operatorname {Cov}(X,X).$

Beweis:

${\begin{aligned}\operatorname {Cov}(X,X)&=\operatorname E{\bigl [}(X-\operatorname E(X))^{2}{\bigr ]}\\&=\operatorname {Var}(X)\qquad \Box \end{aligned}}$

Die Varianz ist demnach die Kovarianz einer Zufallsvariablen mit sich selbst.

Mit Hilfe der Kovarianzen lässt sich auch die Varianz einer Summe von quadratintegrierbaren Zufallsvariablen berechnen. Allgemein gilt

${\begin{aligned}\operatorname {Var}\left(\sum _{{i=1}}^{n}X_{i}\right)&=\sum _{{i,j=1}}^{n}\operatorname {Cov}(X_{i},X_{j})\\&=\sum _{{i=1}}^{n}\operatorname {Var}(X_{i})+\sum _{{i,j=1,i\neq j}}^{n}\operatorname {Cov}(X_{i},X_{j})\\&=\sum _{{i=1}}^{n}\operatorname {Var}(X_{i})+2\sum _{{i=1}}^{{n-1}}\sum _{{j=i+1}}^{n}\operatorname {Cov}(X_{i},X_{j}).\end{aligned}}$

Speziell für die Summe zweier Zufallsvariablen gilt daher die Formel

$\operatorname {Var}(X+Y)=\operatorname {Var}(X)+\operatorname {Var}(Y)+2\operatorname {Cov}(X,Y).$

Wie sich unmittelbar aus der Definition ergibt, ändert die Kovarianz das Vorzeichen, wenn eine der Variablen das Vorzeichen ändert:

$\operatorname {Cov} (X,-Y)=-\operatorname {Cov} (X,Y)$

Somit ergibt sich für die Differenz zweier Zufallsvariablen die Formel

$\operatorname {Var} (X-Y)=\operatorname {Var} (X+(-Y))=\operatorname {Var} (X)+\operatorname {Var} (Y)-2\operatorname {Cov} (X,Y).$

Linearität, Symmetrie und Definitheit

Satz: Die Kovarianz ist eine positiv semidefinite symmetrische Bilinearform auf dem Vektorraum der quadratisch integrierbaren Zufallsvariablen.

Es gelten also die folgenden drei Sätze:

Satz (Bilinearität): Für $a,b,c,d,e,f,g,h\in {\mathbb {R}}$ gilt:

$\operatorname {Cov}(aX+b,cY+d)=ac\operatorname {Cov}(X,Y)\qquad und$

$\operatorname {Cov}[X,(eY+f)+(gZ+h)]=e\operatorname {Cov}(X,Y)+g\operatorname {Cov}(X,Z).$

Beweis:

${\begin{aligned}\operatorname {Cov}(aX+b,cY+d)&=\operatorname E{\bigl [}(aX+b-\operatorname E(aX+b))\cdot (cY+d-\operatorname E(cY+d)){\bigr ]}\\&=\operatorname E{\bigl [}(aX-a\operatorname E(X))\cdot (cY-c\operatorname E(Y)){\bigr ]}\\&=ac\operatorname E{\bigl [}(X-\operatorname E(X))\cdot (Y-\operatorname E(Y)){\bigr ]}\\&=ac\operatorname {Cov}(X,Y)\end{aligned}}$

${\begin{aligned}\operatorname {Cov}[X,(eY+f)+(gZ+h)]&=\operatorname E{\bigl [}(X-\operatorname E(X))\cdot (eY+f+gZ+h-\operatorname E(eY+f+gZ+h)){\bigr ]}\\&=\operatorname E{\bigl [}(X-\operatorname E(X))\cdot (eY-e\operatorname E(Y)+gZ-g\operatorname E(Z)){\bigr ]}\\&=\operatorname E{\bigl [}(X-\operatorname E(X))\cdot e(Y-\operatorname E(Y))+(X-\operatorname E(X))\cdot g(Z-\operatorname E(Z)){\bigr ]}\\&=e\operatorname E{\bigl [}(X-\operatorname E(X))\cdot (Y-\operatorname E(Y)){\bigr ]}+g\operatorname E{\bigl [}(X-\operatorname E(X))\cdot (Z-\operatorname E(Z)){\bigr ]}\\&=e\operatorname {Cov}(X,Y)+g\operatorname {Cov}(X,Z)\qquad \Box \end{aligned}}$

Die Kovarianz ist offensichtlich invariant unter der Addition von Konstanten zu den Zufallsvariablen. In der zweiten Gleichung ist die Kovarianz wegen der Symmetrie auch im ersten Argument linear.

Satz (Symmetrie):

$\operatorname {Cov}(X,Y)=\operatorname {Cov}(Y,X)$

Beweis:

${\begin{aligned}\operatorname {Cov}(X,Y)&=\operatorname E{\bigl [}(Y-\operatorname E(Y))\cdot (X-\operatorname E(X)){\bigr ]}\\&=\operatorname {Cov}(Y,X)\qquad \Box \end{aligned}}$

Satz (Positive Semidefinitheit):

$\operatorname {Cov}(X,X)\geq 0.$

Beweis:

$\operatorname {Cov}(X,X)=\operatorname {Var}(X)\geq 0\qquad \Box$

Insgesamt folgt wie für jede positiv semidefinite symmetrische Bilinearform die Cauchy-Schwarzsche Ungleichung

$|\operatorname {Cov} (X,Y)|\leq {\sqrt {\operatorname {Var} (X)}}\cdot {\sqrt {\operatorname {Var} (Y)}}$

Die Linearität der Kovarianz hat zur Folge, dass die Kovarianz vom Maßstab der Zufallsvariablen abhängt. So erhält man beispielsweise die zehnfache Kovarianz, wenn man anstatt die Zufallsvariable 10X betrachtet. Insbesondere hängt der Wert der Kovarianz von den verwendeten Maßeinheiten der Zufallsvariablen ab. Da diese Eigenschaft die absoluten Werte der Kovarianz schwer interpretierbar macht, betrachtet man bei der Untersuchung auf einen linearen Zusammenhang zwischen und häufig stattdessen den maßstabsunabhängigen Korrelationskoeffizienten

$\rho _{X,Y}={\frac {\operatorname {Cov} (X,Y)}{{\sqrt {\operatorname {Var} (X)}}\cdot {\sqrt {\operatorname {Var} (Y)}}}}\ .$

Unkorreliertheit und Unabhängigkeit

Definition (Unkorreliertheit): Sei $\operatorname {Cov}(X,Y)=0$ und folglich $\varrho (X,Y)=0$ , dann heißen die Zufallsvariablen und unkorreliert.

Satz: Seien und stochastisch unabhängige Zufallsvariablen, so gilt $\operatorname {Cov}(X,Y)=0.$

Beweis: Für stochastisch unabhängige Zufallsvariablen gilt $\operatorname {E}(XY)=\operatorname {E}(X)\operatorname {E}(Y)$ , d.h.

${\begin{aligned}\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y)&=0\\\Leftrightarrow \qquad \qquad \qquad \operatorname {Cov} (X,Y)&=0.\qquad \end{aligned}}$

Der Umkehrschluss gilt im Allgemeinen nicht. Ein Gegenbeispiel ist gegeben durch eine im Intervall [-1, 1] gleichverteilte Zufallsvariable und Y = X^2 . Offenkundig sind und voneinander abhängig. Es gilt aber

$\operatorname {Cov}(X,Y)=\operatorname {Cov}(X,X^{2})=\operatorname {E}(X^{3})-\operatorname {E}(X)\operatorname {E}(X^{2})=0-0\cdot \operatorname {E}(X^{2})=0$ .

Stochastisch unabhängige Zufallsvariablen, deren Kovarianz existiert, sind also auch unkorreliert. Umgekehrt bedeutet Unkorreliertheit aber nicht zwingend, dass die Zufallsvariablen stochastisch unabhängig sind, denn es kann eine nichtmonotone Abhängigkeit bestehen, die die Kovarianz nicht erfasst.

Weitere Beispiele für unkorrelierte, aber stochastisch abhängige Zufallsvariablen:

Seien und Zufallsvariablen mit $P(X=0,Y=1)={\tfrac {1}{2}}$ und $P(X=2,Y=0)=P(X=2,Y=2)={\tfrac {1}{4}}.$

Dann gilt $P(X=0)=P(X=2)={\tfrac {1}{2}}$ und $P(Y=0)=P(Y=2)={\tfrac {1}{4}}$ , $P(Y=1)={\tfrac {1}{2}}.$

Es folgt $\operatorname {E}(X)=\operatorname {E}(Y)=1$ und ebenfalls $\operatorname {E}(XY)=1$ , also $\operatorname {Cov}(X,Y)=0.$

Andererseits sind und wegen $P(X=0,Y=1)={\tfrac {1}{2}}\neq {\tfrac {1}{2}}\cdot {\tfrac {1}{2}}=P(X=0)P(Y=1)$ nicht stochastisch unabhängig.

Seien die Zufallsvariablen und bernoulliverteilt mit Parameter und unabhängig, dann sind und unkorreliert, aber nicht unabhängig.

Die Unkorreliertheit ist klar, denn $\operatorname {Cov}(X+Y,X-Y)=\operatorname {Cov}(X,X)-\operatorname {Cov}(X,Y)+\operatorname {Cov}(Y,X)-\operatorname {Cov}(Y,Y)=0.$

Aber

und

sind nicht unabhängig, denn es ist $P(X+Y=0,X-Y=1)=0\neq p(1-p)^{3}=P(X+Y=0)P(X-Y=1).$

Beispiele

Sei zweidimensional multinormalverteilt und $P_{(X_{1},X_{2})}={\mathcal {N}}(\mu ,\Sigma )$ mit der Kovarianzmatrix

$\Sigma ={\begin{pmatrix}\sigma _{1}^{2}&c\\c&\sigma _{2}^{2}\end{pmatrix}},$ so gilt für die Kovarianz:

$\operatorname {Cov}(X_{1},X_{2})=c.$

Sei zweidimensional multinomialverteilt ( $P_{X}=M(n,(p_{1},p_{2}))$ ), so gilt:

$\operatorname {Cov} (X_{1},X_{2})=\operatorname {E} (X_{1}X_{2})-\operatorname {E} (X_{1})\operatorname {E} (X_{2})=n(n-1)p_{1}p_{2}-np_{1}np_{2}=-np_{1}p_{2}.$

Siehe auch

Kovarianzmatrix

Basierend auf einem Artikel in:

Wikipedia.de