Freiheitsgrad (Statistik)

In der Statistik bezeichnet man als Freiheitsgrade die Anzahl unabhängiger („frei“ verfügbarer) Beobachtungen. Oft werden mithilfe einer Stichprobe die unbekannten Parameter einer Grundgesamtheit geschätzt. Die Anzahl der unabhängigen Beobachtungswerte abzüglich der Anzahl der schätzbaren Parameter wird als Anzahl der Freiheitsgrade bezeichnet:

$FG=n-u.$

Die Freiheitsgrade kann man auch als Anzahl der „überflüssigen“ Messungen interpretieren, die nicht zur Bestimmung der Parameter benötigt werden.

Die Freiheitsgrade werden bei der Schätzung von Varianzen benötigt. Außerdem sind verschiedene Wahrscheinlichkeitsverteilungen, mit denen anhand der Stichprobe Hypothesentests durchgeführt werden, von den Freiheitsgraden abhängig.

Eine Stichprobe besteht aus mehr Messwerten (), als (schätzbare) Parameter () vorhanden sind, so dass Abweichungen (Residuen) zwischen den Messwerten und den aus den geschätzten Parametern abgeleiteten Sollwerten bestehen. Diese Residuen sind zusätzlich zu den Parametern zu schätzen. Ohne die Beobachtungen zu kennen, lassen sich bereits Bedingungen für die Residuen aufstellen, so dass nur noch $FG=n-u$ unabhängige Residuen verbleiben. Aus Beobachtungen lassen sich also Parameter und $FG=n-u$ unabhängige Residuen schätzen.

Beispiel

Zur Schätzung des Erwartungswertes $\mu$ und der Varianz $\sigma ^{2}$ einer Grundgesamtheit liegen Zufallsvariablen $X_{1},\ldots X_{n}$ vor. Zuerst ist der Erwartungswert zu schätzen, es liegt hier u=1 Parameter vor. Mit Hilfe des Kleinste-Quadrate-Kriteriums

$\sum \nolimits _{i=1}^{n}(X_{i}-\mu )^{2}\rightarrow {\text{Min!}}$ ,

erhält man die Schätzung ${\hat \mu }$ des Erwartungswertes als Stichprobenmittel:

${\hat {\mu }}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}$ .

Für die Summe der Residuen $e_{i}=X_{i}-{\hat {\mu }}$ mit einem zu schätzenden Parameter ( u=1 ) gilt, dass ihre Summe Null ist (analog zur Schwerpunkteigenschaft des arithmetischen Mittels):

$\sum _{i=1}^{n}\left(X_{i}-{\hat {\mu }}\right)=(X_{1}-{\hat {\mu }})+(X_{2}-{\hat {\mu }})+\ldots +(X_{n}-{\hat {\mu }})=0$ .

Für die Schätzung der Varianz wird die Quadratsumme

$Q=\sum _{i=1}^{n}{\hat {e}}_{i}^{2}=\sum _{i=1}^{n}(X_{i}-{\hat {\mu }})^{2}$

benötigt. Diese Quadratsumme hat (n-1) Freiheitsgrade, entsprechend der Anzahl der unabhängigen Residuen. Der Erwartungswert der Quadratsumme ist allgemein

$\operatorname {E} (Q)=(n-u)\sigma ^{2}$ .

Für eine erwartungstreue Schätzung der Varianz der Grundgesamtheit wird die Quadratsumme der Residuen daher durch die Zahl der Freiheitsgrade geteilt und man erhält die Stichprobenvarianz

$S^{2}={\frac {1}{n-u}}\sum _{i=1}^{n}{\hat {e}}_{i}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\hat {\mu }})^{2}$ .

Da diese Varianz erwartungstreu ist gilt für sie $\operatorname {E} (S^{2})=\sigma ^{2}$ .

Wenn der Erwartungswert der Grundgesamtheit bekannt ist, liegt kein zu schätzender Parameter vor; es ist also u=0 . In diesem Fall hat der Schätzer der Varianz Freiheitsgrade:

${\hat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}{\hat {e}}_{i}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}$ .

Freiheitsgrade als Parameter von Verteilungen

Die Zahl der Freiheitsgrade ist auch Parameter mehrerer Verteilungen. Wenn die Beobachtungen normalverteilt sind, besitzt der Quotient aus der Quadratsumme der Residuen und der Varianz $\sigma ^{2}$ die $\chi ^{2}$ -Verteilung mit n-u Freiheitsgraden:

${\frac {QS}{\sigma ^{2}}}\sim \chi ^{2}(n-u)$ .

Weitere von der Zahl der Freiheitsgrade abhängige Verteilungen sind die -Verteilung und die -Verteilung. Diese Verteilungen werden für die Schätzung von Konfidenzintervallen der Parameter und für Hypothesentests benötigt.

Basierend auf einem Artikel in:

Wikipedia.de