Website durchsuchen

Statistische Signifikanz

Statistisch signifikant wird das Ergebnis eines statistischen Tests genannt, wenn Stichprobendaten so stark von einer vorher festgelegten Annahme (der Nullhypothese) abweichen, dass diese Annahme nach einer vorher festgelegten Regel verworfen wird.

Hierfür wird nach gängiger Praxis zuvor ein Signifikanzniveau festgelegt, auch Irrtumswahrscheinlichkeit genannt. Es gibt an, wie wahrscheinlich es ist, dass eine exakt zutreffende statistische Nullhypothese (Hypothesis to be nullified – „Hypothese, die [anhand der Studiendaten] verworfen werden soll“) irrtümlich verworfen werden könnte (Fehler 1. Art). Je niedriger das festgelegte Signifikanzniveau, desto höher ist im Gegenzug die Wahrscheinlichkeit, eine etwaig unzutreffende Nullhypothese beizubehalten (Fehler 2. Art).

Zu Fragen nach der Stärke von Effekten, der Relevanz von Ergebnissen oder deren Übertragbarkeit auf andere Umstände gibt das Ergebnis eines Signifikanztests keine Auskunft. Der p-Wert, welcher die statistische Signifikanz induziert, wird sehrhäufig fehlinterpretiert und falsch verwendet, weswegen sich die American Statistical Association im Jahr 2016 genötigt sah, eine Mitteilung über den Umgang mit statistischer Signifikanz zu veröffentlichen. Einer kleinen kanadischen Feldstudie von 2019 zufolge wird in etlichen Lehrbüchern der Begriff nicht korrekt vermittelt.

Grundlagen

Überprüft wird statistische Signifikanz durch statistische Tests, die so gewählt werden müssen, dass sie dem Datenmaterial und den zu testenden Parametern bezüglich der Wahrscheinlichkeitsfunktion entsprechen. Nur dann ist es möglich, aus der Wahrscheinlichkeitsverteilung für Zufallsvariablen mathematisch korrekt den jeweiligen p-Wert zu errechnen als die Wahrscheinlichkeit, ein Stichprobenergebnis wie das beobachtete oder ein extremeres zufallsbedingt zu erhalten. Wie hoch deren Anteil bei unendlich oft wiederholten Zufallsstichproben aus derselben Gesamtheit zu erwarten ist, kann als Wert zwischen 0 und 1 angegeben werden. Dieser p-Wert wird somit berechnet unter der Annahme, dass die sogenannte Nullhypothese zutrifft.

Anhand des p-Werts wird das Überschreiten einer bestimmten Irrtumswahrscheinlichkeit abgeschätzt. Dies ist nun jene vorab bestimmbare Wahrscheinlichkeit, die Hypothese: „Die festgestellten Unterschiede sind zufällig zustande gekommen“ – als die Nullhypothese – zu verwerfen, obwohl sie richtig ist. Man nennt einen solchen Irrtum auch Fehler 1. Art oder α-Fehler.

Sinnvollerweise wird bei der Festlegung dieser kritischen Schwelle bedacht, welche Konsequenzen der Fall hätte, dass irrtümlich angenommen wird, ein beobachteter Unterschied sei nur zufällig. Hält man diese Folgen eher für gravierend, so wird man hier eher ein niedriges Niveau als ein höheres wählen, beispielsweise lieber 1 % als 5 %, oder aber 0,1 % für die maximal zulässige Irrtumswahrscheinlichkeit festlegen. Diese Wahrscheinlichkeit wird als Signifikanzniveau \alpha bezeichnet.

So bedeutet \alpha=0{,}05: Falls die Nullhypothese richtig ist, darf die Wahrscheinlichkeit dafür, dass sie fälschlich abgelehnt wird (Fehler 1. Art), nicht mehr als 5 % betragen. Entsprechend beträgt dann die Wahrscheinlichkeit, eine richtige Nullhypothese aufgrund des statistischen Tests nicht abzulehnen, 1-\alpha=0{,}95, sprich mindestens 95 %.

Das Signifikanzniveau bzw. die Irrtumswahrscheinlichkeit sagt also nur, mit welcher Wahrscheinlichkeit der Fehler 1. Art auftritt, dass die Nullhypothese abgelehnt wird, obwohl sie richtig ist. Das Signifikanzniveau besagt nicht, mit welcher Wahrscheinlichkeit eine Hypothese richtig ist. Soll eine Hypothese als richtig erwiesen werden, so ist die Wahrscheinlichkeit des Fehlers 2. Art, dass die Hypothese als richtig befunden wird, obwohl sie falsch ist, umso größer, je kleiner das Signifikanzniveau ist. Beispiel: Es liegt ein Versuch zugrunde, der als Grundlage die Wahrscheinlichkeit p = ¼ hat. Bewiesen werden soll aber die Hypothese p = 1/5. Die Wahrscheinlichkeit, dass die Hypothese für richtig befunden wird, obwohl sie falsch ist, beträgt bei 25 Versuchsdurchführungen 93 % bei einem Signifikanzniveau von 5 % und 99 % bei einem Signifikanzniveau von 1 %. Bei 1000 Versuchsdurchführungen sind es immer noch 3,6 % bei einem Signifikanzniveau von 5 % und 11,4 % bei einem Signifikanzniveau von 1 %. Es ist also besser, etwas dadurch zu beweisen, dass die Nullhypothese abgelehnt wird. Beispiel: 25 % der Schüler einer Schule nutzen ein schulinternes Netzwerk. Nach einer Werbeaktion stellt eine Umfrage unter 50 befragten Schülern fest, dass 38 % von ihnen das Netzwerk nutzen. Nun kann man auf p = 0,25 testen und bei einem Signifikanzniveau von 5 % mit einer Wahrscheinlichkeit von 95 % oder bei einem Signifikanzniveau von 1 % mit einer Wahrscheinlichkeit von 99 % sagen, dass sich die Zahl der Schüler, die das Netzwerk nutzen, durch die Werbeaktion tatsächlich erhöht hat, wenn die Nullhypothese p = 0,25 abgelehnt wird. Allerdings kann man nicht sagen, dass sich die Quote auf 38 % erhöht hat.

Ergibt die Anwendung des statistischen Verfahrens, dass der geprüfte beobachtete Unterschied statistisch nicht signifikant ist, kann man daraus keine definitiven Schlüsse ziehen. Auch ist in diesem Fall meist noch nicht einmal die Wahrscheinlichkeit eines Fehlers 2. Art ({\displaystyle \operatorname {Pr} (H_{0}|{\overline {H}}_{0})=\beta }) bekannt, eine falsche Nullhypothese für richtig zu halten.

Allgemeiner verstanden beschreibt die statistische Signifikanz also den möglichen Informationsgehalt eines Ereignisses bzw. einer Messung vor dem Hintergrund zufälliger Verteilungen als Wahrscheinlichkeit. Je kleiner \alpha ist, desto höher ist dann die Informationsqualität eines signifikanten Ergebnisses.

Entscheidend für die qualitative Bewertung ist die Frage: „Wovon hängt die statistische Signifikanz ab?“

In erster Linie sind hier die Größe einer Stichprobe, deren Repräsentativität und ihre Varianz zu nennen. Die statistische Signifikanz wird wesentlich durch die Stichprobengröße beeinflusst. Wird statt einer größeren nur eine kleine Stichprobe untersucht, dann ist es wahrscheinlicher, dass deren Zusammensetzung nicht die Grundgesamtheit repräsentiert. Die infolge zufällig getroffener Auswahl auftretenden Unterschiede fallen so stärker ins Gewicht. Bildet die gewählte Stichprobe die Grundgesamtheit in ihren wesentlichen Merkmalen ab, spricht man von einer repräsentativen Stichprobe. Wichtig für die Informationsqualität ist ebenfalls die Varianz, also die Streuung der Werte innerhalb der untersuchten Gruppe.

Beispielhafte Fragestellungen

Irrtumswahrscheinlichkeit und Signifikanzniveau

In den oben genannten Beispielen kann man sich nicht sicher sein, dass der Zufall die Ergebnisse nicht beeinflusst hat. Man kann jedoch abschätzen, wie wahrscheinlich es ist, dass die gemessenen Ergebnisse auftreten, wenn nur der Zufall wirkt. Dieser zufällige Fehler wird allgemein als Fehler 1. Art (Synonym: \alpha -Fehler) bezeichnet und die Wahrscheinlichkeit seines Auftretens – unter der Voraussetzung, dass die Nullhypothese richtig ist – als Irrtumswahrscheinlichkeit.

Bei einem parametrischen Modell hängen die Wahrscheinlichkeiten für die verschiedenen Fehlschlüsse vom unbekannten Verteilungsparameter \vartheta ab und können mit Hilfe der Gütefunktion des Tests angegeben werden.

Die obere Grenze für die Irrtumswahrscheinlichkeit, also jener Wert, den man für die Wahrscheinlichkeit eines Fehlers 1. Art noch eben zu akzeptieren bereit ist, heißt Signifikanzniveau. Grundsätzlich ist dies frei wählbar; häufig wird ein Signifikanzniveau von 5 % verwendet. Die Etablierung dieses Wertes wird verschiedentlich Ronald Aylmer Fisher zugeschrieben. In der Praxis bedeutet dieses Kriterium, dass im Schnitt eine von 20 Untersuchungen, bei denen die Nullhypothese richtig ist (z.B. ein Medikament tatsächlich wirkungslos ist), zu dem Schluss kommt, sie sei falsch (z.B. behauptet, das Medikament erhöhe die Heilungschancen).

Eine heuristische Motivation des Wertes 5 % ist wie folgt: Eine normalverteilte Zufallsgröße nimmt nur mit einer Wahrscheinlichkeit von kleiner oder gleich (≤) 5 % einen Wert an, der sich vom Erwartungswert um mehr als die 1,96-fache Standardabweichung unterscheidet:

Wichtig ist hierbei, dass diese Einteilung rein willkürlich ist, an die jeweilige Anwendung angepasst werden muss und durch Wiederholungen bestätigt werden sollte. Weiterhin ist diese Einteilung problematisch in Bezug auf Publikationsbias und p-Hacking. Da bei einem p-Wert von kleiner oder gleich 5 %, falls die Nullhypothese korrekt ist, im Schnitt 5 % aller Untersuchungen die Nullhypothese dennoch verwerfen, ist dieses Kriterium im Allgemeinen nicht ausreichend, um neue Entdeckungen zu belegen. So wurde zum Beispiel für den Nachweis der Existenz des Higgs-Bosons ein sehr viel strengeres Kriterium von 5 Standardabweichungen (entsprechend einem p-Wert von 1 in 3.5 Millionen) angewendet.

Die Höhe der Signifikanz eines Ergebnisses verhält sich also entgegengesetzt zum Zahlenwert des Signifikanzniveaus – ein niedriges Signifikanzniveau entspricht einer hohen Signifikanz und umgekehrt.

Im Gegensatz zur Fisherschen Auffassung von Signifikanz als Gradmesser für den Wahrheitsgehalt einer Hypothese ist im Kontext einer klassischen strikten Neyman-Pearson-Testtheorie eine nachträgliche Einstufung des Testergebnisses in unterschiedliche Grade der Signifikanz nicht vorgesehen. Aus dieser Sicht sind auch keine „hochsignifikanten“ oder „höchstsignifikanten“ Ergebnisse möglich – zusätzliche Informationen (beispielsweise der p-Wert) müssten anders angegeben werden.

Auch bei statistisch signifikanten Aussagen ist stets eine kritische Überprüfung der Versuchsanordnung und -durchführung notwendig. Nur selten genügen wissenschaftliche Untersuchungen z.B. den mathematischen Anforderungen an einen aussagefähigen statistischen Test. Bei vielen Studien steht der Wunsch des oder der Studiendurchführenden (z.B. im Rahmen einer Doktorarbeit) nach einem „signifikanten“ Ergebnis bei der Studiendurchführung zu sehr im Vordergrund. Untersuchungen, bei denen die Nullhypothese bestätigt wird, werden nämlich gemeinhin (aber aus statistischer Sicht fälschlicherweise) als uninteressant und überflüssig angesehen. Weiterhin ist das Studiendesign entscheidend. Als Hinweise auf die Qualität einer Studie können (z.B. im medizinischen Umfeld) die Eigenschaften „randomisiert“, „kontrolliert“ und „doppelblind“ gelten. Ohne diese sind Aussagen etwa zur Wirksamkeit von Therapien mit äußerster Vorsicht zu behandeln.

Bei häufig durchgeführten, weniger aufwändigen Studien besteht weiterhin die Gefahr, dass zum Beispiel von zwanzig vergleichbaren Studien nur eine einzige – eben die mit positivem Ergebnis – veröffentlicht wird, wobei allerdings deren Signifikanz tatsächlich nur zufällig erreicht wurde. Dieses Problem ist die wesentliche Ursache des Publikationsbias (s.u.). Problematisch ist insbesondere auch die Interpretation signifikanter Korrelationen in retrospektiven Studien. Zu bedenken ist darüber hinaus stets, dass aus statistisch signifikanten Korrelationen oft fälschlich auf eine vermeintliche Kausalität geschlossen wird (sog. Scheinkorrelation).

Probleme bei der Interpretation

Aussagewert und Trennschärfe

Auch bei Studien, die statistisch signifikant sind, kann der praktische Aussagewert gering sein.

Studien mit großer Fallzahl führen aufgrund der hohen Trennschärfe eines Tests (auch Teststärke genannt) oft zu hoch signifikanten Ergebnissen. Solche Studien können trotzdem einen geringen Aussagewert haben, wenn die Größe des beobachteten Effekts oder der gemessene Parameter nicht relevant sind. Statistische Signifikanz ist also ein notwendiges, aber kein hinreichendes Kriterium für eine praktisch auch relevante Aussage. Für die Beurteilung der Relevanz ist die Effektstärke (Effektgröße) ein wichtiges Hilfsmittel.

Weitere kritische Prüfsteine vom methodologischen Gesichtspunkt aus sind:

Irrige Annahmen

Signifikanz ist entgegen einer weit verbreiteten Meinung nicht mit der Irrtumswahrscheinlichkeit gleichzusetzen, auch wenn im Output mancher Statistikprogramme (z. B. SPSS) die Irrtumswahrscheinlichkeit missverständlich als „Sig.“ oder „Signifikanz“ bezeichnet wird. Richtig ist es, von „signifikant“ zu sprechen, wenn die Irrtumswahrscheinlichkeit für das gewonnene Ergebnis einer bestimmten Studie nicht über dem zuvor festgelegten Signifikanzniveau liegt.

Doch ist es möglich, dass eine Wiederholung dieser Studie mit demselben Design und unter sonst gleichen Bedingungen bei der erneuten Stichprobe ein Ergebnis liefern würde, für das die Irrtumswahrscheinlichkeit über dem Signifikanzniveau läge. Die Wahrscheinlichkeit für diesen Fall hängt bei zufällig verteilten Variablen vom gewählten Signifikanzniveau ab.

Nicht selten wird das Wort signifikant mit der Bedeutung ‚deutlich‘ gebraucht. Eine statistisch signifikante Änderung muss allerdings nicht notwendigerweise auch deutlich sein, sondern nur eindeutig. Es kann sich also durchaus um eine geringfügige Änderung handeln, die eindeutig gemessen wurde. Bei genügend hoher Anzahl an Messungen wird jeder (existierende) Effekt statistisch signifikant gemessen werden, so klein und unbedeutend er auch sein mag.

Nicht zutreffend sind ferner die Annahmen, das Signifikanzniveau beziehungsweise der beobachtete p-Wert lege fest

Wissenschaftliches Publizieren

Die Präsentation von statistisch signifikanten Ergebnissen hat Einfluss darauf, ob ein wissenschaftlicher Artikel veröffentlicht wird. Dies führt jedoch zum sogenannten „Publikationsbias“, da mögliche Zufallsergebnisse nicht durch Publikation der gesamten Bandbreite der durchgeführten Untersuchungen relativiert werden. Darüber hinaus haben Resultate, die aufgrund von Signifikanz zur Publikation ausgewählt werden, meist überschätzte Effektgrößen. Grund dafür ist, dass vor allem bei kleineren Studien nur die größten Unterschiede oder die stärksten Zusammenhänge signifikant werden.

Signifikanz und Kausalität

Die Signifikanz sagt nichts über die möglichen kausalen Zusammenhänge aus oder deren Art; oft wird dies übersehen.

Als Beispiel: Eine Statistik hätte gezeigt, dass in der Umgebung einer Chemiefabrik eine bestimmte Krankheit besonders häufig aufgetreten ist, und zwar so, dass der Unterschied zur normalen Verteilung dieser Erkrankung in der Gesamtbevölkerung signifikant ist. Doch würde dieser statistisch signifikante Zusammenhang nicht zwingend bedeuten, dass die Chemiefabrik mit der erhöhten Erkrankungshäufigkeit ursächlich zu tun hat.

(1) Denn denkbar wäre auch, dass die Umgebung jener Chemiefabrik eine unbeliebte Wohngegend ist und daher dort überwiegend finanziell schwache Familien wohnen, die sich einen Wegzug nicht leisten können. Meist ernähren sich finanziell schwache Familien eher schlechter und haben in der Regel auch eine schlechtere Gesundheitsvorsorge als der Bevölkerungsdurchschnitt; eine Reihe von Krankheiten wird dadurch begünstigt, womöglich gerade die in Rede stehende.

(2) Ebenso denkbar wäre, dass die Krankheit in manchen Gebieten z.B. durch Überschreiten einer gewissen Bevölkerungsdichte und der damit verbundenen erhöhten Ansteckungsgefahr gehäuft auftritt; und nur zufällig steht die Chemiefabrik nun in einem solchen Gebiet mit höherem Auftreten dieser infektiösen Erkrankung.

Im ersten gedachten Fall könnte also ein kausaler Zusammenhang vorliegen; es wäre jedoch ein anderer als der, welcher mit Blick auf die statistische Untersuchung angenommen werden möchte. Die Kausalität könnte auch derart sein, dass diese Chemiefabrik gerade da gebaut wurde, wo viele sozial schwache Familien wohnen (z.B. weil diese sich mangels Lobby weniger gut gegen die Ansiedlung einer Fabrik wehren konnten als die wohlhabenderen Bewohner anderer Wohngegenden oder da ihre Mitglieder als mögliche Ware Arbeitskraft im Preis günstiger erschienen bei der Wahl des Standortes). Die Chemiefabrik ohne weitere Indizien als Ursache der gehäuften Krankheitsfälle anzusehen, wäre also ein logisch falsch gefolgerter Schluss der Art „cum hoc ergo propter hoc“.

Im zweiten gedachten Fall läge keinerlei kausaler Zusammenhang vor; vielmehr würde der sogenannte Zielscheibenfehler begangen: Nachdem eine signifikante Häufung eines Ereignisses (hier: der Krankheit) festgestellt wurde, wird ein anderes einigermaßen auffälliges Ereignis (nun: die Chemiefabrik) herangezogen und als mit dem ersten kausal zusammenhängend interpretiert. Oder noch einfacher:
Ein irgendwo als anders aufgefallenes Etwas wird wohl etwa mit irgendwas auffällig Anderem zusammenhängen – irgendwie, am liebsten: kausal und ad hoc (hier nun – »cum ergo propter« – nun hier).

Siehe auch

Trenner
Basierend auf einem Artikel in: Wikipedia.de
Seitenende
Seite zurück
©  biancahoegel.de
Datum der letzten Änderung: Jena, den: 29.09. 2023