BASIS DES INSIGHTS
Simmons et al. (2011). False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant.
Eine kurze Erklärung vorab: In der Wissenschaft gilt ein Ergebnis meist dann als „signifikant“, wenn der sogenannte p-Wert kleiner als 0,05 ist. Doch diese Hürde kann durch die schiere Menge an Versuchen ausgetrickst werden.
Nun zum p-Hacking:
- Die Würfel-Analogie: Wenn du 20-mal würfelst, ist eine „6“ statistisch fast sicher – das ist kein Talent, sondern reiner Zufall. Genau das passiert beim p-Hacking, wenn Forscher:innen so viele Fragen an einen Datensatz stellen, bis irgendwo ein Treffer auftaucht.
- Die Bonferroni-Bremse: Um solche Zufallstreffer zu entlarven, nutzt die seriöse Forschung Korrekturverfahren. Die Formel dahinter ist simpel, aber streng: Der Zielwert für Signifikanz wird verringert (konkret: durch die Anzahl der Tests geteilt).
Werden in einer Studie beispielsweise 5 verschiedene Blutwerte gleichzeitig untersucht, sinkt die Schwelle für ein echtes Ergebnis von p<0,05 auf p<0,01 (0,05/5). - Qualitätsmerkmal: Eine Studie, die ihre statistische Hürde freiwillig höher legt, ist deutlich glaubwürdiger. Sie sortiert „Schein-Ergebnisse“, die nur auf der Masse der Daten basieren, konsequent aus.
Signifikanz ist ein Werkzeug, keine absolute Wahrheit. Eine ehrliche Studie erkennt man nicht an der Menge spektakulärer Ergebnisse, sondern an der Strenge, mit der sie den Zufall aussortiert. Echte Wissenschaft drosselt das Tempo, um die Qualität zu sichern.
Deine Checkliste: Den Signifikanz-Check machen
Praktische Schritte, um die statistische Qualität einer Studie zu prüfen:
Anzahl der untersuchten Parameter prüfen
Wirf einen Blick darauf, wie viele verschiedene Fragen die Studie gleichzeitig beantworten wollte. Je mehr Endpunkte (z. B. verschiedene Krankheiten oder Blutmarker) untersucht wurden, desto skeptischer solltest du bei einzelnen „signifikanten“ Treffern sein.
Nach Korrekturverfahren suchen
Prüfe im Methodenteil der Studie, ob Begriffe wie „Bonferroni“, „Holm“ oder „FDR-Korrektur“ auftauchen. Diese Begriffe sind ein starkes Indiz dafür, dass die Forscher:innen aktiv gegen Zufallstreffer vorgegangen sind.
Hypothesen-Check: Vorher oder Nachher?
Wurde die Forschungsfrage bereits vor dem Start der Studie festgelegt? Wenn Forscher erst im Nachhinein nach interessanten Mustern in den Daten suchen (Data-Dredging), ohne dies zu korrigieren, ist das Risiko für p-Hacking extrem hoch.
Signifikanz vs. Relevanz unterscheiden
Ein Ergebnis kann statistisch „echt“ (p<0,05), aber im Alltag völlig bedeutungslos sein. Eine Gewichtsabnahme von 100 Gramm über ein Jahr ist vielleicht signifikant, für deine Gesundheit jedoch irrelevant.
Perspektivwechsel
Auch bei der Auswertung müssen wir den „kollektiven statistischen Analphabetismus“ im Blick behalten:
- Die Illusion der Gewissheit: Viele Menschen (und leider auch Fachleute) missverstehen einen signifikanten p-Wert als Beweis für die absolute Wahrheit. In Wirklichkeit ist es nur die Aussage, dass ein Ergebnis „unwahrscheinlich durch Zufall“ entstanden ist – eine Restunsicherheit bleibt immer.
- Nontransparentes Framing: Das Hervorheben von p-Werten ohne Angabe der Testanzahl ist eine Form von irreführender Darstellung. Es suggeriert eine Sicherheit, die mathematisch gar nicht gegeben ist.
- Das Präventions-Dilemma der Statistik: Die Bonferroni-Korrektur ist extrem streng. Das führt dazu, dass wir manchmal echte, aber kleine Effekte übersehen (sog. Fehler 2. Art). Wir müssen also abwägen: Wollen wir lieber einen Zufallstreffer zu viel oder einen echten Effekt zu wenig riskieren?
Schreibe einen Kommentar
Du musst angemeldet sein, um einen Kommentar abzugeben.