Die Anzahl an Studienteilnehmern
ist nicht was zählt
Wir lieben nichts mehr als kontroverse Erkenntnisse aus der Ernährungsforschung. Spannende Schlagzeilen in den Nachrichten über unsere Lieblingsspeisen – Fleisch und Fett, Gluten und Kohlenhydrate, Proteine und Milch. Natürlich bevorzugen wir wissenschaftlich fundierte Artikel, akademischen Abhandlungen, damit wir später beim gemeinsamen Abendessen mit Freunden abschätzig auf deren Teller starren und sagen können: „Aber es gibt doch eine Studie, die besagt, dass man davon Krebs bekommt!“.
Aber wenn man ehrlich ist – wie sorgfältig liest man diese Studie tatsächlich und sind wir wirklich alle in der Lage, deren wissenschaflitche Qualität zu beurteilen? Wie fundiert ist unser Wissen, mit dem wir so stolz hausieren gehen?
Wenn wir nun davon ausgehen, dass wir uns tatsächlich etwas genauer mit der Studie befasst haben und herausgefunden haben, dass es sich dabei um eine sogenannte Meta-Studie oder Meta-Analyse handelt, fühlen wir uns noch besser. Denn bei Meta-Analysen wird nicht nur eine einzelne Studie in Betracht gezogen, sondern gleich mehrere zum gleichen Thema.
Daher könnten wir noch glänzend ergänzen: „Und das war eine Meta-Analyse mit über 32 Beobachtungsstudien – insgesamt über 500 000 Teilnehmer! Die können doch nicht alle falsch liegen!“
Und trotzdem – die nicht die Anzahl der Studien oder Studienteilnehmer ist entscheidend, sondern die Auswahl der Studien.
Meta-Analysen sind Zusammenfassungen mehrerer Studien und ihrer Schlussfolgerungen. Die Auswahl der Studien ist entscheidend für die Qualität der Meta-Analyse.
Es ist naheliegend – viele Forscher führen Studien zum gleichen Thema durch und am Ende wird alles zu einer „endgültigen“ These zusammengefasst. Klingt doch gut, oder? Durch die Erhöhung der Datenmenge kann die statistische Aussagekraft erhöht werden (zumindest auf dem Papier). Bei Meta-Analysen kommt es daher nur darauf an, welche Studien für die Berechnungsgrundlage ausgewählt werden.
Dies kann ein heikles Unterfangen sein, wenn man die Ergebnisse nicht in eine bestimmte Richtung manipulieren möchte. Sowohl Wirtschaftswissenschaftler als auch die Lebensmittelindustrie haben entdeckt, dass der Begriff „Meta-Analyse“ einen guten Eindruck hinterlässt – und sie nutzen ihn, um Menschen zu täuschen und die Wissenschaft für die Vermarktung ihrer Produkte zu missbrauchen.
Vergleiche nicht Äpfel mit Birnen
Ernährung ist komplex. In der Tat ist die Nahrungsaufnahme komplexer als viele pharmazeutische Anwendungen oder die Biochemie von Medikamenten. Die höchst individuellen Reaktionen der Menschen auf ein und dasselbe Lebensmittel geben den Wissenschaftlern immer wieder Rätsel auf. Die Ernährungswissenschaft ist daher ein schwieriges Feld für Meta-Analysen.
Meta-Analysen stützen sich häufig auf klinische Studien und Ernährungsinterventionen, die in ihrer Methodik oft in feinen Details voneinander abweichen. Doch so geringfügig diese Unterschiede auch scheinen mögen, sie sind nicht trivial und Studien können nicht einfach „über einen Kamm geschert werden“.
Entscheidend ist, was miteinander verglichen wird.
Unterschiede in den angewendeten Methoden entscheiden darüber, ob Studien vergleichbar sind oder nicht und ob sie für eine Meta-Analyse geeignet sind.
So wurden in einer Meta-Analyse, die den Zusammenhang zwischen rotem Fleisch und Blutfetten untersuchte, 50 Studien zusammengefasst – die meisten von ihnen verglichen die Veränderung der
Blutfettwerte beim Konsum von Fleisch mit dem Konsum anderer Fleischsorten. Andere verglichen die Auswirkungen von Fleischkonsum mit dem Konsum pflanzlicher Lebensmittel.
Wie lassen sich da Schlussfolgerungen zu Blutfettwerten logisch zusammenfassen?
Für eine gute Meta-Analyse ist nicht die Anzahl der Studien und Teilnehmer wichtig, sondern wie vergleichbar ihre Methoden sind. Nur wenn dies der Fall ist, können (allgemein)gültige Schlussfolgerungen gezogen werden.
Die Qualität der Studien
Qualität geht vor Quantität. Es gibt unzählige Studien, die aufgestellte Thesen widerlegen oder bestätigen – Du wirst immer etwas finden, das Deine Meinung unterstützt. Die Frage ist, welche Qualität die Studien haben, die Du gefunden hast.
Problematisch ist, dass wir oft nicht in der Lage sind, die Qualität zu beurteilen. Wahrscheinlich weiß inzwischen jeder, wie man PubMed oder GoogleScholar benutzt und wie man eine Zusammenfassung (einen Abstract) einer wissenschaftlichen Arbeit liest. Wenn Du es bis dahin geschafft hast, ist das schon sehr lobenswert, doch leider noch nicht alles. Die Qualität liegt in den Details – und jeder, der nicht aus der Forschung kommt, wird es schwer haben, diese zu identifizieren.
So kann beispielsweise eine Analyse mit 10 ausgezeichneten eindeutigen Studien mit 20 Studien minderer Qualität vermischt werden, um zu dem Ergebnis zu kommen, dass die Belege zu uneinheitlich waren, um eindeutige Schlussfolgerungen zu ziehen.
Wären die Studien besserer Qualität ausgewählt worden, sähe die Schlussfolgerung möglicherweise ganz anders aus. Es ist nicht die Datenlage, die inkonsistent ist, sondern die Auswahl der hochwertigen Studien. Wer sollte so etwas machen? Viele Publizisten verwenden diese Herangehensweise, um gesicherte Fakten und Grundlagenwissen wieder zu verwischen und mit „neuen Fakten“ Aufmerksamkeit zu erregen.
Meta-Analysen werden oft dazu missbraucht, Studien von minderer Qualität „unterzumischen“ und so unscharfe Ergebnisse zu produzieren.
Auswahl und Manipulation gehen Hand in Hand
Die Auswahl der Studien für eine Meta-Analyse ist ein Balanceakt. Ohne die strikte Festlegung von Ein- und Ausschlusskriterien könnte jeder Wissenschaftler leicht voreingenommen werden und nur Studien auswählen, die der Ausgangsthese entsprechen. Ihnen passiert das gleiche wie uns – sie finden, wonach sie suchen.
Für Wissenschaftler gibt es daher kein mächtigeres Werkzeug als die Auswahl von Studien
für eine Meta-Analyse. Ein gutes Beispiel dafür ist die Meta-Analyse aus dem Jahr 2014, in der der Zusammenhang zwischen gesättigten Fetten und koronarer Herzkrankheit untersucht wurde. Nach der Veröffentlichung waren Dutzende von Wissenschaftlern empört und reklamierten die groben Fehler in der Analyse – die Autoren korrigierten daraufhin halbherzig die falsch
veröffentlichten Fakten. Doch der Schaden war bereits angerichtet. Nachrichten und Medien hatten sich bereits darauf gestürzt und es verbreitete sich wie ein Lauffeuer. Interessanterweise hatten die Autoren der Meta-Analyse ein paar Studien einfach weggelassen und nicht in die Berechnungen einbezogen – weil sie ihre These nicht stützten. Erst als andere Wissenschaftler Zugang zu den Rohdaten erhielten, konnten die Fehler und das unwissenschaftliche Vorgehen aufgedeckt werden.
Eine Meta-Analyse muss nicht nur eine statistische Zusammenfassung sein. Sie zeigen uns, warum Studien mit denselben Methoden zu unterschiedlichen Ergebnissen führen können. Sie können Methoden weiterentwickeln und unser Wissen darüber verbessern, wie Forschung funktioniert.
Wenn die Analyse gut vorbereitet wurde, können wir ihr durchaus vertrauen. Aber wir sollten ihr nicht mehr vertrauen, nur weil „Meta-Analyse“ im Titel steht – das ist nicht gleichbedeutend mit „höherer Qualität“ oder „zuverlässiger“. Wenn sich die ausgewählten Studien in ihren
Methoden zu sehr unterscheiden, verliert die Meta-Analyse ihre Aussagekraft, zieht falsche oder unvollständige Schlüsse. In diesem Fall sollte man einzelne, gut durchgeführte Untersuchungen vorziehen.
Um nützliche und verlässliche Meta-Analysen zu erstellen und Missbrauch zu verhindern, müssen wir die Arbeitsweise der Wissenschaft verbessern: Wir brauchen eine tiefgreifendes Peer-Review-Verfahren, die über die bloße Überprüfung, ob Standardverfahren eingehalten wurden, hinausgeht. Wir müssen dafür sorgen, dass die Autoren ihre Rohdaten veröffentlichen, damit andere Wissenschaftler ihre Berechnungen überprüfen können. Sie müssen ihre Entscheidungen transparenter machen.
Wir müssen aufmerksamer und weniger naiv sein. Auf diese Weise können wir verhindern, dass sich Fake-News über Ernährung und Gesundheit in den Medien überhaupt erst verbreiten.
Referenzen
- Aufschlussreicher Artikel von Neal D. Barnard (2016) über den Missbrauch von Meta-Analysen in der Ernährungsforschung.
- The use and misuse of meta-analysis, Lecky (1996).