Wie Wir von Meta-Analysen getäuscht werden können

Wie Wir von Meta-Analysen getäuscht werden können

Die Anzahl der Studienteilnehmer ist nicht das Einzige, das zählt

 

Wir lieben nichts mehr als kontroverse Erkenntnisse aus der Ernährungsforschung. Spannende Schlagzeilen in den Nachrichten über unsere Lieblingsspeisen – Fleisch und Fett, Gluten und Kohlenhydrate, Proteine und Milch. Natürlich bevorzugen wir wissenschaftlich fundierte Artikel mit akademischen Abhandlungen, damit wir später beim Abendessen mit Freunden auf deren Teller starren und sagen können: „Aber es gibt doch eine Studie, die besagt, dass man davon Krebs bekommt!“.

Aber wenn man ehrlich ist – wie sorgfältig liest man diese Studie tatsächlich und sind wir wirklich alle in der Lage, die wissenschaflitche Qualität zu beurteilen? Wie fundiert ist unser Wissen, mit dem wir so stolz hausieren gehen?

Wenn wir nun davon ausgehen, dass wir uns tatächlich etwas genauer mit der Studie befasst haben und herausgefunden haben, dass es sich dabei um eine sogenannte Meta-Studie oder Meta-Analyse handelt, fühlen wir uns noch besser. Denn bei Meta-Analysen wird nicht nur eine einzelne Studie in Betracht gezogen, sondern gleich mehrere zum gleichen Thema.

Daher könnten wir sagen: „Aber das war doch eine Meta-Analyse mit über 32 Beobachtungsstudien – insgesamt über 500 000 Teilnehmer. Die können doch nicht alle falsch sein!“

Und trotzdem – die Anzahl der Studien ist nicht entscheidend, sondern deren Auswahl.

 

Meta-Analysen sind Zusammenfassungen mehrerer Studien und ihrer Schlussfolgerungen.

Es ist naheliegend – viele Forscher untersuchen ein Thema und am Ende wird alles zu einer „endgültigen“ These zusammengefasst. Durch die Erhöhung der Datenmenge kann die statistische Aussagekraft erhöht werden (zumindest auf dem Papier). Bei Meta-Analysen kommt es aber drauf an, welche Studien ausgewählt werden. Dies kann ein heikles Unterfangen sein, wenn man die Ergebnisse nicht in eine bestimmte Richtung manipulieren möchte.

Wirtschaftswissenschaftler und die Lebensmittelindustrie haben entdeckt, dass der Begriff  „Meta-Analyse“ einen guten Eindruck hinterlässt – und sie nutzen ihn, um Menschen zu täuschen und die Wissenschaft für die Vermarktung ihrer Produkte zu missbrauchen.

 

Vergleiche nicht Äpfel und Birnen

Ernährung ist komplex. In der Tat ist die Nahrungsaufnahme komplexer als viele pharmazeutische Anwendungen oder die Biochemie von Medikamenten. Die höchst individuellen Reaktionen der Menschen auf ein und dasselbe Lebensmittel geben den Wissenschaftlern immer wieder Rätsel auf. Die Ernährungswissenschaft ist daher ein schwieriges Feld für Meta-Analysen. Studien stützen sich häufig auf klinische Studien und Ernährungsinterventionen, die in ihrer Methodik oft in feinen Details voneinander abweichen. Doch so geringfügig diese Unterschiede auch sein mögen, so trivial sie auch erscheinen mögen, so ist dies keineswegs der Fall.

Entscheidend ist, was womit verglichen wird.

Unterschiede bei den Methoden entscheiden darüber, ob Studien vergleichbar sind oder nicht – und ob sie für eine Meta-Analyse geeignet sind. So wurden in einer Meta-Analyse, die den Zusammenhang zwischen rotem Fleisch und Blutfetten untersuchte, 50 Studien zusammengefasst – die meisten von ihnen verglichen die Veränderung der Blutfettwerte beim Konsum von Fleisch verglichen mit dem Konsum anderer Fleischsorten. Andere verglichen die Auswirkungen von Fleischkonsum mit dem Konsum pflanzlicher Lebensmittel. Wie lassen sich da Schlussfolgerungen zu Blutfettwerten logisch zusammenfassen?

Für eine gute Meta-Analyse ist nicht die Anzahl der Studien und Teilnehmer wichtig, sondern wie vergleichbar ihre Methoden sind. Nur wenn dies der Fall ist, können gültige Schlussfolgerungen gezogen werden.

 

Die Qualität der Studien

Qualität geht vor Quantität. Es gibt unzählige Studien, die aufgestellte Thesen widerlegen oder bestätigen – Du wirst immer etwas finden, das Deine Meinung unterstützt. Die Frage ist, welche Qualität die Studien haben, die Du gefunden hast. Problematisch ist, dass wir oft nicht in der Lage sind, die Qualität zu beurteilen. Wahrscheinlich weiß inzwischen jeder, wie man PubMed oder GoogleScholar benutzt und wie man eine Zusammenfassung (einen Abstract) einer wissenschaftlichen Arbeit liest. Wenn Du es bis dahin geschafft hast, ist das schon sehr lobenswert, doch leider noch nicht alles. Die Qualität liegt in den Details – und jeder, der nicht aus der Forschung kommt, wird es schwer haben, diese zu identifizieren.

Meta-Analysen werden oft dazu missbraucht, Studien von minderer Qualität „unterzumischen“ und so unscharfe Ergebnisse zu produzieren.

So kann beispielsweise eine Analyse mit 10 ausgezeichneten eindeutigen Studien mit 20 Studien minderer Qualität vermischt werden, um zu dem Ergebnis zu kommen, dass die Belege zu uneinheitlich waren, um eindeutige Schlussfolgerungen zu ziehen. Wären die Studien besserer Qualität ausgewählt worden, sähe die Schlussfolgerung möglicherweise ganz anders aus. Es ist nicht die Datenlage, die inkonsistent ist, sondern die Auswahl der hochwertigen Studien. Wer sollte so etwas machen? Viele Publizisten verwenden diese Herangehensweise, um gesicherte Fakten und Grundlagenwissen wieder zu verwischen und mit „neuen Fakten“ Aufmerksamkeit zu errgen.

 

 

 

 

 

 

 

 

 

 

 

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.

EN DE