Brüchige Evidenz

Selektive Veröffentlichungen, statistische Tricks und falsche Anreize verzerren, was als gesicherte Erkenntnis gelten kann. Forschende fordern mehr Transparenz und ein Umdenken im Wissenschaftssystem.

Von Tanja Traxler

Als John Ioannidis dem renommierten Fachblatt PLOS im Jahr 2005 eine Arbeit zur Publikation vorlegte, war bereits im Titel klar, dass er damit eine wissenschaftliche Bombe hochgehen lassen würde. Der Artikel Why Most Published Research Findings Are False stieß eine Debatte zur mangelnden Reproduzierbarkeit von Forschungsergebnissen an, die unter dem Schlagwort Replikationskrise bis heute andauert.

Im Kern geht es dabei um folgendes Problem: Wissenschaft lebt davon, dass ihre Ergebnisse überprüfbar und wiederholbar sind. Doch immer wieder zeigt sich, dass sich auch in prestigereichen Fachjournalen veröffentlichte Ergebnisse nicht reproduzieren lassen oder bei erneuter Analyse anders ausfallen.

Bis zu einem gewissen Grad darf das nicht weiter überraschen: Wissenschaft lebt davon, dass altes Wissen revidiert und neues etabliert wird. Beunruhigend ist jedoch, wie häufig solche Probleme sichtbar sind und wodurch sie begünstigt werden: durch Publikationslogiken, methodische Entscheidungen und nicht zuletzt dadurch, dass bei weitem nicht alle Ergebnisse veröffentlicht werden. Die Replikationskrise macht ein System von falschen Anreizen sichtbar, unter denen wissenschaftliche Evidenz entsteht.

Das zeigt sich deutlich in systematischen Überprüfungen der vergangenen Jahre, etwa in der Psychologie, in denen zentrale Studien wiederholt wurden. Ein beträchtlicher Teil der Ergebnisse ließ sich dabei nicht bestätigen. Für viele Forschende kam das nicht überraschend, sie orteten darin ein Symptom für strukturelle Probleme.

Falsche Belohnungen

Barbara Nußbaumer-Streit, Leiterin des Zentrums Cochrane Österreich an der Universität für Weiterbildung Krems, sieht das Problem vor allem in der Art, wie Forschung veröffentlicht und bewertet wird. „In unserer Forschungslandschaft wird eher belohnt, wenn man neue Erkenntnisse liefert – und weniger, wenn man bestehende überprüft“, sagt die Epidemiologin. Replikationsstudien bleiben damit oft im Hintertreffen, obwohl sie entscheidend wären, um Ergebnisse abzusichern.

Hinzu kommt ein Mechanismus, der das Bild wissenschaftlicher Evidenz zusätzlich verzerrt: Nicht alle Ergebnisse haben die gleichen Chancen, überhaupt sichtbar zu werden. „Tendenziell ist es so, dass positive Ergebnisse früher und schneller publiziert werden, weil Fachjournale mehr Interesse daran haben“, sagt Nußbaumer-Streit. Studien, die Erwartungen nicht bestätigen, bleiben dagegen häufiger unveröffentlicht – und fehlen im Gesamtbild.

Deshalb sei es problematisch, sich auf einzelne Studien zu stützen. „Die Stärke der evidenzbasierten Medizin liegt darin, dass man sich nicht auf eine Studie verlässt“, sagt die Forscherin. Entscheidend sei der Blick auf die Gesamtheit der Forschung – auf ein Bild, das sich erst aus vielen Studien ergibt, auch wenn einzelne Befunde voneinander abweichen.

Diese Bündelung von Evidenz sei aufwendig, aber entscheidend. Systematische Reviews und Metaanalysen versuchten, unterschiedliche Studien zusammenzuführen und in ihrem Kontext zu bewerten. Dabei gehe es nicht darum, Widersprüche zu glätten, sondern sie sichtbar zu machen und einzuordnen. „Einzelne Studien können immer zu unterschiedlichen Ergebnissen kommen“, sagt Nußbaumer-Streit. „Erst im Gesamtbild wird erkennbar, wie belastbar ein Befund ist.“

In der öffentlichen Wahrnehmung werde dieser Unterschied jedoch oft unterschätzt. Einzelne Ergebnisse erhielten große Aufmerksamkeit, während die systematische Aufarbeitung im Hintergrund bleibe. „Dabei ist aber genau das die Grundlage für evidenzbasierte Entscheidungen“, sagt die Epidemiologin.

Problematische Praxis

Hans Aage Lund von der Western Norway University of Applied Sciences richtet den Blick auf wissenschaftliche Praxis, die zwischen sauberer Forschung und offenem Fehlverhalten liegt. Für ihn ist nicht der spektakuläre Betrugsfall das größte Problem in der Wissenschaft, sondern ein breiter Graubereich fragwürdiger Forschungspraktiken.

„Ich würde unterscheiden zwischen guter wissenschaftlicher Praxis auf der einen Seite und kriminellem Fehlverhalten, also Fälschung, Plagiaten oder Betrug auf der anderen“, sagt Lund. „Dazwischen liegt ein sehr großer Bereich, den man fragwürdige Forschungspraxis nennen kann.“ Dazu zählt Lund auch Praktiken wie Publication Bias oder p-Hacking – also das nachträgliche Suchen nach statistisch signifikanten Ergebnissen.

Lund ist davon überzeugt, dass solche Praktiken nicht immer als absichtliche Täuschung zu werten seien. Oft seien Forschende sich der Folgen nicht ausreichend bewusst oder reagierten auf falsche Anreize. „Viele Forschende kürzen Ecken ab, bewusst oder unbewusst. Und das liegt daran, dass es viele Anreize gibt, die das begünstigen.“ Gemeint sind Strukturen, in denen Forschungsgelder, wissenschaftliches Prestige und Karrierechancen stark daran gekoppelt sind, möglichst viele und möglichst auffällige Ergebnisse zu publizieren – und weniger daran, wie robust oder überprüfbar diese Ergebnisse eigentlich sind.

Hinzu komme ein erheblicher Zeitdruck im Wissenschaftsbetrieb. Der Wunsch, den Abstand zwischen Publikationen möglichst kurz zu halten, könne dazu verleiten, eine statistische Signifikanz hervorzuheben, ohne die Unsicherheit ausreichend zu berücksichtigen. In der Medizin sei das besonders problematisch, sagt Lund. „Hier geht es im Extremfall um Leben und Tod.“

Fehlende Anreize

Für Livia Puljak von der medizinischen Fakultät in Split steht die Frage im Zentrum, wie nachvollziehbar Forschung tatsächlich ist. Reproduzierbarkeit beginnt nicht erst bei der Wiederholung von Studien, sondern schon davor: bei der Transparenz der zugrunde liegenden Daten.

„Wenn man dieselben Daten und denselben Code verwendet, sollte man zum gleichen Ergebnis kommen. Wenn das nicht gelingt, ist das ein ernstes Problem“, sagt Puljak. Reproduzierbarkeit sei keine abstrakte Forderung, sondern eine konkrete Voraussetzung dafür, dass wissenschaftliche Ergebnisse überprüft werden können.

In der Praxis sei diese Voraussetzung jedoch oft nicht erfüllt. Daten und Auswertungen würden häufig nicht vollständig offengelegt, der Zugang sei eingeschränkt oder mit erheblichem Aufwand verbunden. „In den meisten Fällen sind Forschende nicht motiviert, diesen zusätzlichen Aufwand zu betreiben“, sagt Puljak. Fehlende Anreize und mangelnde Infrastruktur würden dazu beitragen, dass volle Transparenz nicht schon längst Standard sei.

Dabei gehe es nicht nur um technischen Zugang, sondern auch um Nachvollziehbarkeit im Detail. Oft fehlten Informationen darüber, wie Daten bereinigt, analysiert oder interpretiert wurden. Ohne diese Zwischenschritte lasse sich ein Ergebnis zwar lesen, aber kaum überprüfen.

Wichtiger Wandel

Gleichzeitig zeichnen sich positive Veränderungen im wissenschaftlichen Alltag ab. Neben strukturellen Reformdebatten wird auch auf praktischer Ebene reagiert: Studien werden zunehmend vorab registriert, Auswertungen genauer dokumentiert, Daten und Analysen häufiger öffentlich zugänglich gemacht. Ziel ist es, Entscheidungen im Forschungsprozess nachvollziehbar und nachträgliche Anpassungen sichtbar zu machen.

Für Nußbaumer-Streit ist das ein wichtiger Schritt, weil sich dadurch nicht nur einzelne Ergebnisse besser überprüfen lassen, sondern auch das Gesamtbild stabiler wird. Wenn Studien vollständig erfasst sind, lässt sich besser einschätzen, wie belastbar ein Befund tatsächlich ist.

Lund sieht ebenfalls Anzeichen für einen notwendigen Wandel, warnt jedoch davor, die Wirkung solcher Maßnahmen zu überschätzen. Solange zentrale Anreize unverändert bleiben, werde sich das Verhalten in der Forschung nur begrenzt ändern. Transparenz könne Probleme sichtbar machen, ersetze aber keine strukturellen Reformen.

Die eigentliche Herausforderung besteht weniger in einzelnen Studien als in den Strukturen der Forschung selbst. „Es geht nicht darum, dass Wissenschaft nicht funktioniert“, sagt Lund. „Es geht darum, wie wir sie organisieren.“

BARBARA NUßBAUMER-STREIT
Univ.-Prof.ⁱⁿ PDⁱⁿ Dr.ⁱⁿ Barbara Nußbaumer-Streit, MSc BSc ist Leiterin des Zentrums Cochrane Österreich an der Universität für Weiterbildung Krems. Sie hält die Professur für Methods Research in Evidence Synthesis.

HANS AAGE LUND
Prof. Hans Aage Lund arbeitet am Department of Health and Functioning der Western Norway University of Applied Sciences sowie für Cochrane Norwegen. Seine Forschungsschwerpunkte sind die Implementation Science und Methodenentwicklung.

LIVIA PULJAK
Prof.ⁱⁿ Livia Pulja leitet das Department für Histologie und Embriologie an der medizinischen Fakultät in Split. Nach Studien in den USA gründete sie Cochrane Kroatien.