Wie führt man eine systematische Übersichtsarbeit durch?

Eine systematische Übersichtsarbeit ist das Durchsuchen, Auswählen und Bewerten der Literatur nach einer vorab definierten und schriftlich festgelegten Methode, um eine bestimmte Frage zu beantworten. Suchanfrage, Einschlusskriterien und Form der Datenextraktion stehen fest, bevor das Screening beginnt; so erfolgt die Auswahl nach einer vorab angekündigten Regel, nicht nach den Studien, die gerade die Aufmerksamkeit der Forschenden erregen.

Was eine Übersichtsarbeit systematisch macht, ist nicht die Suche selbst, sondern die Reihenfolge der Entscheidungen: In einer freien Übersichtsarbeit kann die forschende Person die Kriterien während des Lesens ändern, in einer systematischen Übersichtsarbeit sind die Kriterien schriftlich festgelegt, und jede Änderung geht in den Bericht ein.

Es wurde schon lange argumentiert, dass eine Literaturübersicht auf einer strukturierten Methode beruhen sollte, nicht auf dem Gedächtnis des Autors (Webster und Watson, 2002). Eine systematische Übersichtsarbeit ist die strengste Form dieser Idee: Die Methode wird so detailliert beschrieben, dass ein anderes Team, das denselben Schritten folgt, zum selben Satz von Studien gelangen könnte.

Was eine Übersichtsarbeit systematisch macht, ist Folgendes:

Eine traditionelle Übersichtsarbeit beschreibt Studien, die der Autor aufgrund seines eigenen Fachwissens ausgewählt hat, und welche Quellen aus welchem Grund ausgeschlossen wurden, ist oft nicht schriftlich festgehalten; in einer systematischen Übersichtsarbeit werden diese Schritte vorab definiert und berichtet. Der Unterschied liegt nicht im Thema, sondern in der Methode: In der einen beruht die Auswahl auf dem Urteil des Autors, in der anderen auf einer angekündigten Regel.

Übersichtsarbeiten unterscheiden sich nach Fokus, Ziel, Perspektive, Abdeckung, Gliederung und Zielgruppe (Cooper, 1988); diese Klassifikation zeigt, dass jede Übersichtsarbeit einen Abdeckungsanspruch trägt. Eine traditionelle Übersichtsarbeit begnügt sich damit, in ihrer Abdeckung repräsentativ zu sein; eine systematische Übersichtsarbeit beansprucht, innerhalb der angekündigten Kriterien vollständig zu sein.

Der Unterschied zwischen ihnen ist keine Rangordnung der Qualität; eine traditionelle Übersichtsarbeit kann gut geeignet sein, um ein neues Feld vorzustellen, eine konzeptuelle Debatte zu eröffnen oder eine Geschichte darzustellen. Wenn eine Studie jedoch behauptet, Belege für eine Frage gesammelt zu haben, muss die Auswahlregel für die Leserschaft offen liegen.

Ein Protokoll legt Frage, Suchstrategie, Einschlusskriterien und Analyseplan schriftlich fest, bevor die Studie beginnt; Kriterien nach Sichtung der Ergebnisse zu ändern erleichtert es, Studien zu behalten, die in die gewünschte Richtung ausgefallen sind. Das Protokoll vorab zu schreiben und mit Datum zu registrieren verringert dieses Risiko und macht Teams, die dieselbe Arbeit doppelt erledigen, füreinander sichtbar.

Ein Protokoll enthält mindestens Folgendes:

Eine Suchstrategie beginnt damit, die Konzepte der Frage in Suchbegriffe zu übersetzen: Für jedes Konzept werden Synonyme und Schlagwörter mit ODER verknüpft, und Konzepte werden mit UND verbunden. Anschließend werden Datenbanken, Zeitraum und Sprachbeschränkung gewählt, und die Anfrage wird exakt so veröffentlicht, wie sie ausgeführt wurde, samt Datum.

Jeder Datensatz wird von mindestens zwei Gutachtern unabhängig gesichtet: zuerst Titel und Abstract, dann der Volltext. Uneinigkeit wird durch Diskussion oder durch Hinzuziehen einer dritten Person gelöst. Die Schritte sind unten aufgeführt.

Verzerrungsrisiko fragt, ob das Ergebnis einer Studie aufgrund ihres Designs und ihrer Durchführung systematisch vom wahren Effekt abweicht. Die Bewertung erfolgt studien- und domänenweise (Higgins u. a., Cochrane Handbook); das Ergebnis ist keine einzelne Punktzahl, sondern ein begründetes Urteil.

Verzerrungsrisiko und Berichtsqualität sind unterschiedliche Dinge: Eine Studie kann sauber geschrieben sein und dennoch eine überhöhte Effektschätzung aufweisen, weil sie nicht verblindet war. Umgekehrt bleibt bei einer Studie, die wichtige Details unzureichend berichtet, das Risiko unklar, und Unklarheit bedeutet nicht niedriges Risiko.

Das Cochrane-Werkzeug für randomisierte Studien fragt das Risiko domänenweise ab: den Randomisierungsprozess, Abweichungen von der beabsichtigten Intervention, fehlende Ergebnisdaten, wie das Ergebnis gemessen wurde und selektive Berichterstattung; für jede Domäne werden sowohl das Urteil als auch seine Grundlage festgehalten. Bei nicht randomisierten Designs sind Störvariablen die Hauptbedrohung, daher werden separate Werkzeuge verwendet, welches davon wird im Protokoll angegeben.

Auch hier erfolgt die Bewertung unabhängig durch zwei Personen, und die Ergebnisse werden studienweise dargestellt. Eine Sensitivitätsanalyse, die Studien mit hohem Risiko ausschließt, zeigt, wie stark das Gesamtergebnis von ihnen abhängt.

Die Schritte einer systematischen Übersichtsarbeit lassen sich auch von Hand durchführen; ein schriftliches Protokoll, ein Literaturverwaltungsprogramm und eine ordentlich geführte Tabelle reichen aus. Was Werkzeuge, die den Prozess an einem Ort bündeln, beitragen, ist, Einschlussentscheidungen mit Begründung festzuhalten, die Zahlen automatisch ins Flussdiagramm zu übertragen und die Suchanfrage als Teil der Methode selbst zu bewahren.

Lacuna ist eine für diese Arbeit gebaute Plattform: Sie liest die Literatur eines Feldes und markiert die zwischen den Clustern verbleibende Lücke, schreibt Ein- und Ausschlussentscheidungen mit Begründung in ein Entscheidungsprotokoll und friert die Methode ein, sobald die Analyse abgeschlossen ist, sodass derselbe Korpus dasselbe Ergebnis liefert.