Wie wählt man eine Forschungsmethode?
Ist die Forschungsfrage klar, ist die Arbeit nicht getan, dort beginnt der eigentliche Engpass. Dieser Leitfaden macht die Methodenwahl nicht zur Geschmacksfrage, sondern zu einer Entscheidung durch zwei Filter: die Art des Wissens, das die Frage verlangt, und die Struktur der vorhandenen Daten.
Wie wählt man eine Forschungsmethode?
Eine Forschungsmethode wird nicht für sich allein gewählt; Forschungsfrage und Datenstruktur wählen sie. Die vier Schritte stehen unten in der richtigen Reihenfolge.
Diese Reihenfolge umzukehren ist eine häufige Ursache für Stillstand: Startet ein Forscher bei einer bereits bekannten Methode, schrumpft die Frage auf das, was diese Methode beantworten kann. Heraus kommt eine Analyse, die technisch einwandfrei läuft, aber die ursprüngliche Frage nicht beantwortet.
Jeder Schritt grenzt die Optionen des nächsten ein.
- Reduzieren Sie die Frage auf einen Satz. Der Satz muss festlegen, wer, was, in welchem Kontext und über welchen Zeitraum.
- Bestimmen Sie, welche Art von Wissen die Frage verlangt: Prävalenz, Beziehung, Ursache und Wirkung, Bedeutung, Rangfolge oder die Zusammenführung bestehender Belege.
- Beschreiben Sie die Daten: Skalentyp, Anzahl der Beobachtungen, Zeitpunkt der Messung und ob die Beobachtungen voneinander unabhängig sind.
- Listen Sie die Designs, die beide Bedingungen erfüllen, wählen Sie mit einer validitätsbasierten Begründung eines davon und bewahren Sie die ausgeschiedenen mit dem Grund auf.
Die zweite Hälfte des vierten Schritts wird am häufigsten übersprungen, dabei ist die Liste der ausgeschiedenen Alternativen das Erste, wonach ein Gutachter fragt; sie im Moment der Entscheidung festzuhalten ist weit günstiger, als sie Monate später zu rekonstruieren.
Die Wahl entsteht auch nicht im luftleeren Raum; mit welchen Designs dieselbe Frage bereits untersucht wurde, ergibt sich aus der Literaturübersicht. Cooper (1988) klassifiziert Übersichtsarbeiten nach Fokus, Ziel und Abdeckung; Webster und Watson (2002) empfehlen, eine Übersichtsarbeit konzeptorientiert statt artikelorientiert zu ordnen.
Was unterscheidet quantitative, qualitative und gemischte Methoden?
Quantitative Forschung prüft Beziehungen und Größenordnung durch numerische Messung, qualitative Forschung beschreibt Bedeutung und Prozess durch Text und Beobachtung, und Mixed Methods verbindet beides in einem Design. Der Unterschied liegt eigentlich nicht im Datentyp, sondern im Fragetyp: die eine fragt, wie viel, die andere, wie und in welchem Sinn (Creswell und Creswell, 2018).
- Quantitatives Design: messbare Variablen, eine vorab festgelegte Hypothese, statistische Inferenz. Kategorien stehen vor der Analyse fest.
- Qualitatives Design: Interviews, Beobachtung, Dokumente. Kategorien entstehen während der Analyse aus den Daten selbst.
- Gemischtes Design: zwei Arten von Evidenz in einer Studie vereint. Bereitet die qualitative Phase die quantitative vor, ist die Abfolge explorativ; erklärt sie den quantitativen Befund, ist sie explanativ (Creswell und Creswell, 2018).
Mixed Methods sind nicht zwei hintereinandergesetzte Analysen: Ist nicht vorab festgelegt, an welchem Punkt und nach welcher Regel die beiden Phasen zusammengeführt werden, wird aus der Studie keine einheitliche, sondern zwei getrennte Studien im selben Artikel. Der Integrationspunkt wird im Methodenteil namentlich beschrieben: welcher Befund welche Phase speist und welche Evidenz bei Widerspruch Vorrang hat.
Wie bestimmt die Forschungsfrage die Methode?
Das Muster der Frage bestimmt das Design; die Tabelle unten zeigt sechs Muster und die jeweils passende Designfamilie. Das Muster zu finden grenzt die Optionen erheblich ein.
| Fragemuster | Was sie herausfinden will | Passende Designfamilie |
|---|---|---|
| Wie viel, wie viele | Prävalenz, Verteilung, Größenordnung | Deskriptiv quantitativ: Querschnittsbefragung, Sekundärdatenanalyse |
| Warum, aufgrund welchen Faktors | Beziehung, Effekt, Ursache und Wirkung | Explanativ quantitativ: Experiment, Quasi-Experiment, multivariates Modell |
| Wie, was bedeutet es | Prozess, Erfahrung, Bedeutung | Qualitativ: Interview, Fallstudie, Dokumentenanalyse |
| Was ist besser | Alternativen anhand mehrerer Kriterien einordnen | Multikriterielle Entscheidungsfindung (Hwang und Yoon, 1981; Saaty, 1980) |
| Was ist bekannt | Zusammenführung bestehender Belege | Systematische Übersichtsarbeit und Metaanalyse (Page u. a., 2021) |
| Was sagen die Zahlen, was sagen die Menschen | Zwei Arten von Evidenz gemeinsam lesen | Mixed Methods (Creswell und Creswell, 2018) |
Die Tabelle schätzt die Passung, sie trifft nicht die Entscheidung; unter demselben Fragemuster kann mehr als ein Design bestehen bleiben. Ab diesem Punkt erfolgt die Auswahl nicht mehr nach der Frage, sondern nach den Datengrenzen.
Welche Methoden schließt die Datenstruktur aus?
Die Datenstruktur ist der zweite Filter, der Optionen ausschließt; die Tabelle unten zeigt, wie fünf Eigenschaften der Daten die Wahl eingrenzen. Sind die Beobachtungen nicht voneinander unabhängig, scheiden Methoden, die Unabhängigkeit voraussetzen, von vornherein aus.
| Eigenschaft der Daten | Wie sie die Wahl eingrenzt |
|---|---|
| Skalentyp | Bei nominalen und ordinalen Messungen sind Summierung und Mittelwertbildung nicht definiert; auf dem Mittelwert basierende Methoden lassen sich auf diese Daten nicht anwenden. |
| Anzahl der Beobachtungen | Ist die Zahl der zu schätzenden Parameter groß im Verhältnis zur Zahl der Beobachtungen, lässt sich das Modell nicht anpassen. Eine kleine Stichprobe schließt Designs mit vielen Parametern aus. |
| Querschnitt oder Längsschnitt | Querschnittsdaten erfassen keine Veränderung über die Zeit; Fragen, die eine Veränderungsmessung verlangen, brauchen ein Längsschnittdesign. |
| Abhängige Beobachtungen | Wiederholte Messungen derselben Person oder Beobachtungen aus derselben Klasse oder Institution sind nicht unabhängig; diese Struktur verlangt ein mehrstufiges Design oder ein Design mit Messwiederholung. |
| Vages, sprachliches Urteil | Ist die Eingabe kein präziser Wert, sondern eine sprachliche Abstufung, kommen auf Fuzzy-Sets basierende Rahmenwerke ins Spiel, die eine partielle Zugehörigkeit erlauben (Zadeh, 1965). |
Dieser Filter muss laufen, bevor Daten erhoben werden; liegen die erhobenen Daten im falschen Skalentyp vor, gibt es kein Zurück, und in der Analysephase bleibt nur, die Frage zu verkleinern. Beim Entwurf des Erhebungsinstruments schon zu wissen, welche Analyse laufen wird, ist eine andere Aufgabe, als später zu versuchen, die Methode an die Daten anzupassen.
Was bedeuten Validität und Reliabilität?
Reliabilität bedeutet, dass eine Messung unter denselben Bedingungen wiederholt ein konsistentes Ergebnis liefert; Validität bedeutet, dass eine Messung tatsächlich das misst, was sie messen soll. Eine Messung kann reliabel und dennoch invalide sein (sie kann beständig denselben falschen Wert liefern); konvergieren verschiedene Instrumente, die dasselbe Konstrukt messen, spricht man von konvergenter Validität, divergieren unterschiedliche Konstrukte, von diskriminanter Validität.
Campbell und Fiske (1959) schlugen die Multitrait-Multimethod-Matrix vor, um beide Validitätsarten gemeinsam zu prüfen: Dasselbe Konstrukt wird mit verschiedenen Methoden gemessen, unterschiedliche Konstrukte mit derselben Methode, und das entstehende Korrelationsmuster wird untersucht. Die Matrix stützt die Validitätsbehauptung auf ein Muster statt auf einen einzelnen Koeffizienten.
Bei der Methodenwahl sind diese Begriffe kein Schmuck, sondern Ausschlusskriterien: Passen beide Designs zur Frage und stützen die Daten beide, entscheidet, welches Design mehr Validitätsbedrohungen ausschließt.
- Interne Validität: Die beobachtete Beziehung stammt wirklich vom untersuchten Faktor, nicht von einer anderen Erklärung.
- Externe Validität: Der Befund lässt sich über Stichprobe und Kontext hinaus übertragen.
- Konstruktvalidität: Das Messinstrument repräsentiert das Konzept. Konvergente und diskriminante Validität fallen unter diesen Punkt.
- Reliabilität: die Konsistenz einer wiederholten Messung; sie ist eine Voraussetzung für Validität, ersetzt sie aber nicht.
Wie wird eine Methodenwahl vor einem Gutachter begründet?
Die Begründung besteht aus drei Teilen: warum die gewählte Methode zur Frage passt, wie die Datenstruktur die Annahmen dieser Methode erfüllt, und warum die geprüften und ausgeschiedenen Alternativen ausgeschieden sind. Der dritte Teil fehlt in den meisten Texten; sind die Entscheidungen dokumentiert, wird die Begründung nicht nachträglich geschrieben, sondern gezeigt.
- Formulieren Sie die Verbindung zwischen Frage und Design in einem Satz: Die Frage verlangt dies, dieses Design liefert es.
- Schreiben Sie die Annahmen der Methode einzeln auf und zeigen Sie, wie jede in den Daten erfüllt ist.
- Listen Sie die geprüften Alternativen und die Gründe für ihren Ausschluss; der Grund ist oft eine Datengrenze, und das zu vermerken ist keine Schwäche.
- Geben Sie die Validitäts- und Reliabilitätsbelege der Messinstrumente mit Quelle an.
- Beschreiben Sie Analyseschritte, verwendete Versionen und Parameter so detailliert, dass sie jemand anderes wiederholen kann.
Das eigentliche Kriterium für einen Methodenteil ist Reproduzierbarkeit: Ein anderer Forscher sollte mit denselben Daten und denselben Schritten zum selben Ergebnis gelangen können (Peng, 2011). Voraussetzung dafür ist, dass die Daten auffindbar, zugänglich, interoperabel und wiederverwendbar sind (Wilkinson u. a., 2016). Provenienzmodelle, die festhalten, welche Ausgabe aus welcher Eingabe und welchem Prozess stammt, machen diese Spur auch maschinenseitig übertragbar (W3C, 2013).
Bei manchen Designs ist auch die Form der Begründung an einen Standard gebunden: In einer systematischen Übersichtsarbeit ist punktgenau festgelegt, wie Suche, Screening und Einschluss berichtet werden (Page u. a., 2021), und für Übersichtsarbeiten im Gesundheitsbereich liefert zusätzlich das Cochrane Handbook den methodischen Rahmen (Higgins u. a.). Existiert ein solcher Standard, wird der Methodenteil nach dessen Punkten geschrieben, nicht als freier Text.
Wurde in der Analyse eine KI-gestützte Komponente eingesetzt, wird von ihr dieselbe Nachvollziehbarkeit erwartet: Wie der verwendete Datensatz erhoben wurde und was er repräsentiert (Gebru u. a., 2021), sowie wofür das Modell konzipiert wurde und wo seine Grenzen liegen (Mitchell u. a., 2019), sollte dokumentiert sein.
Was sind die häufigsten Fehler beim Beschreiben einer Methodenwahl?
Der häufigste Fehler ist, die Methode zu wählen, bevor die Frage klar ist, und die Frage anschließend an diese Methode anzupassen. Sechs häufige Fehler sind unten aufgeführt.
- Der Name der Methode wird für eine Begründung gehalten. Der Name sagt der Leserschaft, was getan wurde, nicht, warum es getan wurde.
- Die ausgeschiedenen Alternativen werden nicht aufgeschrieben. Die Leserschaft nimmt an, die einzige Option sei ohne Abwägung gewählt worden.
- Die Annahmen werden nicht geprüft. Die Ergebnistabelle wirkt korrekt, aber die Bedingung, auf der sie beruht, wurde nie getestet.
- Mixed Methods werden behauptet, die Regel zur Zusammenführung wird nie aufgeschrieben. Zwei getrennte Studien stehen im selben Text.
- Stichprobe und Einschlusskriterien bleiben vage. Wer wurde eingeschlossen, wer ausgeschlossen und nach welcher Regel; ohne diese drei lässt sich die Studie nicht wiederholen.
- Der Name der Software ersetzt die Methode. Der Name eines Pakets ist nicht die Begründung für die damit ausgeführte Methode.
Gemeinsam ist diesen Fehlern, dass sie alle erst beim Schreiben auftauchen, nicht im Moment der Entscheidung: Die Methodenwahl zieht sich über Wochen hin, aber der Methodenteil wird meist in der letzten Woche geschrieben, zu diesem Zeitpunkt ist vergessen, warum eine bestimmte Alternative ausschied. Entscheidungen im Moment ihres Zustandekommens mit Begründung festzuhalten macht aus der Erinnerungsarbeit beim Schreiben eine bloße Übertragung.
Mit welchen Werkzeugen werden diese Schritte umgesetzt?
Der oben beschriebene Arbeitsablauf funktioniert auch mit Stift und Papier; schwierig wird es, wenn die Zahl der Methoden wächst und die Begründung einer Entscheidung einen Monat später erfragt wird. Die Produkte von SciMind zielen auf genau diese zwei Punkte: eine Methode mit ihrer Quelle zu finden und die Spur einer bereits getroffenen Entscheidung festzuhalten.
Verwandte Leitfäden
Quellen
- Campbell, D. T. und Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56(2), 81-105.
- Cooper, H. M. (1988). Organizing knowledge syntheses: a taxonomy of literature reviews. Knowledge in Society, 1(1), 104-126.
- Creswell, J. W. und Creswell, J. D. (2018). Research Design: Qualitative, Quantitative, and Mixed Methods Approaches (5. Aufl.). SAGE.
- Gebru, T. et al. (2021). Datasheets for datasets. Communications of the ACM, 64(12), 86-92.
- Higgins, J. P. T. et al. (Ed.). Cochrane Handbook for Systematic Reviews of Interventions. Cochrane.
- Hwang, C. L. und Yoon, K. (1981). Multiple Attribute Decision Making: Methods and Applications. Springer.
- Mitchell, M. et al. (2019). Model cards for model reporting. FAT* 2019, 220-229.
- Page, M. J. et al. (2021). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 372, n71.
- Peng, R. D. (2011). Reproducible research in computational science. Science, 334(6060), 1226-1227.
- Saaty, T. L. (1980). The Analytic Hierarchy Process. McGraw-Hill.
- W3C (2013). PROV-DM: The PROV Data Model. W3C Recommendation.
- Webster, J. und Watson, R. T. (2002). Analyzing the past to prepare for the future: writing a literature review. MIS Quarterly, 26(2), xiii-xxiii.
- Wilkinson, M. D. et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 3, 160018.
- Zadeh, L. A. (1965). Fuzzy sets. Information and Control, 8(3), 338-353.
Treffen Sie Ihre Methodenentscheidung dokumentiert.
Plattformen, die dafür gebaut wurden, eine Methode mit ihrer Quelle zu finden, Alternativen nebeneinanderzustellen und die Spur der getroffenen Entscheidung festzuhalten. Schreiben Sie uns für eine institutionelle Lizenz oder ein Pilotprojekt.