Was ist bibliometrische Analyse?
Wie man die Struktur eines Feldes erfasst, ohne Tausende seiner Publikationen einzeln zu lesen. Was jeder Analysetyp zeigt, was ein Clustering-Algorithmus tut, was eine Zitatzahl nicht misst und wie eine Studie reproduzierbar bleibt.
Was ist bibliometrische Analyse?
Bibliometrische Analyse misst wissenschaftliche Kommunikation, indem sie mathematische Methoden auf Publikationen und ihre Verknüpfungen anwendet; den Begriff prägte Pritchard (1969). Die Ausgabe ist eine numerische Karte davon, aus wem das Feld besteht und welche Cluster es bildet.
Die Einheit, mit der die Methode arbeitet, ist nicht der Artikeltext, sondern sein Datensatz: Titel, Abstract, Autoren, Institutionen, Zeitschrift, Jahr und Literaturverzeichnis. Über Tausende Datensätze hinweg entsteht daraus ein Netzwerk, das zeigt, von wem, wo und um welche Konzepte herum das Feld entstanden ist.
Die Analyse beantwortet zwei Fragen: eine deskriptive (wie viele Publikationen, welche Zeitschriften und Länder stechen hervor) und eine strukturelle (welche Studien werden gemeinsam zitiert, welche Konzepte teilen Texte). Der eigentliche Wert liegt in der zweiten; die erste steht meist schon auf dem Bildschirm einer Datenbank.
Der Ansatz ist nicht neu: Das Zählen von Publikationen hieß früher "statistische Bibliografie", und Pritchard (1969) schlug stattdessen Bibliometrie vor. Verändert hat sich nicht die Methode, sondern der Maßstab, da maschinenlesbare Referenzdaten heute ein ganzes Feld in einer einzigen Studie abdecken.
- Wann sie passt: Das Feld ist breit, es gibt mehr Publikationen, als eine Person lesen könnte.
- Wann sie nicht passt: Die Frage ist eng, und ihre Beantwortung erfordert den Vergleich einzelner Befunde.
- Voraussetzung: eine Datenquelle mit gefüllten Referenzfeldern, die sich deduplizieren und exportieren lässt.
- Akzeptierte Grenze: Die Analyse misst, was veröffentlicht wurde, nicht, was nicht indexiert ist.
Was unterscheidet Bibliometrie von einer systematischen Übersichtsarbeit?
Eine systematische Übersichtsarbeit beantwortet eine Frage, eine bibliometrische Analyse kartiert die Struktur eines Feldes. Eine Übersichtsarbeit liest Studien einzeln, bewertet ihre Qualität und synthetisiert Befunde; Bibliometrie liest den Text nicht, sie zählt Verknüpfungen zwischen Datensätzen.
| Kriterium | Bibliometrische Analyse | Systematische Übersichtsarbeit |
|---|---|---|
| Beantwortete Frage | Wie sieht dieses Feld aus? | Was sagt die Evidenz zu dieser Frage? |
| Untersuchungseinheit | Publikationsdatensatz und Verknüpfungen zwischen Datensätzen | Die Studie selbst und ihr Befund |
| Verhältnis zum Text | Text wird nicht gelesen, Metadaten werden gezählt | Volltext wird gelesen und bewertet |
| Qualitätsbewertung | Keine, außerhalb des Rahmens | Bewertung des Verzerrungsrisikos ist verpflichtend |
| Typischer Umfang | Tausende Datensätze | Dutzende Studien |
| Ausgabe | Eine Karte und Struktur des Feldes | Synthetisierte Evidenz und eine Schlussfolgerung |
Der Unterschied liegt nicht in der Strenge: Der Rahmen einer systematischen Übersichtsarbeit ist PRISMA 2020 (Page u. a., 2021), und das Verzerrungsrisiko wird mit dem Cochrane Handbook bewertet (Higgins u. a.). Eine bibliometrische Studie übernimmt dieselbe Disziplin und schreibt Suchanfrage und Screening-Schritte vorab fest.
Die beiden Ansätze sind auch keine Alternativen. Cooper (1988) klassifiziert Übersichtsarbeiten nach Fokus, Ziel und Abdeckung; in der Praxis kartiert Bibliometrie das Feld, die Übersichtsarbeit steigt in ein ausgewähltes Cluster hinab. Webster und Watson (2002) empfehlen, eine Übersichtsarbeit konzeptorientiert aufzubauen.
Ein schrittweises Protokoll für Übersichtsarbeiten finden Sie im Leitfaden Wie führt man eine systematische Übersichtsarbeit durch.
Welche Analysetypen gibt es?
Bibliometrische Analysetypen unterscheiden sich danach, welche Verknüpfung gezählt wird: Kozitation, bibliografische Kopplung, Kowort und Koautorenschaft. Der Verknüpfungstyp bestimmt, was die Karte zeigt.
Kozitationsanalyse (co-citation analysis)
Zwei Studien sind kozitiert, wenn sie gemeinsam im Literaturverzeichnis einer dritten Studie erscheinen (Small, 1973). Cluster zeigen die intellektuelle Basis des Feldes, die grundlegenden Studien, auf denen es aufbaut.
Die Verknüpfung ist rückblickend: Zwei Studien, die heute niemand gemeinsam zitiert, können später in dasselbe Cluster fallen. Ein neu erschienener Artikel taucht noch nicht auf, da er noch keine Zitate hat.
Bibliografische Kopplung (bibliographic coupling)
Zwei Artikel sind bibliografisch gekoppelt, wenn sie gemeinsame Quellen zitieren (Kessler, 1963). Die Verknüpfung entsteht bei der Veröffentlichung und ändert sich nie, weil ein Literaturverzeichnis fest steht.
Das macht die Methode für die aktuelle Forschungsfront geeignet. Kozitation zeigt den gemeinsamen Boden der Vergangenheit, Kopplung das gemeinsame Interesse von heute; beide erzeugen unterschiedliche Karten.
Kowortanalyse (co-word analysis)
Begriffe, die gemeinsam in denselben Texten vorkommen, werden gezählt, und ein Netzwerk zwischen Konzepten entsteht (Callon u. a., 1991); sie wartet nicht auf Zitate, sodass neue Konzepte sofort in die Karte eingehen.
Ihr Preis ist die Begriffsbereinigung: Singular, Plural und Synonym eines Konzepts erscheinen jeweils als eigener Knoten, sofern kein Zusammenführungswörterbuch geschrieben wird.
Koautorenschaftsanalyse (co-authorship analysis)
Autoren, die eine gemeinsame Nennung teilen, werden verknüpft. Das entstehende Netzwerk zeigt die soziale Struktur des Feldes: Forschungsgruppen, institutionsübergreifende Zusammenarbeit.
Ihr Schwachpunkt ist die Auflösung von Autorennamen: verschiedene Forscher mit demselben Namen verschmelzen zu einem Knoten. Eine dauerhafte Autorenkennung verringert diesen Fehler.
Was macht ein Clustering-Algorithmus?
Ein Clustering-Algorithmus teilt die Knoten eines Netzwerks in Gruppen, die innerhalb dicht und nach außen dünn verknüpft sind. Cluster entstehen aus den Daten; die Wahl von Algorithmus und Auflösung verändert, wie viele Themen sich ergeben.
Das gängige Maß ist Modularität: Sie vergleicht die Dichte innerhalb eines Clusters mit dem, was ein zufälliges Netzwerk ergäbe. Der Louvain-Algorithmus verbessert dies schnell und war lange die Standardwahl in der Bibliometrie (Blondel u. a., 2008).
Traag u. a. (2019) zeigten eine Schwäche von Louvain: Manche Cluster können intern unverbunden sein, sodass ein als ein Thema gelesenes Cluster tatsächlich zwei unabhängige Teile sein kann. Der Leiden-Algorithmus garantiert, dass Cluster verbunden bleiben.
Die Wahl des Algorithmus ist Teil der Methode, keine Vorliebe, und wird berichtet; bleibt sie ungeschrieben, hält die Leserschaft die Karte für eine Tatsache des Feldes selbst.
- Name und Version des verwendeten Algorithmus werden festgehalten.
- Der Auflösungsparameter und, falls verwendet, der Zufallssamen werden festgehalten.
- Die Anzahl der Cluster wird von den Daten bestimmt, nicht von der Leserschaft; Zusammenführungen werden angegeben.
- Der einem Cluster gegebene Name ist eine Interpretation, nicht die Ausgabe des Algorithmus.
- Eine Prüfung auf unverbundene Cluster wird durchgeführt.
Wie liest man das strategische Diagramm?
Das strategische Diagramm positioniert Themen einer Kowortanalyse auf zwei Achsen. Zentralität zeigt, wie stark ein Thema mit anderen verbunden ist, Dichte, wie eng es in sich selbst verknüpft ist (Callon u. a., 1991).
| Zone | Zentralität | Dichte | Lesart |
|---|---|---|---|
| Motorthemen | Hoch | Hoch | Themen, die das Feld antreiben. In sich ausgereift und zugleich dicht mit anderen Themen verbunden. |
| Spezialisierte Themen | Niedrig | Hoch | Nischenthemen, die in sich tief, aber vom Rest des Feldes abgekoppelt sind. Innen stark, nach außen geschlossen. |
| Entstehende oder abklingende Themen | Niedrig | Niedrig | Themen, die entweder neu entstehen oder aufgegeben werden. Eine einzelne Momentaufnahme sagt nicht, welches von beidem; Zeitschnitte schon. |
| Grundlegende und übergreifende Themen | Hoch | Niedrig | Der gemeinsame Boden des Feldes. Er erscheint überall und verbindet sich mit vielen Themen, hat sich aber in sich selbst nicht vertieft. |
Das Diagramm birgt zwei Fallen: Die Achsen sind relativ zum Korpus, und eine Erweiterung der Suchanfrage kann ein Thema in eine andere Region verschieben. Zudem stellt der Bereich niedriger Zentralität und niedriger Dichte zwei gegensätzliche Situationen an denselben Ort.
Diese zweite Unklarheit lässt sich mit einer einzelnen Momentaufnahme nicht auflösen; der Korpus braucht Zeitschnitte. Ein Thema in dieser Ecke ohne Richtungsinformation "entstehend" zu nennen, ist eine Behauptung, die die Daten nicht stützen.
Für eine auf die Lückensuche ausgerichtete Lesart reicht das Diagramm allein nicht aus; auch die unverbundenen Bereiche zwischen Clustern müssen untersucht werden. Wie diese Lesart erfolgt, erklärt der Leitfaden Wie findet man eine Forschungslücke.
Was messen Zitatzahlen, und was nicht?
Eine Zitatzahl misst, wie stark eine Studie genutzt wurde, nicht ihre Qualität; eine Studie wird ebenso oft zitiert, weil sie kritisiert wird, wie weil sie bestätigt wird. Zahlen wachsen mit der Zeit, sodass Studien unterschiedlicher Jahre nicht anhand roher Zahlen verglichen werden können.
Das gängigste Maß auf Autorenebene ist der h-Index: Ein Forscher hat h Publikationen, von denen jede mindestens h Zitate erhalten hat (Hirsch, 2005). Er hängt von der Karrierelänge ab und lässt sich nicht über Felder hinweg vergleichen.
- Feldunterschied: Zitiergewohnheiten variieren von Feld zu Feld, rohe Zahlen sind nur innerhalb desselben Feldes aussagekräftig.
- Akkumulationseffekt: Ältere Publikationen hatten mehr Zeit, Zitate zu sammeln.
- Selbstzitation: Werden die Zitate eines Autors auf die eigene Arbeit nicht herausgerechnet, wirkt die Zahl größer.
- Datenbankabdeckung: Jede Datenbank indexiert eine andere Menge an Zeitschriften und liefert eine andere Zahl.
- Formatverzerrung: Felder mit Gewicht auf Büchern und Publikationen in Landessprache sind in zeitschriftenzentrierten Datenbanken unterrepräsentiert.
- Bedeutungslücke: Ein Zitat ist ein Nutzungszeichen, kein Zustimmungszeichen.
Wird ein Vergleich angestellt, werden Feld und Jahr konstant gehalten. Statt einer einzelnen Zahl sollten mehrere Indikatoren gemeinsam gelesen werden; dieselbe Suchanfrage liefert sechs Monate später eine andere Zahl.
Wie wird eine bibliometrische Studie reproduzierbar gemacht?
Eine bibliometrische Studie ist reproduzierbar, wenn eine dritte Person, die denselben Korpus aufbaut und dieselben Schritte ausführt, zum selben Ergebnis gelangen kann: Suchanfrage exakt, Datenbank und Datum angegeben, Algorithmus und Parameter festgehalten (Peng, 2011).
Bibliometrische Daten sind ein bewegliches Ziel: Dieselbe Suchanfrage kann zwei Wochen später eine andere Anzahl von Datensätzen liefern. Das Abrufdatum ist deshalb Teil der Methode; ein Korpus ohne Datum lässt sich nicht rekonstruieren.
Peng (2011) betrachtet das Teilen von Daten und Code mit der Publikation als Mindestbedingung; das Gegenstück hier ist die Rohdatendatei, die Bereinigungsschritte und das Analyseskript. Die FAIR-Prinzipien dienen dafür als Checkliste (Wilkinson u. a., 2016).
- Die Datenbank, ihre Version und der Zugangsweg.
- Der exakte Suchstring, samt Feldbeschränkungen und Zeitraum.
- Das Datum, an dem der Korpus abgerufen wurde.
- Die Ein- und Ausschlusskriterien, mit der Zahl der bei jedem Schritt ausgeschiedenen Datensätze.
- Die Deduplizierungsmethode und das Begriffszusammenführungswörterbuch.
- Der Netzwerktyp, der Clustering-Algorithmus, der Auflösungsparameter und der Zufallssamen.
- Die verwendete Software und ihre Versionsnummern.
- Die Rohkorpusdatei und das Analyseskript, idealerweise mit einer dauerhaften Kennung.
Diese Liste ist keine Förmlichkeit: Die meisten Entscheidungen fallen auf Zwischenschritten, welcher Dokumenttyp ausgeschlossen wurde, welche Begriffe zusammengeführt wurden. Bleiben sie ungeschrieben, lässt sich das Ergebnis nicht mehr diskutieren.
Welche Werkzeuge übernehmen diese Arbeit?
Jeder Schritt hier lässt sich auch von Hand durchführen. Die Schwierigkeit liegt nicht in den Schritten, sondern im Protokoll dazwischen; ohne es lässt sich eine Studie sechs Monate später nicht mehr rekonstruieren.
SciMind baut eine Plattform, die diese Arbeit in einem einzigen Workflow zusammenführt.
Verwandte Leitfäden
Quellen
- Pritchard, A. (1969). Statistical bibliography or bibliometrics? Journal of Documentation, 25(4), 348-349.
- Kessler, M. M. (1963). Bibliographic coupling between scientific papers. American Documentation, 14(1), 10-25.
- Small, H. (1973). Co-citation in the scientific literature. Journal of the American Society for Information Science, 24(4), 265-269.
- Callon, M., Courtial, J. P. und Laville, F. (1991). Co-word analysis as a tool for describing the network of interactions. Scientometrics, 22(1), 155-205.
- Blondel, V. D., Guillaume, J. L., Lambiotte, R. und Lefebvre, E. (2008). Fast unfolding of communities in large networks. Journal of Statistical Mechanics, P10008.
- Traag, V. A., Waltman, L. und van Eck, N. J. (2019). From Louvain to Leiden: guaranteeing well-connected communities. Scientific Reports, 9, 5233.
- Hirsch, J. E. (2005). An index to quantify an individual's scientific research output. PNAS, 102(46), 16569-16572.
- Page, M. J. et al. (2021). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 372, n71.
- Higgins, J. P. T. et al. (Ed.). Cochrane Handbook for Systematic Reviews of Interventions. Cochrane.
- Cooper, H. M. (1988). Organizing knowledge syntheses: a taxonomy of literature reviews. Knowledge in Society, 1(1), 104-126.
- Webster, J. und Watson, R. T. (2002). Analyzing the past to prepare for the future: writing a literature review. MIS Quarterly, 26(2), xiii-xxiii.
- Peng, R. D. (2011). Reproducible research in computational science. Science, 334(6060), 1226-1227.
- Wilkinson, M. D. et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 3, 160018.
Muss die Literatur kartiert werden?
Bibliometrische Netzwerkanalyse, thematische Kartierung und Evidenzsynthese laufen im selben Workflow. Jede Entscheidung wird mit Begründung festgehalten, die Methode wird eingefroren, sobald die Analyse abgeschlossen ist.