Qu'est-ce que l'analyse bibliométrique ?
Comment cartographier la structure d'un domaine sans lire un à un ses milliers de publications. Ce que montre chaque type d'analyse, ce que fait un algorithme de clustering, ce qu'un nombre de citations ne mesure pas, et comment une étude reste reproductible.
Qu'est-ce que l'analyse bibliométrique ?
L'analyse bibliométrique mesure la communication scientifique en appliquant des méthodes mathématiques aux publications et à leurs liens ; le terme a été forgé par Pritchard (1969). L'entrée est constituée des notices d'articles, de livres et de communications, la sortie est une carte numérique montrant de qui le domaine est composé et quels clusters il forme.
L'unité sur laquelle la méthode travaille n'est pas le texte de l'article mais sa notice : titre, résumé, auteurs, institutions, revue, année et bibliographie. Réunies par milliers, elles produisent un réseau montrant par qui, où et autour de quels concepts le domaine est produit.
L'analyse répond à deux questions : descriptive (combien de publications, quelles revues et quels pays ressortent) et structurale (quelles études sont citées ensemble). La vraie valeur est dans la seconde ; la première figure déjà sur l'écran d'une base de données.
L'approche n'est pas nouvelle : le comptage de publications s'appelait « bibliographie statistique », et Pritchard (1969) a proposé le terme bibliométrie à la place. Ce qui a changé n'est pas la méthode mais l'échelle ; des données de bibliographie lisibles par machine permettent désormais de traiter tout un domaine en une seule étude.
- Cas approprié : le domaine est vaste, le nombre de publications dépasse ce qu'une personne peut lire.
- Cas inapproprié : la question est étroite et précise, et exige de comparer les résultats des études.
- Prérequis : une source de données aux champs bibliographiques remplis, dédoublonnable et exportable.
- Limite acceptée : l'analyse mesure ce qui a été publié, pas ce qui n'est pas indexé.
Quelle est la différence entre bibliométrie et revue systématique ?
Une revue systématique répond à une question, une analyse bibliométrique cartographie la structure d'un domaine. La revue lit les études une par une, évalue leur qualité et synthétise les résultats ; la bibliométrie ne lit pas le texte, elle compte les liens entre notices.
| Critère | Analyse bibliométrique | Revue systématique |
|---|---|---|
| Question à laquelle elle répond | À quoi ressemble ce domaine ? | Que dit la preuve sur cette question ? |
| Unité d'étude | Notice de publication et lien entre notices | L'étude elle-même et son résultat |
| Relation au texte | Le texte n'est pas lu, les métadonnées sont comptées | Le texte intégral est lu et évalué |
| Évaluation de la qualité | Aucune, hors périmètre | L'évaluation du risque de biais est obligatoire |
| Échelle typique | Des milliers de notices | Des dizaines d'études |
| Résultat | Carte et structure du domaine | Preuve synthétisée et conclusion |
La différence ne tient pas à la rigueur : le cadre d'une revue systématique est PRISMA 2020 (Page et al., 2021), le risque de biais s'évalue avec les outils Cochrane (Higgins et al.). Une étude bibliométrique emprunte la même discipline, en écrivant à l'avance sa requête et ses étapes de sélection.
Les deux approches ne sont pas non plus des alternatives. Cooper (1988) classe les revues selon leur objet, leur objectif et leur couverture ; en pratique, la bibliométrie dresse la carte, la revue descend dans un cluster choisi. Webster et Watson (2002) recommandent d'organiser une revue autour des concepts.
Pour un protocole de revue étape par étape, voir le guide comment mener une revue systématique.
Quels types d'analyse existe-t-il ?
Les types d'analyse bibliométrique se distinguent par le lien compté : co-citation, couplage bibliographique, cooccurrence de mots et coautorat. Le type de lien détermine ce que montre la carte.
Analyse de co-citation (co-citation analysis)
Deux études sont co-citées quand elles apparaissent ensemble dans la bibliographie d'une troisième étude (Small, 1973). Les clusters montrent la base intellectuelle du domaine, les études fondatrices sur lesquelles il s'est construit.
Le lien est rétrospectif : deux études jamais citées ensemble aujourd'hui peuvent tomber dans le même cluster cinq ans plus tard. Un article tout juste publié n'apparaît pas encore sur la carte, faute de citations.
Couplage bibliographique (bibliographic coupling)
Deux articles sont bibliographiquement couplés s'ils citent des sources communes (Kessler, 1963). Le lien se forme à la publication et ne change jamais, car une bibliographie est fixe.
Cette propriété permet de voir le front de recherche actuel. La co-citation montre le terrain commun du passé, le couplage montre l'intérêt commun d'aujourd'hui ; les deux produisent des cartes différentes.
Analyse de cooccurrence de mots (co-word analysis)
L'apparition conjointe de termes dans le même texte est comptée et un réseau se construit entre concepts (Callon et al., 1991) ; elle n'attend pas l'accumulation de citations, de nouveaux concepts entrent donc immédiatement sur la carte.
Son coût est le nettoyage terminologique : le singulier, le pluriel et le synonyme d'un même concept apparaissent chacun comme un nœud distinct si aucun dictionnaire de fusion n'est écrit.
Analyse de coautorat (co-authorship analysis)
Les auteurs partageant une même signature sont reliés. Le réseau obtenu montre la structure sociale du domaine : groupes de recherche, collaborations interinstitutionnelles.
Son point faible est la désambiguïsation des noms d'auteurs : des chercheurs différents portant le même nom fusionnent en un seul nœud. Un identifiant d'auteur pérenne réduit cette erreur.
À quoi sert un algorithme de clustering ?
Un algorithme de clustering divise les nœuds d'un réseau en groupes densément liés en leur sein et faiblement liés à l'extérieur. Les clusters émergent des données ; le choix de l'algorithme et de la résolution change directement le nombre de thèmes obtenus.
La mesure courante est la modularité : elle compare la densité au sein d'un cluster à celle d'un réseau aléatoire. L'algorithme de Louvain l'améliore rapidement et a longtemps été le choix par défaut en bibliométrie (Blondel et al., 2008).
Traag et al. (2019) ont montré un défaut de Louvain : certains clusters peuvent être internement déconnectés, c'est-à-dire qu'un cluster pris pour un thème unique peut en fait être formé de deux parties sans lien. L'algorithme de Leiden garantit que les clusters restent connectés.
Le choix de l'algorithme n'est pas une préférence mais fait partie de la méthode, et se rapporte comme tel ; sans cela, le lecteur prend la carte pour une réalité propre au domaine.
- Le nom et la version de l'algorithme utilisé sont écrits.
- Le paramètre de résolution et, le cas échéant, la graine aléatoire sont écrits.
- Le nombre de clusters doit être déterminé par les données, pas par le lecteur ; toute fusion est signalée.
- Le nom donné à chaque cluster est une interprétation, pas le résultat de l'algorithme.
- Un contrôle des clusters déconnectés est effectué.
Comment lire le diagramme stratégique ?
Le diagramme stratégique positionne les thèmes issus d'une analyse de cooccurrence de mots sur deux axes. La centralité montre le degré de connexion aux autres thèmes, la densité la force des liens internes (Callon et al., 1991).
| Zone | Centralité | Densité | Lecture |
|---|---|---|---|
| Thèmes moteurs | Élevée | Élevée | Thèmes qui font avancer le domaine. Mûrs en eux-mêmes et en même temps densément liés aux autres thèmes. |
| Thèmes spécialisés | Faible | Élevée | Sujets de niche approfondis en eux-mêmes mais déconnectés du reste du domaine. Forts à l'intérieur, fermés vers l'extérieur. |
| Thèmes émergents ou déclinants | Faible | Faible | Sujets en train de naître ou d'être abandonnés. Une seule coupe ne dit pas lequel, les tranches temporelles le disent. |
| Thèmes fondamentaux et transversaux | Élevée | Faible | Le terrain commun du domaine. Présent partout, connecté à de nombreux thèmes, mais peu approfondi en lui-même. |
Le diagramme comporte deux pièges : les axes sont relatifs au corpus, élargir la requête peut déplacer un thème vers une autre zone. De plus, la zone à faible centralité et faible densité place deux situations opposées au même endroit.
Une seule coupe ne peut pas lever cette ambiguïté ; il faut diviser le corpus en tranches temporelles. Appeler un thème « sujet émergent » sans information de direction est une affirmation que les données ne soutiennent pas.
Pour une lecture orientée vers la recherche d'une lacune, le diagramme seul ne suffit pas ; il faut aussi examiner les zones sans lien entre les clusters. Cette lecture est expliquée dans le guide comment trouver une lacune de recherche.
Que mesurent les nombres de citations, et que ne mesurent-ils pas ?
Un nombre de citations mesure à quel point une étude a été utilisée dans la littérature, pas sa qualité ; une étude est aussi citée parce qu'elle est critiquée. Les nombres s'accumulent à un rythme différent selon les domaines et augmentent avec le temps, donc des études d'années ou de domaines différents ne se comparent pas sur un nombre brut.
La mesure la plus courante au niveau de l'auteur est l'indice h : h publications dont chacune a reçu au moins h citations (Hirsch, 2005). Il dépend de la durée de carrière et ne se compare pas entre domaines.
- Différence de domaine : l'habitude de citer varie d'un domaine à l'autre, les nombres bruts n'ont de sens qu'au sein d'un même domaine.
- Effet d'accumulation : les anciennes publications ont eu plus de temps pour rassembler des citations.
- Auto-citation : quand les citations d'un auteur vers ses propres travaux ne sont pas isolées, le nombre paraît plus grand qu'il n'est.
- Couverture de la base : chaque base de données indexe un ensemble différent de revues et donne un nombre différent.
- Biais de format : les domaines centrés sur les livres et les publications en langue locale sont sous-représentés dans les bases centrées sur les revues.
- Écart de sens : une citation est un signe d'usage, pas un signe d'approbation.
Toute comparaison exige de fixer le domaine et l'année. Plusieurs indicateurs doivent être lus ensemble plutôt qu'un seul nombre ; la même requête donne un nombre différent six mois plus tard.
Comment rendre une étude bibliométrique reproductible ?
Une étude bibliométrique est reproductible si un tiers, en construisant le même corpus et en suivant les mêmes étapes, peut atteindre le même résultat : la requête exacte, la base de données et les dates de récupération explicites, l'algorithme et les paramètres consignés (Peng, 2011).
Les données bibliométriques sont une cible mouvante : la même requête peut renvoyer un nombre différent de notices à deux semaines d'intervalle. La date de récupération du corpus fait donc partie de la méthode ; un corpus sans date ne peut pas être reconstruit.
Peng (2011) considère le partage des données et du code avec la publication comme condition minimale ; l'équivalent ici est le fichier de notices brutes, les étapes de nettoyage et le script d'analyse. Les principes FAIR en sont une liste de contrôle pour les rendre trouvables, accessibles, interopérables (Wilkinson et al., 2016).
- La base de données, sa version et la voie d'accès.
- La chaîne de requête exacte, avec les restrictions de champ et la période couverte.
- La date de récupération du corpus.
- Les critères d'inclusion et d'exclusion, avec le nombre de notices éliminées à chaque étape.
- La méthode de dédoublonnage et le dictionnaire de fusion des termes.
- Le type de réseau, l'algorithme de clustering, le paramètre de résolution et la graine aléatoire.
- Le logiciel utilisé et ses numéros de version.
- Le fichier de corpus brut et le script d'analyse, si possible avec un identifiant pérenne.
Cette liste n'est pas une formalité : la plupart des décisions se prennent aux étapes intermédiaires, quel type de document a été exclu, quels termes ont été fusionnés. Sans elle, le résultat devient impossible à discuter.
Quels outils font ce travail ?
Les étapes de ce guide peuvent aussi s'exécuter à la main. La difficulté n'est pas dans les étapes elles-mêmes mais dans le registre entre elles ; sans lui, une étude devient impossible à reconstruire six mois plus tard.
SciMind développe une plateforme qui réunit ce travail dans un seul flux.
Guides associés
Références
- Pritchard, A. (1969). Statistical bibliography or bibliometrics? Journal of Documentation, 25(4), 348-349.
- Kessler, M. M. (1963). Bibliographic coupling between scientific papers. American Documentation, 14(1), 10-25.
- Small, H. (1973). Co-citation in the scientific literature. Journal of the American Society for Information Science, 24(4), 265-269.
- Callon, M., Courtial, J. P. et Laville, F. (1991). Co-word analysis as a tool for describing the network of interactions. Scientometrics, 22(1), 155-205.
- Blondel, V. D., Guillaume, J. L., Lambiotte, R. et Lefebvre, E. (2008). Fast unfolding of communities in large networks. Journal of Statistical Mechanics, P10008.
- Traag, V. A., Waltman, L. et van Eck, N. J. (2019). From Louvain to Leiden: guaranteeing well-connected communities. Scientific Reports, 9, 5233.
- Hirsch, J. E. (2005). An index to quantify an individual's scientific research output. PNAS, 102(46), 16569-16572.
- Page, M. J. et al. (2021). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 372, n71.
- Higgins, J. P. T. et al. (Ed.). Cochrane Handbook for Systematic Reviews of Interventions. Cochrane.
- Cooper, H. M. (1988). Organizing knowledge syntheses: a taxonomy of literature reviews. Knowledge in Society, 1(1), 104-126.
- Webster, J. et Watson, R. T. (2002). Analyzing the past to prepare for the future: writing a literature review. MIS Quarterly, 26(2), xiii-xxiii.
- Peng, R. D. (2011). Reproducible research in computational science. Science, 334(6060), 1226-1227.
- Wilkinson, M. D. et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 3, 160018.
Besoin de cartographier la littérature ?
L'analyse de réseau bibliométrique, la cartographie thématique et la synthèse de preuves tournent dans le même flux. Chaque décision est enregistrée avec sa justification, et la méthode est figée une fois l'analyse close.