Comment mener une revue systématique ?
Une méthode étape par étape pour un chercheur qui mène sa première revue systématique : protocole, recherche, sélection, risque de biais et décision de synthèse.
Qu'est-ce qu'une revue systématique ?
Une revue systématique consiste à rechercher, sélectionner et évaluer la littérature selon une méthode prédéfinie et écrite pour répondre à une question précise. La requête de recherche, les critères d'inclusion et la forme de l'extraction des données sont fixés avant le début de la sélection ; ainsi, la sélection se fait selon une règle annoncée à l'avance, et non selon les études qui attirent l'attention du chercheur sur le moment.
Ce qui rend une revue systématique n'est pas la recherche elle-même mais l'ordre des décisions : dans une revue libre, le chercheur peut modifier ses critères en lisant, dans une revue systématique les critères sont écrits et tout changement entre dans le rapport.
Il a été soutenu il y a longtemps qu'une revue de littérature devrait reposer sur une méthode structurée plutôt que sur la mémoire de l'auteur (Webster et Watson, 2002). La revue systématique est la forme la plus stricte de cette idée : la méthode est écrite avec assez de détail pour qu'une autre équipe suivant les mêmes étapes puisse arriver au même ensemble d'études.
Ce qui rend une revue systématique est ce qui suit :
- La question à répondre est écrite en une seule phrase avant le début de la sélection.
- La requête de recherche est rapportée exactement comme exécutée, avec la base de données et la date.
- Les critères d'inclusion et d'exclusion sont annoncés à l'avance et appliqués de la même façon à chaque élimination.
- Les décisions de sélection sont prises indépendamment par au moins deux personnes.
- Le nombre de notices éliminées à chaque étape est enregistré avec un chiffre.
- Le risque de biais des études incluses est évalué une par une.
Quelle est la différence entre une revue systématique et une revue traditionnelle ?
Une revue traditionnelle décrit des études que l'auteur a choisies selon sa propre connaissance du domaine, et quelles sources ont été laissées de côté et pourquoi n'est souvent pas écrit ; dans une revue systématique ces étapes sont définies et rapportées à l'avance. La différence n'est pas le sujet mais la méthode : dans l'une, la sélection repose sur le jugement de l'auteur ; dans l'autre, sur une règle annoncée.
Ce qui distingue les revues entre elles est l'objet, l'objectif, la perspective, la couverture, l'organisation et le public (Cooper, 1988) ; cette classification montre que chaque revue porte une prétention de couverture. La revue traditionnelle se contente d'être représentative dans sa couverture ; la revue systématique prétend être complète dans les critères qu'elle a annoncés.
La différence entre elles n'est pas un classement de qualité ; une revue traditionnelle peut être adaptée pour introduire un nouveau domaine, ouvrir un débat conceptuel ou dresser un historique. Mais si une étude prétend avoir rassemblé des preuves pour une question, la règle de sélection doit être transparente pour le lecteur.
| Distinction | Revue traditionnelle | Revue systématique |
|---|---|---|
| Question | Se précise au fil de la rédaction | Fixée avant le début de la sélection |
| Recherche | Le plus souvent non décrite | Requête, base de données et date rapportées |
| Sélection | Jugement de l'auteur | Critères annoncés à l'avance |
| Relecteur | Généralement une seule personne | Au moins deux, indépendants |
| Notices éliminées | Invisibles | Enregistrées avec un chiffre et un motif |
| Reproduction | Pas praticable | Étapes reproductibles |
Qu'est-ce que PRISMA et à quoi cela sert-il ?
PRISMA est une ligne directrice qui décrit comment rapporter les revues systématiques (Page et al., 2021). Elle comporte deux parties : une liste de contrôle énumérant les informations que l'auteur doit inclure dans le rapport, et un diagramme de flux montrant combien d'études ont été éliminées à quelle étape. Elle encadre le rapport, pas la qualité : que chaque point soit coché montre que le travail a été décrit complètement, pas que la revue a été bien menée.
La liste de contrôle énumère les éléments d'information qui doivent figurer dans le rapport : titre, résumé, texte intégral de la requête de recherche, processus de sélection, évaluation du biais, présentation des résultats et écarts par rapport au protocole.
Le diagramme de flux est une histoire racontée en chiffres : combien de notices sont venues des bases de données, combien ont été supprimées comme doublons ou éliminées, et combien de textes intégraux ont été atteints pour finalement combien d'études restantes, tout apparaît dans un seul schéma. Si le diagramme ne peut pas être rempli, le processus n'a pas été enregistré.
Une erreur fréquente consiste à utiliser la liste de contrôle PRISMA comme une échelle de qualité. Une revue menée avec une stratégie de recherche faible peut cocher toutes les cases tant qu'elle rapporte honnêtement cette stratégie faible ; l'évaluation de la qualité est une tâche distincte qui passe par le risque de biais des études incluses.
L'inverse est aussi vrai : une revue bien menée mais mal rapportée ne peut pas être vérifiée par le lecteur. La condition de la reproductibilité est que les étapes menant au résultat soient partagées, pas le résultat lui-même (Peng, 2011).
Pourquoi un protocole s'écrit-il à l'avance ?
Le protocole met par écrit la question, la stratégie de recherche, les critères d'inclusion et le plan d'analyse avant le début de l'étude ; changer les critères après avoir vu les résultats facilite le maintien des études qui vont dans la direction souhaitée. Écrire le protocole à l'avance et le porter sur un registre daté réduit ce risque et rend visibles les équipes qui font deux fois le même travail.
Un protocole contient au moins ce qui suit :
- La question à répondre et ses composantes
- Les critères d'inclusion et d'exclusion
- Les bases de données à interroger et un brouillon de la chaîne de requête
- La période, la langue et les restrictions de type de publication
- Combien d'évaluateurs travailleront et comment le désaccord sera résolu
- Quelles données seront extraites et comment elles seront synthétisées
- Quel outil sera utilisé pour évaluer le risque de biais
Porter le protocole sur un registre daté avant le début de l'étude s'appelle le préenregistrement du protocole ; cela rend impossible de dissimuler des changements faits après avoir vu les résultats, puisque le texte enregistré peut être comparé au texte publié. Des registres publics existent pour tenir ce registre pour les revues systématiques.
S'écarter du protocole n'est pas interdit, le dissimuler l'est : si vous avez resserré un critère après avoir rencontré un type d'étude inattendu, vous le rapportez avec sa justification. PRISMA 2020 demande déjà où le protocole est enregistré et quels écarts, s'il y en a eu (Page et al., 2021).
Comment construire une stratégie de recherche ?
Une stratégie de recherche commence par traduire les concepts de la question en termes de recherche : pour chaque concept, synonymes et descripteurs sont combinés avec OU, et les concepts sont reliés entre eux avec ET. Les bases de données, la période et les restrictions de langue sont ensuite choisies, et la requête est publiée exactement comme exécutée, avec la date.
Chaîne de requête
Chaque concept de la question devient un bloc séparé ; à l'intérieur, les synonymes, variantes orthographiques et descripteurs propres à la base de données de ce concept sont combinés avec OU, et les blocs sont reliés entre eux avec ET. Comme les opérateurs de troncature et de proximité diffèrent d'une base à l'autre, la même requête ne fonctionne pas à l'identique partout ; une version adaptée à chaque base est écrite et rapportée séparément.
Publier la requête n'est pas une courtoisie, c'est la méthode elle-même. Sans la chaîne de requête, une revue ne peut pas être reproduite ; même si le nombre de notices trouvées est donné, la façon dont ce nombre a été obtenu reste inconnue (Peng, 2011).
Choix des bases de données
Une seule base de données ne suffit pas ; la couverture varie d'un domaine à l'autre et aucun index ne contient toutes les revues. Selon le sujet, plusieurs index généraux et la base de données propre au domaine sont interrogés ensemble, avec la justification du choix écrite pour que le lecteur puisse juger la couverture. Les bibliographies des études incluses sont aussi parcourues manuellement.
Période et restriction de langue
La période doit être justifiée : l'année de première publication d'une méthode, ou la date d'entrée en vigueur d'une réglementation, est un bon point de départ, choisir un nombre d'années rond n'en est pas un. Une restriction de langue est aussi un critère d'exclusion ; si elle est imposée, sa justification et son effet probable sur le résultat sont écrits.
Littérature grise
La littérature grise (grey literature) regroupe thèses, rapports, actes de conférence et documents institutionnels qui restent hors de l'édition commerciale. Son inclusion est contestée : elle est difficile à rechercher car non indexée, et elle peut ne pas être passée par l'évaluation par les pairs. En revanche, ne regarder que les études publiées porte dans le rapport le biais qui vient du fait que les études aux résultats positifs ont plus de chances d'être publiées (Higgins et al., Cochrane Handbook) ; quelle que soit la décision, elle est écrite dans le protocole.
Comment les décisions d'inclusion et d'exclusion sont-elles enregistrées ?
Chaque notice est sélectionnée indépendamment par au moins deux évaluateurs : d'abord le titre et le résumé, puis le texte intégral. Le désaccord se résout par discussion ou en consultant une troisième personne. Les étapes sont listées ci-dessous.
- Les notices sont collectées dans les bases de données et les doublons sont supprimés. Le nombre de notices trouvées et le nombre supprimé sont enregistrés séparément.
- La sélection par titre et résumé est effectuée. Deux évaluateurs travaillent indépendamment et ne voient pas la décision de l'autre.
- Le texte intégral des notices restantes est obtenu. Les notices introuvables sont rapportées comme un chiffre séparé.
- Les textes intégraux sont lus selon les critères. Un seul motif d'exclusion est écrit pour chaque étude éliminée.
- Les désaccords sont résolus par discussion, ou, s'ils persistent, par la décision d'un troisième évaluateur.
- Tous les chiffres sont reportés sur le diagramme de flux. Les totaux entre les étapes doivent être cohérents entre eux.
Le but de deux évaluateurs indépendants n'est pas la répartition du travail mais la détection d'erreurs ; quand une seule personne sélectionne, tant les baisses d'attention que la sélection conforme aux attentes passent inaperçues. Rapporter l'accord entre évaluateurs montre aussi avec quelle clarté les critères ont été écrits (Higgins et al., Cochrane Handbook).
Un registre qui garde les décisions avec leur justification rend la revue auditable. Partager les données extraites et le registre de décisions sous une forme lisible par machine rend aussi possible le travail d'autres équipes qui veulent utiliser les mêmes données (Wilkinson et al., 2016).
Karşılaştırma
bekliyor
Kanıt
koşu bitmedi
Comment évaluer le risque de biais ?
Le risque de biais demande si le résultat d'une étude s'écarte systématiquement de l'effet réel à cause de sa conception et de sa conduite. L'évaluation se fait étude par étude et domaine par domaine (Higgins et al., Cochrane Handbook) ; le résultat n'est pas un score unique mais un jugement motivé.
Le risque de biais et la qualité du rapport sont deux choses différentes : une étude peut être écrite proprement et pourtant avoir une estimation d'effet gonflée faute d'insu. Inversement, une étude qui sous-rapporte des détails importants a un risque incertain, et l'incertitude ne signifie pas un risque faible.
L'outil Cochrane pour les études randomisées interroge le risque domaine par domaine : le processus de randomisation, les écarts par rapport à l'intervention prévue, les données de résultat manquantes, la manière dont le résultat a été mesuré et la sélection du résultat rapporté ; pour chaque domaine, le jugement et sa base sont tous deux écrits. Dans les plans non randomisés, la principale menace étant les variables confondantes, des outils séparés sont utilisés, et lequel est indiqué dans le protocole.
Ici aussi, l'évaluation se fait indépendamment par deux personnes et les résultats sont présentés étude par étude. Une analyse de sensibilité excluant les études à haut risque montre à quel point le résultat global en dépend.
La méta-analyse se fait-elle toujours ?
Non : une méta-analyse a du sens quand les questions, les participants, les interventions et les formes de mesure des études sont assez semblables pour être combinés. Si l'hétérogénéité dépasse ce seuil, une taille d'effet globale unique devient trompeuse. Dans ce cas, les résultats sont décrits par une synthèse qualitative et la revue reste systématique.
L'hétérogénéité vient de trois sources : des différences entre participants, interventions et mesures de résultat ; des différences de plan et de risque de biais ; et des estimations d'effet plus dispersées que ce que le hasard peut expliquer (Higgins et al., Cochrane Handbook).
La décision de combiner précède les statistiques : si les études ne posent pas la même question, leur moyenne n'a pas de sens, et une faible mesure de dispersion numérique ne corrige pas cela. La décision se prend d'abord sur le contenu, puis se teste avec le chiffre.
Si une méta-analyse ne peut pas être faite, une synthèse qualitative est écrite : les études sont présentées dans un tableau structuré, la direction et l'ampleur des résultats sont comparées, et les raisons probables des résultats contradictoires sont discutées. Une synthèse qualitative n'est pas une version affaiblie d'une revue systématique ; la discipline du protocole, de la recherche et de la sélection s'y applique exactement de la même façon. Quand une méta-analyse est faite, le résultat est rapporté avec un intervalle de confiance et des analyses de sensibilité, pas réduit à un seul chiffre.
Avec quel outil mener ces étapes ?
Les étapes d'une revue systématique peuvent aussi se mener à la main ; un protocole écrit, un gestionnaire de références et un tableur correctement tenu suffisent. Ce qu'apportent les outils qui réunissent le processus en un seul endroit, c'est l'enregistrement des décisions d'inclusion avec leur justification, le report automatique des chiffres sur le diagramme de flux, et la conservation de la requête de recherche comme partie de la méthode elle-même.
Lacuna est une plateforme conçue pour ce travail : elle lit la littérature d'un domaine et repère la lacune laissée entre les clusters, écrit les décisions d'inclusion et d'exclusion dans un registre de décisions avec leur justification, et fige la méthode une fois l'analyse close, si bien que le même corpus donne le même résultat.
Guides associés
Références
- Cooper, H. M. (1988). Organizing knowledge syntheses: a taxonomy of literature reviews. Knowledge in Society, 1(1), 104-126.
- Higgins, J. P. T. et al. (Ed.). Cochrane Handbook for Systematic Reviews of Interventions. Cochrane.
- Page, M. J. et al. (2021). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 372, n71.
- Peng, R. D. (2011). Reproducible research in computational science. Science, 334(6060), 1226-1227.
- Webster, J. et Watson, R. T. (2002). Analyzing the past to prepare for the future: writing a literature review. MIS Quarterly, 26(2), xiii-xxiii.
- Wilkinson, M. D. et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 3, 160018.
Besoin de passer un domaine en revue de bout en bout ?
Pour un flux de travail qui lit la littérature, enregistre les décisions avec leur justification et scelle la méthode, consultez la page Lacuna ou écrivez-nous.