¿Cómo se hace una revisión sistemática?
Un método paso a paso para un investigador que hace su primera revisión sistemática: protocolo, búsqueda, cribado, riesgo de sesgo y la decisión de síntesis.
¿Qué es una revisión sistemática?
Una revisión sistemática es la búsqueda, selección y evaluación de la literatura según un método predefinido y escrito para responder a una pregunta concreta. La consulta de búsqueda, los criterios de inclusión y la forma de extracción de datos se fijan antes de empezar el cribado; así, la selección se hace según una regla anunciada de antemano, no según los estudios que capten la atención del investigador en ese momento.
Lo que hace sistemática a una revisión no es la búsqueda en sí sino el orden de las decisiones: en una revisión libre el investigador puede cambiar los criterios mientras lee, en una revisión sistemática los criterios están escritos y cualquier cambio entra en el informe.
Hace tiempo se defendió que una revisión de literatura debe apoyarse en un método estructurado y no en la memoria del autor (Webster y Watson, 2002). Una revisión sistemática es la forma más estricta de esta idea: el método se escribe con suficiente detalle para que otro equipo, siguiendo los mismos pasos, pueda llegar al mismo conjunto de estudios.
Lo que hace sistemática a una revisión es lo siguiente:
- La pregunta a responder se escribe en una sola frase antes de empezar el cribado.
- La consulta de búsqueda se reporta exactamente como se ejecutó, junto con la base de datos y la fecha.
- Los criterios de inclusión y exclusión se anuncian de antemano y se aplican de la misma forma en cada eliminación.
- Las decisiones de selección las toman al menos dos personas de forma independiente.
- Cuántos registros se eliminaron en cada etapa se registra con un número.
- El riesgo de sesgo de los estudios incluidos se evalúa uno por uno.
¿Cuál es la diferencia entre una revisión sistemática y una revisión tradicional?
Una revisión tradicional describe los estudios que el autor eligió según su propio conocimiento del campo, y qué fuentes se dejaron fuera y por qué muchas veces no queda escrito; en una revisión sistemática estos pasos se definen y reportan de antemano. La diferencia no es el tema sino el método: en una, la selección depende del criterio del autor; en la otra, de una regla anunciada.
Las revisiones se distinguen entre sí por foco, objetivo, perspectiva, cobertura, organización y público (Cooper, 1988); esta clasificación muestra que toda revisión lleva una afirmación de cobertura. Una revisión tradicional se conforma con ser representativa en su cobertura; una revisión sistemática afirma ser completa dentro de los criterios que ha anunciado.
La diferencia entre ellas no es una jerarquía de calidad; una revisión tradicional puede ser adecuada para presentar un campo nuevo, abrir un debate conceptual o trazar una historia. Pero si un estudio afirma haber reunido evidencia para una pregunta, la regla de selección debe estar abierta al lector.
| Distinción | Revisión tradicional | Revisión sistemática |
|---|---|---|
| Pregunta | Toma forma a medida que avanza la escritura | Fijada antes de empezar el cribado |
| Búsqueda | Mayormente no se describe | Consulta, base de datos y fecha se reportan |
| Selección | Criterio del autor | Criterios anunciados de antemano |
| Revisor | Normalmente una sola persona | Al menos dos, independientes |
| Registros eliminados | Invisibles | Registrados con número y motivo |
| Reproducción | No es posible en la práctica | Los pasos pueden repetirse |
¿Qué es PRISMA y para qué sirve?
PRISMA es una guía que describe cómo deben documentarse las revisiones sistemáticas (Page et al., 2021). Tiene dos partes: una lista de comprobación que enumera qué información debe incluir el autor en el informe, y un diagrama de flujo que muestra cuántos estudios se eliminaron en cada etapa. Rige el informe, no la calidad: que se marquen todos los puntos muestra que el trabajo se describió por completo, no que la revisión se hizo bien.
La lista de comprobación enumera los elementos de información que deben estar presentes en el informe: tipo de estudio, resumen, el texto completo de la consulta de búsqueda, el proceso de cribado, la evaluación del sesgo, la presentación de resultados y las desviaciones del protocolo.
El diagrama de flujo es una historia contada en números: cuántos registros vinieron de las bases de datos, cuántos se eliminaron por duplicados o se descartaron, y cuántos textos completos y estudios finales quedaron se muestran en un solo diagrama. Si el diagrama no puede rellenarse, el proceso no se registró.
Un error habitual es usar la lista de comprobación PRISMA como escala de calidad. Una revisión llevada a cabo con una estrategia de búsqueda débil aún puede marcar todos los puntos, siempre que documente con honestidad esa debilidad; la evaluación de calidad es una tarea aparte y pasa por el riesgo de sesgo de los estudios incluidos.
Lo contrario también es cierto: una revisión bien llevada pero mal documentada no puede verificarla el lector. La condición para la reproducibilidad es que se compartan los pasos que llevan al resultado, no el resultado en sí (Peng, 2011).
¿Por qué se escribe un protocolo de antemano?
Un protocolo deja por escrito la pregunta, la estrategia de búsqueda, los criterios de inclusión y el plan de análisis antes de que empiece el estudio; cambiar los criterios después de ver los resultados facilita conservar los estudios que salieron en la dirección deseada. Escribir el protocolo de antemano y dejarlo en un registro fechado reduce este riesgo y hace visibles a los equipos que hacen dos veces el mismo trabajo.
Un protocolo contiene al menos lo siguiente:
- La pregunta a responder y sus componentes
- Los criterios de inclusión y exclusión
- Las bases de datos a buscar y un borrador de la cadena de búsqueda
- El rango de fechas, el idioma y las restricciones de tipo de publicación
- Cuántos revisores trabajarán y cómo se resolverá el desacuerdo
- Qué datos se extraerán y cómo se sintetizarán
- Con qué herramienta se evaluará el riesgo de sesgo
Dejar el protocolo en un registro fechado antes de que empiece el estudio se llama preregistro del protocolo; hace imposible ocultar los cambios hechos tras ver los resultados, porque el texto registrado puede compararse con el texto publicado. Existen registros públicos que guardan este registro para revisiones sistemáticas.
Desviarse del protocolo no está prohibido, ocultarlo sí: si estrechó un criterio al encontrar un tipo de estudio inesperado, lo hace constar con su justificación. PRISMA 2020 ya pregunta dónde está registrado el protocolo y qué desviaciones hubo, si las hubo (Page et al., 2021).
¿Cómo se construye una estrategia de búsqueda?
Una estrategia de búsqueda empieza traduciendo los conceptos de la pregunta a términos de búsqueda: para cada concepto se combinan sinónimos y encabezamientos de materia con OR, y los conceptos se enlazan con AND. Después se eligen las bases de datos, el rango de fechas y las restricciones de idioma, y la consulta se publica exactamente como se ejecutó, junto con la fecha.
Cadena de búsqueda
Cada concepto de la pregunta se convierte en un bloque aparte; dentro de él, los sinónimos, variantes ortográficas y encabezamientos de materia propios de la base de datos de ese concepto se combinan con OR, y los bloques se enlazan entre sí con AND. Como los operadores de truncamiento y proximidad varían de una base de datos a otra, la misma consulta no funciona igual en todas partes; se escribe y documenta por separado una versión adaptada para cada base de datos.
Publicar la consulta no es una cortesía, es el método en sí. Sin la cadena de búsqueda una revisión no puede reproducirse; aunque se dé el número de registros encontrados, se desconoce cómo se obtuvo ese número (Peng, 2011).
Elección de bases de datos
Una sola base de datos no basta; la cobertura varía de un campo a otro y ningún índice contiene todas las revistas. Según el tema, se buscan juntos varios índices generales y la base de datos propia del campo, con la justificación de la elección por escrito para que el lector pueda juzgar la cobertura. Las listas de referencias de los estudios incluidos también se rastrean a mano.
Rango de fechas y restricción de idioma
El rango de fechas necesita una justificación: el año en que se publicó por primera vez un método, o la fecha en que entró en vigor una normativa, es un buen punto de partida, elegir un número redondo de años no lo es. Una restricción de idioma es también un criterio de exclusión; si se impone, se escriben su justificación y su efecto probable sobre el resultado.
Literatura gris
La literatura gris son tesis, informes, actas de congresos y documentos institucionales que quedan fuera de la publicación comercial. Incluirla es objeto de debate: es difícil de buscar porque no está indexada, y puede no haber pasado por revisión por pares. Por otro lado, mirar solo los estudios publicados traslada al informe el sesgo que surge porque los estudios con resultados positivos tienen más probabilidad de publicarse (Higgins et al., Cochrane Handbook); sea cual sea la decisión, se escribe en el protocolo.
¿Cómo se registran las decisiones de inclusión y exclusión?
Cada registro lo criban de forma independiente al menos dos revisores: primero el título y el resumen, después el texto completo. El desacuerdo se resuelve por discusión o consultando a una tercera persona. Los pasos se enumeran a continuación.
- Se reúnen los registros de las bases de datos y se eliminan los duplicados. El número de registros encontrados y el número eliminado se registran por separado.
- Se hace el cribado de título y resumen. Dos revisores trabajan de forma independiente y no ven la decisión del otro.
- Se obtiene el texto completo de los registros restantes. Los registros a los que no se puede acceder se registran como un número aparte.
- Se leen los textos completos frente a los criterios. Se escribe un único motivo de exclusión para cada estudio eliminado.
- Los desacuerdos se resuelven por discusión o, si no se resuelven, por la decisión de un tercer revisor.
- Todos los números se trasladan al diagrama de flujo. Los totales entre etapas deben ser coherentes entre sí.
El propósito de dos revisores independientes no es el reparto del trabajo sino detectar errores; cuando una sola persona criba, tanto los fallos de atención como la selección que encaja con lo esperado pasan inadvertidos. Documentar el acuerdo entre revisores también muestra con qué claridad se escribieron los criterios (Higgins et al., Cochrane Handbook).
Un registro que guarda las decisiones junto con su justificación hace auditable una revisión. Compartir los datos extraídos y el registro de decisiones en forma legible por máquina también permite que otros equipos que quieran trabajar con los mismos datos puedan hacerlo (Wilkinson et al., 2016).
Karşılaştırma
bekliyor
Kanıt
koşu bitmedi
¿Cómo se evalúa el riesgo de sesgo?
El riesgo de sesgo pregunta si el resultado de un estudio se desvía sistemáticamente del efecto real por cómo se diseñó y llevó a cabo. La evaluación se hace por estudio y por dominio (Higgins et al., Cochrane Handbook); el resultado no es una sola puntuación sino un juicio razonado.
El riesgo de sesgo y la calidad del informe son cosas distintas: un estudio puede estar escrito con claridad y aun así tener una estimación de efecto inflada por no haber sido ciego. Al contrario, un estudio que documenta con detalles insuficientes tiene un riesgo incierto, y la incertidumbre no significa riesgo bajo.
La herramienta Cochrane para estudios aleatorizados interroga el riesgo dominio por dominio: el proceso de aleatorización, las desviaciones de la intervención prevista, los datos de resultado faltantes, cómo se midió el resultado y la notificación selectiva de resultados; para cada dominio se escriben tanto el juicio como su base. En diseños no aleatorizados la principal amenaza son las variables de confusión, así que se usan herramientas distintas, y cuál se indica en el protocolo.
Aquí también la evaluación la hacen dos personas de forma independiente y los resultados se presentan estudio por estudio. Un análisis de sensibilidad que excluye los estudios de alto riesgo muestra cuánto depende de ellos el resultado general.
¿Siempre se hace un metaanálisis?
No: un metaanálisis tiene sentido cuando las preguntas, los participantes, las intervenciones y las formas de medición de los estudios son lo bastante parecidos para combinarse. Si la heterogeneidad supera este umbral, un único tamaño de efecto combinado resulta engañoso. En ese caso los hallazgos se describen mediante una síntesis cualitativa y la revisión sigue siendo sistemática.
La heterogeneidad procede de tres fuentes: diferencias en participantes, intervenciones y medidas de resultado; diferencias en diseños y riesgo de sesgo; y estimaciones de efecto más dispersas de lo que puede explicar el azar (Higgins et al., Cochrane Handbook).
La decisión de combinar viene antes que la estadística: si los estudios no plantean la misma pregunta, sus promedios no tienen sentido, y una medida de dispersión numérica baja no lo corrige. La decisión se toma primero con el contenido, después se pone a prueba con el número.
Si no puede hacerse un metaanálisis, se escribe una síntesis cualitativa: los estudios se presentan en una tabla estructurada, se comparan la dirección y la magnitud de los hallazgos y se discuten las razones probables de los resultados contradictorios. Una síntesis cualitativa no es una versión más débil de una revisión sistemática; la disciplina de protocolo, búsqueda y cribado se aplica aquí exactamente igual. Cuando se hace un metaanálisis, el resultado se documenta junto con un intervalo de confianza y análisis de sensibilidad, no se reduce a un solo número.
¿Qué herramienta lleva a cabo estos pasos?
Los pasos de una revisión sistemática también pueden llevarse a cabo a mano; bastan un protocolo escrito, un gestor de referencias y una hoja de cálculo bien mantenida. Lo que aportan las herramientas que reúnen el proceso en un solo lugar es registrar las decisiones de inclusión con su justificación, trasladar los números al diagrama de flujo de forma automática y conservar la consulta de búsqueda como parte del propio método.
Lacuna es una plataforma construida para este trabajo: lee la literatura de un campo y marca la brecha que queda entre los clústeres, escribe las decisiones de inclusión y exclusión en un registro de decisiones con su justificación, y congela el método cuando se cierra el análisis, de modo que el mismo corpus da el mismo resultado.
Guías relacionadas
Referencias
- Cooper, H. M. (1988). Organizing knowledge syntheses: a taxonomy of literature reviews. Knowledge in Society, 1(1), 104-126.
- Higgins, J. P. T. et al. (Ed.). Cochrane Handbook for Systematic Reviews of Interventions. Cochrane.
- Page, M. J. et al. (2021). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 372, n71.
- Peng, R. D. (2011). Reproducible research in computational science. Science, 334(6060), 1226-1227.
- Webster, J. y Watson, R. T. (2002). Analyzing the past to prepare for the future: writing a literature review. MIS Quarterly, 26(2), xiii-xxiii.
- Wilkinson, M. D. et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 3, 160018.
¿Necesita revisar un campo de principio a fin?
Para un flujo de trabajo que lee la literatura, registra las decisiones con su justificación y sella el método, vea la página de Lacuna o escríbanos.