6._evaluacion_riesgo_sesgo.ppt
Descargar como PPT, PDF0 recomendaciones53 vistas
Este documento proporciona información sobre la evaluación del riesgo de sesgo de los estudios incluidos en una revisión sistemática Cochrane. Explica que es importante evaluar el riesgo de sesgo en siete dominios clave: generación de la secuencia aleatoria, ocultamiento de la asignación, cegamiento de participantes y personal, cegamiento de evaluadores de resultados, datos de resultado incompletos, notificación selectiva de resultados y otras fuentes de sesgo. El propósito es identificar estudios con alto riesgo de sesgo y consider
![cochrane training
Referencias
• Higgins JPT, Altman DG, Sterne JAC (editors). Chapter 8: Assessing risk of
bias in included studies. In: Higgins JPT, Green S (editors). Cochrane
Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated
March 2011]. The Cochrane Collaboration, 2011. Disponible en
www.cochrane-handbook.org.
Agradecimientos
• Compilado por Miranda Cumpston. Basado en los materiales de Cochrane Bias
Methods Group and the Australasian Cochrane Centre. Aprobado por the
Cochrane Methods Board
• Traducido por Anna Selva, Ivan Solà y Jesús López-Alcalde](https://image.slidesharecdn.com/6-230429210011-805aa3d7/85/6-_evaluacion_riesgo_sesgo-ppt-47-320.jpg)
6._evaluacion_riesgo_sesgo.ppt
- 1. Evaluación del riesgo de sesgo de los estudios incluidos
- 2. cochrane training Pasos de una revisión sistemática Cochrane 1. Formular la pregunta 2. Planificar los criterios de elegibilidad 3. Planificar la metodología 4. Buscar los estudios 5. Aplicar los criterios de elegibilidad 6. Obtener los datos 7. Evaluar el riesgo de sesgo de los estudios 8. Analizar y presentar los resultados 9. Interpretar los resultados y obtener conclusiones 10. Mejorar y actualizar la revisión
- 3. cochrane training Índice • Riesgo de sesgo en las revisiones sistemáticas • Evaluación de las fuentes de sesgo • Llevándolo a la práctica: tablas de “riesgo de sesgo” • Incorporación de los hallazgos en la revisión Ver el Capítulo 8 del Cochrane Handbook
- 4. cochrane training ¿Qué es el sesgo? Error sistemático o desviación de la verdad • Las revisiones sistemáticas dependen de los estudios incluidos • Estudios incorrectos = revisiones con resultados engañosos • ¿Nos podemos creer los resultados? • Evaluar el riesgo de sesgo de cada estudio • No podemos medir la presencia de sesgo • Los sesgos pueden sobreestimar o subestimar el efecto • Debemos buscar métodos que minimizan el riesgo de sesgo
- 5. cochrane training • Error aleatorio debido a variaciones en el muestreo • Se refleja en el intervalo de confianza • Estudios desarrollados correctamente también pueden estar sesgados • No todas las debilidades metodológicas introducen sesgos Calidad Imprecisión Informe • Puede que los métodos utilizados sean apropiados, pero que éstos no estén descritos adecuadamente Sesgo no es lo mismo que
- 6. cochrane training Escalas de calidad y listas de verificación (checklists) • Hay muchas escalas disponibles • No hay evidencia empírica que avale su uso • Diferentes escalas llegan a diferentes conclusiones • Pueden incluir criterios no relacionados con el sesgo • La ponderación numérica no está justificada • Puntuaciones difíciles de interpretar por los lectores Las revisiones Cochrane no deben utilizar escalas de calidad
- 7. cochrane training Herramienta de la Colaboración Cochrane para evaluar el “riesgo de sesgo” • Valora 7 dominios apoyados por evidencia científica • Valoración de los revisores: Bajo riesgo de sesgo Alto riesgo de sesgo ? Riesgo de sesgo poco claro • Apoyo para la valoración • Pruebas/citas del artículo o de otras fuentes • Explicación del autor de la revisión
- 8. cochrane training Dominios a evaluar • Generación de la secuencia aleatoria • Ocultamiento de la asignación • Cegamiento de los participantes y del personal • Cegamiento de los evaluadores del resultado • Datos de resultado incompletos • Notificación selectiva de los resultados • Otras fuentes de sesgo Es IMPRESCINDIBLE consultar el Manual Cochrane antes de realizar la evaluación del riesgo de sesgo
- 9. cochrane training ¿Qué ocurre con los estudios no-aleatorizados? • El riesgo de sesgo también debe evaluarse cuidadosamente • El revisor puede querer añadir dominios a evaluar • El revisor puede utilizar otro instrumento que sea apropiado • El Grupo de Revisión puede tener una opción recomendada Ver Sección 13.5 del Manual Cochrane
- 10. cochrane training Índice • Riesgo de sesgo en las revisiones sistemáticas • Evaluación de las fuentes de sesgo • Llevándolo a la práctica: tablas de “riesgo de sesgo” • Incorporación de los hallazgos en la revisión Ver el Capítulo 8 del Cochrane Handbook
- 11. cochrane training Fuentes de sesgo Generación aleatoria de la secuencia Ocultación de la secuencia Selección Realización Detección Desgaste Notificación Población diana Asignación Grupo Intervención Grupo Control Evaluación del resultado Publicación de los resultados e Evaluación del resultado
- 12. cochrane training Generación de la secuencia aleatoria • Se realiza al inicio del estudio, antes de la asignación de los participantes a los grupos de estudio • Evita el sesgo de selección • Determina un orden de asignación aleatorio de los participantes al grupo intervención y control • Evita diferencias sistemáticas entre los grupos • Tiene en cuenta los factores de confusión conocidos y desconocidos
- 13. cochrane training Generación de la secuencia aleatoria Bajo riesgo – no predecible • Tabla de números aleatorios • Generación de números aleatorios por ordenador • Aleatorización estratificada o en bloque • Minimización • Recursos más rudimentarios - lanzamiento de una moneda, barajar cartas o sobres, lanzar dados, sorteo de tarjetas Alto riesgo – predecible • Método cuasi-aleatorio – fecha de nacimiento, día de visita, identificador o número de registro, alternancia • Método no-aleatorio – elección por parte del clínico o del paciente, resultados de pruebas, disponibilidad Ver Sección 8.9 del Cochrane Handbook
- 14. cochrane training Ocultamiento de la secuencia • Ocurre al inicio del estudio, durante la asignación de los participantes • Evita el sesgo de selección • Cuando una persona es reclutada para el estudio nadie puede predecir a qué grupo será asignada • Asegura una implementación estricta de la secuencia de aleatorización • Previene cambios de orden • Previene seleccionar los participantes a los que reclutar
- 15. cochrane training Ocultamiento de la secuencia Bajo riesgo – no predecible • Asignación centralizada (teléfono, página web, servicio de farmacia ) • Sobres opacos, sellados y numerados de manera secuencial • Envases de fármaco idénticos y numerados de manera secuencial Alto riesgo- predecible • Secuencia conocida previamente por parte del personal • Sobres o envases sin una protección apropiada • Secuencia no aleatoria, predecible Ver Sección 8.10 del Cochrane Handbook
- 16. cochrane training Fuentes de sesgo Selección Realización Detección Desgaste Notificación Población diana Asignación Grupo Intervención Grupo Control Evaluación del resultado Evaluación del resutlado Publicación de los resultados Cegamiento de participantes, personal
- 17. cochrane training Cegamiento de los participantes y del personal • Evita el sesgo de realización • Trato diferente a los grupos del estudio • Diferentes expectativas de los participantes • Puede conducir a cambios en los propios resultados • Evaluar de forma cuidadosa • Evitar términos como “simple ciego” y “doble ciego” • ¿Es probable que el cegamiento se rompiera? • Considerar el impacto, incluso aunque el cegamiento no sea factible para una determinada intervención
- 18. cochrane training Cegamiento de los participantes y del personal Bajo riesgo • El cegamiento es correcto y es poco probable que se haya roto • Falta de cegamiento o cegamiento incompleto, pero no es probable que influya en los resultados Alto riesgo • Falta de cegamiento, cegamiento incompleto o roto, y es probable que influya en los resultados Ver Sección 8.11 del Cochrane Handbook
- 19. cochrane training Fuentes de sesgo Selección Realización Detección Desgaste Notificación Población diana Asignación Grupo Intervención Grupo Control Evaluación del resultado Evaluación del resutlado Publicación de los resultados Cegamiento de los evaluadores de los resultados
- 20. cochrane training Cegamiento de los evaluadores de los resultados • Evita el sesgo de detección • Conocer la intervención recibida puede afectar la medición de los resultados • Evaluar de forma cuidadosa • Evitar términos como “simple ciego” y “doble ciego” • ¿Es probable que el cegamiento se rompiera? • Puede ser factible incluso cuando no es posible cegar a los participantes y al personal • Recordar que tanto los participantes como el personal pueden ser evaluadores del resultado
- 21. cochrane training Cegamiento de los evaluadores de los resultados Bajo riesgo • El cegamiento es correcto y es poco probable que se haya roto • Falta de cegamiento, pero no es probable que influya en la evaluación de los resultados Alto riesgo • Falta de cegamiento o cegamiento roto, y es probable que influya en la evaluación de los resultados Ver Sección 8.12 del Cochrane Handbook
- 22. cochrane training Evaluación del cegamiento en cada variable resultado • Se puede alcanzar conclusiones distintas según la variable resultado • Puede que sólo sea ciega la medida de algunos resultados • Los desenlaces subjetivos pueden ser más vulnerables a este tipo de sesgo. Ej. muerte vs calidad de vida • Puede aplicarse tanto al sesgo de realización como al sesgo de detección • Una opción es recoger en la tabla la evaluación de dos o más variables de resultado para estas categorías
- 23. cochrane training Fuentes de sesgo Selección Realización Detección Desgaste Notificación Población diana Asignación Grupo Intervención Grupo Control Evaluación del resultado Evaluación del resutlado Publicación de los resultados Datos de resultado incompletos
- 24. cochrane training Datos de resultado incompletos • Cuando no se dispone de datos completos de los resultados para todos los participantes • Desgaste (attrition)– pérdidas durante el seguimiento (loss to follow up), abandono (withdrawals), otros datos faltantes • Exclusiones (exclusions)– algunos datos disponibles no están descritos en el informe • Puede dar lugar a un sesgo de desgaste (attrition bias) • Consideraciones: • ¿Cuántos datos de resultado incompletos por cada grupo? (incluir números en la descripción) • ¿Motivos de los datos de resultado incompletos? • ¿Cómo se analizaron los datos?
- 25. cochrane training ¿Cuándo son demasiados los datos faltantes? • No existe una regla simple • Si son suficientes para afectar de forma relevante los resultados • Proporción total de datos faltantes • Riesgo de evento (resultados dicotómicos) • Posible tamaño del efecto (resultados continuos) • Cuando las razones pueden estar relacionadas con los resultados del estudio • Ej. recuperación, eventos adversos, rechazos • Las razones pueden tener significados diferentes en cada grupo • Existe un desequilibrio entre los grupos en cuanto a los datos faltantes o sus razones
- 26. cochrane training Análisis por intención de tratar • Todos los participantes se analizan en el grupo al que fueron aleatorizados • A pesar de lo que haya ocurrido durante el estudio • Temas que pueden surgir • Análisis por protocolo • Los participantes no cumplidores se excluyen del análisis • Análisis “como se trató” • Los participantes no cumplidores cambian de grupo • Imputación de valores faltantes • Las asunciones pueden ser inapropiadas- consultar con un estadístico • Es posible re-incluir algunos datos excluidos
- 27. cochrane training Evaluación de los datos incompletos para cada resultado • Se puede llegar a conclusiones diferentes para cada resultado • Puede haber más datos faltantes en distintos puntos temporales • Algunos resultados pueden tener más datos faltantes que otros . Ej. preguntas sensibles, pruebas invasivas • Una opción es recoger en la tabla la evaluación de dos o más variables de resultado para “datos incompletos”
- 28. cochrane training Datos de resultado incompletos Bajo riesgo • Se dispone de los datos completos para todos los resultados • Las razones que han motivado la falta de datos no se relacionan con el resultado • Cantidad de datos de resultado faltantes equilibrados entre los grupos de intervención, y con motivos similares; • La proporción de datos faltantes o su posible efecto no es suficiente para tener un impacto clínicamente relevante Alto riesgo • Razones relacionadas con los desenlaces, y desequilibrio en el número de datos faltantes o en las razones que han provocado los datos faltantes • La proporción de datos faltantes es suficiente para tener un efecto clínicamente relevante • Análisis “como se trató” con diferencias importantes respecto a la aleatorización • Uso inapropiado de los métodos de imputación Ver Sección 8.13 del Cochrane Handbook
- 29. cochrane training Fuentes de sesgo Selección Realización Detección Desgaste Notificación Población diana Asignación Grupo Intervención Grupo Control Evaluación del resultado Evaluación del resutlado Publicación de los resultados Notificación selectiva de los resultados
- 30. cochrane training Notificación selectiva de los resultados • Puede dar lugar a un sesgo de notificación • Es más probable que se describan los resultados estadísticamente significativos • Tal como estaba planificado en el protocolo del estudio • Con mayor detalle • Sesgo difícil de determinar • Comparar los métodos con los resultados y buscar: • Resultados medidos (o probablemente medidos) pero no notificados • Resultados añadidos, cambios estadísticos, sólo subgrupos • Descripciones que no pueden utilizarse en una revisión (Ej. decir que no hay diferencias estadísticamente significativas sin aportar resultados numéricos) • Referencia al protocolo de estudio o al registro del ensayo • Centrarse en los resultados de interés para la revisión
- 31. cochrane training Notificación selectiva de los resultados Bajo riesgo • Se dispone del protocolo de estudio y todos los resultados de interés de la revisión están descritos de la forma prevista en el protocolo • No disponemos del protocolo, pero está claro que se notifican todos los resultados esperables y especificados previamente Riesgo poco claro • La mayor parte de los estudios entrarán en está categoría Alto riesgo • Resultados no descritos como estaba pre-especificado o era esperable • Ej. perdidos, añadidos, subconjuntos, medidas o métodos no esperados • Resultados descritos de forma incompleta por lo que no pueden utilizarse en un metanálisis Ver Sección 8.14 del Cochrane Handbook
- 32. cochrane training Otras fuentes de sesgo • Se requiere una justificación clara de por qué un factor puede ser causa de sesgo • No incluir: • Imprecisión (Ej. tamaño de la muestra pequeño) • Heterogeneidad (Ej. dosis inadecuada, población inusual) • Otras medidas de calidad (Ej. aprobación por el comité de ética, financiación) • Siempre que sea posible, identificar factores importantes en el protocolo • Se pueden añadir filas en la tabla para evaluar factores importantes para todos los estudios
- 33. cochrane training Otras fuentes de sesgo Bajo riesgo • El estudio parece no estar afectado por otras fuentes de sesgo Alto riesgo • Factores ligados a diseño de estudio específicos: • Efecto de arrastre (carry-over) en los ensayos cruzados • Sesgo de reclutamiento en los ensayos aleatorizados por conglomerados (cluster-randomised trials) • Estudios no aleatorios • Desequilibrio inicial entre los grupos • Asignación en bloques en ensayos no cegados • Actividad diagnóstica diferencial • Otros sesgos Ver Sección 8.15 del Cochrane Handbook
- 34. cochrane training Índice • Riesgo de sesgo en las revisiones sistemáticas • Evaluación de las fuentes de sesgo • Llevándolo a la práctica: tablas de “riesgo de sesgo” • Incorporación de los hallazgos en la revisión Ver el Capítulo 8 del Cochrane Handbook
- 35. cochrane training Cómo hacer la evaluación del riesgo de sesgo • Como mínimo dos evaluadores • Asegurar que los evaluadores conocen los métodos • Incluir expertos en contenido y metodólogos • Pilotar en 3-6 estudios para comprobar la consistencia de la evaluación • Definir de antemano cómo resolver los desacuerdos • Buscar la información faltante en la publicación: • Protocolo de estudio • Contactar con los autores
- 36. cochrane training Tablas de ‘Riesgo de sesgo’ • Una tabla para cada estudio incluido • Decisión para cada dominio Bajo riesgo Alto riesgo - considerar el sesgo material, en lugar de cualquier sesgo ? Riesgo poco claro = no se dispone de suficiente información para emitir un juicio claro • Apoyo a la decisión • Se pueden utilizar citas directas del artículo • Comentarios adicionales • Justificar cualquier asunción (ej., “probablemente se realizó correctamente”) • Si no se dispone de información, notificarlo de forma explícita
- 38. cochrane training Índice • Riesgo de sesgo en las revisiones sistemáticas • Evaluación de las fuentes de sesgo • Llevándolo a la práctica: tablas de “riesgo de sesgo” • Incorporación de los hallazgos en la revisión Ver el Capítulo 8 del Cochrane Handbook
- 39. cochrane training Priorizar los dominios para la revisión • Todas las revisiones evalúan todos los dominios, pero puede seleccionar uno o varios como prioritarios para la revisión • Especificarlo en el protocolo • Justificarlo, considerando: • Evidencia empírica del impacto del sesgo • Dirección probable del impacto del sesgo: • Los sesgos probablemente exageran el efecto • En caso que el sesgo subestime el efecto y observemos un efecto relevante, tiene menos importancia • Magnitud probable del impacto del sesgo en relación al efecto observado Ver Cochrane Handbook Secciones 8.5-8.14
- 40. cochrane training Realizar una interpretación global • No intentar resumir todos los resultado y todos los estudios a la vez • Resumir por desenlace • Cada desenlace puede tener su evaluación propia del riesgo de sesgo (ej. cegamiento, datos de resultado incompleto) • No todos los estudios aportan información a cada desenlace • Empezar resumiendo el riesgo de sesgo dentro de cada estudio y luego entre los estudios • No agrupar los estudios de riesgo “poco claro” con los estudios de “bajo riesgo” sin una justificación
- 41. cochrane training Incorporar los hallazgos a la revisión • Hacer siempre una descripción narrativa • Puede que los lectores no la lean • No evalúa el impacto en los resultados • Se puede restringir el análisis principal a los estudios con bajo riesgo de sesgo • Basado en dominios clave elegidos de forma razonada (aunque arbitraria) • Hacer siempre un análisis de sensibilidad • Se puede presentar un análisis estratificado • También podemos explorar el impacto mediante: • Análisis de subgrupos • Meta-regresión – obtener asesoría estadística
- 42. cochrane training Resumen del riesgo de sesgo
- 43. cochrane training Gráfico del riesgo de sesgo
- 44. cochrane training ¿Qué se debe incluir en el protocolo? • Consultar las normas del Grupo Cochrane de Revisión • Breve descripción de la herramienta Cochrane que se utilizará para evaluar el riesgo de sesgo • Listar los dominios • Referenciar el capítulo 8 del Cochrane Handbook • Más de un autor evaluará el riesgo de sesgo • ¿Como se resolverán las discrepancias? • ¿Hay dominios específicos importantes para la revisión? • ¿Cómo se incorporarán los hallazgos al análisis?
- 46. cochrane training Mensaje final • Estudios sesgados pueden conducir a unas conclusiones de la revisión engañosas • Se evaluarán siete dominios de sesgo • Describir detalladamente lo que ocurrió en los estudios y hacer un juicio sobre el riesgo de sesgo • Considerar los posibles efectos de los sesgos y ser cautos a la hora de interpretar los resultados
- 47. cochrane training Referencias • Higgins JPT, Altman DG, Sterne JAC (editors). Chapter 8: Assessing risk of bias in included studies. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Disponible en www.cochrane-handbook.org. Agradecimientos • Compilado por Miranda Cumpston. Basado en los materiales de Cochrane Bias Methods Group and the Australasian Cochrane Centre. Aprobado por the Cochrane Methods Board • Traducido por Anna Selva, Ivan Solà y Jesús López-Alcalde