Metodo de comparacion2011
- 1. Pedro Cortes Alfaro Tecnólogo Medico Magister en Administración en Salud Aseguramiento de la Calidad en el Lab. Clínico: Control de Calidad Externo (CCE)
- 2. Composición de un dato de laboratorio Variabilidad Pre-analítica Valor (estimada como irrelevante) Resultado de la muestra verdadero Variabilidad analítica (imprecisión analítica total) Bias Analítico Variabilidad Biológica Intrínseca (una constante) VARIABILIDAD TOTAL Variabilidad Analítica + Bias Analítico = ERROR TOTAL (imprecisión analítica total)
- 3. CCI ASEGURAMIENTO DE LA Material Control CALIDAD FASE ANALÍTICA Corrida Analítica Material CCE Gráficas Levey-Jennings Control con Material Reglas de Westgard trazabilidad Control Si Error Total - Cartas OPSpecs – Cumple Nº Sigma - ΔSEcrit (inexactitud e imprecisión del método) No No Si Aseguramiento Acciones Preventivas de la calidad de Cumple Resultados/ y Correctivas procedimiento
- 5. ERROR (de una medida) Error Error sistemático aleatorio Error sistemático Error sistemático conocido desconocido corrección Error remanente RESULTADO incertidumbre R + U (R)
- 6. Error originado por causas aleatorias o fortuitas y probablemente no corregibles ERROR ALEATORIO Límite de alarma superior unidades 130 Límite de precaución superior 120 110 100 media 90 80 70 60 1 3 5 7 9 11 13 15 17 19 Tiempo: dias: fechas Límite de precaución inferior Límite de alarma inferior
- 7. Error Total Máximo: es el máximo error aceptable a un determinado nivel de concentración. Error Sistemático (ES) = x – “VV” “VV” x Error Aleatorio (EA) = 3 x S(n-1) Error Total Máximo = ES + EA
- 8. ERROR SISTEMÁTICO • Diferencia entre valor medio y valor verdadero. • Es el mismo para todas las medidas repetidas. • Depende de la veracidad del procedimiento de medida. • Causas del error sistemático: • Calibración incorrecta: afecta a todas las muestras. Debe ser evitado o corregido. • Inespecificidad (metrológica): afecta a las muestras • que contengan alguna interferencia. Debe prevenirse. Si se utiliza un procedimiento de medida muy específico y adecuadamente calibrado, los resultados están libres de error sistemático.
- 9. Callum G. Fraser: BIOLOGICAL VARIATION: FROM PRINCIPLES TO PRACTICE Error Total(TE) puede ser calculado de diferentes formas. La manera mas usual es agregando el bias (sesgo) y precision “linealidad”. TE = bias + 2SD ( or CV) TE = bias + 3SD ( or CV) TE = bias + 4SD ( or CV) TEa= bias + 1,65 SD ( or CV) TEa= BA + 1,65 CVA
- 10. valor verdadero medida b medida a probabilidad error aleatorio error sistemático 80 90 100 110 120 resultado medición -15 0 tamaño error sistemático
- 11. TIPOS DE ERRORES valor verdadero medida probabilidad error aleatorio error sistemático error de medida 80 90 100 110 120 imprecisión error máximo de medida
- 12. DESPLAZAMIENTO DE LA CONDICION ESTABLE -4 -3 -2 -1 0 +1 +2 +3 +4 +5 +6 s
- 13. ESTIMACIÓN DEL ERROR SISTEMÁTICO Valor valor verdadero convencional verdadero asignado a materiales comprar MRC referencia certificados obtenido en muestras con comparar procedimientos procedimientos de veracidad conocida Valor de consenso en participar en EQAS comparación interlaboratorios
- 14. CONTROL DE CALIDAD EXTERNO método externo para validación del desempeño en cuanto a exactitud de un laboratorio, mediante la evaluación de muestras ciegas y la comparación de sus resultados con todos los laboratorios participantes.
- 15. ESTIMACIÓN DEL ERROR EN EQAS Diferencia respecto a un valor verdadero convencional – Mensurandos con valor independiente del método: valor de la media global (u otro vvc). Los valores de referencia son independientes del método. – Mensurandos con valor dependiente del método: valor de la media del método (u otro vvc). Enzimas, muchos inmunoanálisis. Los valores de referencia son dependientes del método.
- 16. EXPRESIÓN DEL ERROR EN EQAS • error absoluto = resultado lab - valor verdadero • error relativo (%) = 100 x error absoluto / valor verdadero – útil para comparar con el requisito de exactitud o con la incertidumbre o con otros mensurandos • error relativo (s) = SDI = error absoluto / sgrupo – útil para comparar con otros laboratorios
- 17. Bias: “Modelos de Estimación” ¿De que forma podemos estimar el Bias de nuestros métodos? 1)- Comparación de Métodos. 2)- Esquemas Interlaboratorio o Peer Group. 3)- Control de Calidad Externo. - Regresión - T test 4)- Estudios de Recuperación, verificación de la veracidad . 5)- Otros.
- 18. Bias: “Comparación de Métodos” Los estudios de comparación de métodos se llevan a cabo a efectos de determinar el error sistemático del ensayo (cantidad) que está siendo evaluado. Se realizan analizando muestras con el nuevo método y un método de comparación. Sobre la base de las diferencias observadas entre los dos métodos se calcula el error sistemático. Las diferencias observadas se analizan en los distintos niveles de decisión médica de la cantidad (analito) en cuestión, para juzgar sobre la aceptabilidad del método. Brindan información importante sobre la naturaleza del error (sistemático o constante).
- 19. Bias: “Comparación de Métodos” Objetivo “El propósito fundamental de los estudios de comparación de métodos es determinar si dos métodos son estadísticamente comparables” Para que esto sea cierto se deben dar tres condiciones: 1- La pendiente no debe ser significativamente diferente de 1. 2- La intersección no debe ser significativamente diferente de 0. 3- No debe existir diferencia significativa en los niveles de decisión médica.
- 20. Bias: “Comparación de Métodos” Factores a Considerar 1)- Método de Comparación. 2)- Número de muestras a analizar. 3)- Corrida Simple Vs. Duplicados. 4)- Duración del estudio. 5)- Estabilidad de las muestras.
- 21. Bias: “Comparación de Métodos” Método de Comparación -Se habla de método de comparación. -Debería seleccionarse un método de referencia para asegurar la veracidad de los resultados que genera. -Si el método de comparación es un método de referencia, las diferencias encontradas son asignadas al método en estudio. -Al momento de interpretar los resultados es muy importante saber cual es la referencia que estamos empleando. - Conceptos relacionados : “Trazabilidad”; “Método Definitivo o de Referencia”
- 22. Bias: “Comparación de Métodos” Número de muestras a analizar -Deben seleccionarse entre 20 y 40 muestras de pacientes, de manera tal que se cubra el rango de trabajo del ensayo en estudio. -La calidad de las muestras seleccionadas es más importante que la cantidad. - Factor crítico: “Distribución de las muestras”.
- 23. Bias: “Comparación de Métodos” Corrida Simple Vs. Duplicados -Los duplicados brindan una verificación sobre la validez de las mediciones. -Incrementan costos. - Si no se trabaja con duplicados se deben verificar los pares de datos al momento que son obtenidos.
- 24. Bias: “Comparación de Métodos” Duración del estudio -Mínimo 5 días. -Optimo 20 días. -2 a 5 muestras por día.
- 25. Bias: “Comparación de Métodos” Estabilidad de las muestras -Genéricamente se recomienda no dejar pasar más de 2 horas para procesar las muestras por ambos métodos. -La estabilidad del analito en la muestra puede ser una limitante. - Ejemplos: Bicarbonato, lactato, amonio, gases en sangre.
- 26. Bias: “Comparación de Métodos” Interpretación de resultados Existen 4 razones o motivos por los cuales se realizan estudios de comparación entre métodos: -Clínico -Analítico -Investigación -Armonización
- 27. Bias: “Comparación de Métodos” Interpretación de resultados Sensibilidad de parámetros estadísticos de tres clases de error Random Proporcional Constante Slope No Si No Intercept No No Si Std. Err. Est. Si No No Bias No Si Si Std. Dev. Diff. Si Si Si T Test Si Si Si Corr. Coef, (R) Si No No Med. Dec. Pt. No No No Predicted Bias No Si Si 95% Confs. Si Si SI Limit
- 28. Bias: “Comparación de Métodos” Interpretación de resultados Std. Err. Est. (SEE) -Describe la dispersión de los puntos x,y alrededor de la línea de tendencia central. -Cuanto más chico sea el SEE mejor correlacionan los métodos. - Si el desvío estándar de ambos métodos es idéntico, el SEE será aproximadamente 1,4 veces el desvío estándar típico.
- 29. Bias: “Comparación de Métodos” Interpretación de resultados Std. Err. Est. (SEE) valores observados constante proporcional valores verdaderos
- 30. Bias: “Comparación de Métodos” Análisis Gráfico Es inicialmente útil para detectar outliers. Para los métodos que supuestamente tienen un grado de acuerdo importante se utiliza el “Difference plot”. Permite identificar outliers Permite visualizar errores www.westgard.com
- 31. Bias: “Comparación de Métodos” Análisis Gráfico Asociado Permite identificar outliers Verificar la calidad de las muestras Respuesta lineal en el rango analítico Acuerdo entre los métodos www.westgard.com
- 32. Bias: “Comparación de Métodos” Diferentes modelos de regresión: Regresión lineal Regresión de Deming Passing-Bablok
- 33. Bias: “Comparación de Métodos” Interpretación de resultados -Ambos modelos funcionan minimizando la suma de los cuadrados de los residuales. -La regresión regular asume para hacerlo que le método de comparación es exacto. -Angulo definido por el cociente de los errores relativos de los 2 métodos.
- 34. Bias: “Comparación de Métodos” Interpretación de resultados Passing Bablok - Es una aproximación diferente. - Calcula las pendientes de cada uno de los pares de puntos. -Descarta las pendientes horizontales y verticales y estima -la media del resto. - Descarta outliers.
- 35. Bias: “Comparación de Métodos” Coeficiente de correlación (r) “Describe el ancho relativo de la elipse que engloba los puntos de la serie de datos.” - Es sensible al error aleatorio, al rango de datos y al signo de la pendiente. - Mide el grado de asociación entre dos variables.
- 36. Bias: “Comparación de Métodos” Interpretación de resultados ¿Cómo estimar el Bias en unidades de concentración y porcentaje a partir de la ecuación de la recta obtenida del estudio de comparación de métodos? Pendiente: 1,0377 (m) Intercepto: 5,37 (b) Ecuación de la recta: Y = m * X + b Y = pendiente * X + Intercepto Y = 1,0377 * X + 5,37 X : Concentración a la cual se va a evaluar el bias Debería representar un nivel de decisión médica
- 37. Bias: “Comparación de Métodos” Interpretación de resultados Y = 1,0377 x X + 5,37 Lo que quiero saber es: - Para una muestra que tenga un valor verdadero de “X” que valor voy a obtener yo de acuerdo al Bias de mi método . - X = 100 mg/dl - Y = 1,0377 x 100 + 5,37 -Y = 109,1mg/dl - Para una muestra con un valor verdadero de 100 mg/dl con mi método yo obtendría un valor de 109,1 mg/dl.
- 38. Bias: “Comparación de Métodos” Interpretación de resultados X = 100 mg/dl (valor verdadero) Y = 109,1 mg/dl (valor obtenido) ¿Cuál es el Bias en unidades de concentración? Bias = Valor Obtenido – Valor Verdadero Bias = 109,1 – 100 = 9,1 mg/dl
- 39. Bias: “Comparación de Métodos” Interpretación de resultados X = 100 mg/dl (valor verdadero) Y = 109,1 mg/dl (valor obtenido) ¿Cuál es el Bias en porcentaje? Bias = Valor Obtenido – Valor Verdadero x 1oo Valor Verdadero Bias = 109,1 – 100 x 1oo 100 Bias = 9,1 %
- 40. Bias: “Comparación de Métodos” Cada punto representa una muestra medida con dos procedimientos. La línea roja es la recta de regresión y la negra indica la igualdad x=y A Resultados idénticos B Error sistemático constante positivo
- 41. Cada punto representa una muestra medida con dos procedimientos. La línea roja es la recta de regresión y la negra indica la igualdad x=y C Error sistemático proporcional D Error mixto
- 42. Bias: “Esquemas Interlaboratorio” Interpretación de resultados “Los esquemas interlaboratorio brindan una información muy útil para la estimación del Bias” Puntos críticos: -Contra que me comparo. -Valor verdadero. -Trazabilidad. -Tamaño del grupo de comparación. -Niveles de decisión médica evaluados.
- 43. Bias: “Esquemas Interlaboratorio” Evaluemos Nivel 1: Supongamos valor verdadero: Media grupo par Lab: 40,07 Media grupo par: 39,05 Bias: ( 40,07 - 39,05) = 1,02 Bias %: (1,02 / 39,05)*100= 2,61
- 44. Bias: “Esquemas Interlaboratorio” Evaluemos Nivel 1: Supongamos valor verdadero: Media Acumulada del laboratorio Lab: 40,07 Media acum. Lab.: 40,08 Bias: ( 40,07 - 40,08) = -0,01 Bias %: (0,01 / 40,08)*100= 0,02
- 45. Bias: “Esquemas Interlaboratorio” Evaluemos Nivel 1: Supongamos valor verdadero: Media del Método Lab: 40,07 Media del Método: 37,72 Bias: ( 40,07 - 37,72) = 2,35 Bias %: (2,35 / 37,72)*100= 6,2
- 46. Bias: “Esquemas Interlaboratorio” Evaluemos Nivel 2: Supongamos valor verdadero: Media grupo par Lab: 185,6 Media grupo par: 188,1 Bias: ( 185,6 – 188,1) = -2,5 Bias %: (2,5 / 188,1)*100= 1,3
- 47. Bias: “Esquemas Interlaboratorio” Evaluemos Nivel 2: Supongamos valor verdadero: Media Acumulada del laboratorio Lab: 185,6 Media acum. Lab.: 186,4 Bias: ( 185,6 - 186,4) = -0,8 Bias %: (0,8 / 186,4)*100= 0,4
- 48. Bias: “Esquemas Interlaboratorio” Evaluemos Nivel 2: Supongamos valor verdadero: Media del Método Lab: 185,6 Media del Método: 188,1 Bias: ( 185,6 – 188,1) = -2,5 Bias %: (2,5 / 188,1)*100= 1,3
- 49. Criterios de Evaluación Programas de Evaluación externa %sesgo - %BIAS - DRP SDI – IDE - Puntaje-Z X-X X-X * 100 X S SRZ n Zi SRZ i 1 n SRZ (promedio últimos 6 Puntaje-Z, últimas muestras)
- 50. ERROR TOTAL (Competencia) En Términos de Error Total permitido: Probabilidad Unidirection Bidereccion (%) al z - Score al Z- Score ET %SESGO 1.65%CV 99 2,33 2,58 98 2,05 2,33 97 1,88 2,17 Inexactitud Imprecisión 96 1,75 2,05 95 1,65 1,96 90 1,28 1,65 85 1,04 1,44
- 51. Criterios de aceptabilidad de los resultados de los PEEC ERROR TOLERABLE MAXIMO, ETM Establece un intervalo de variación aceptable alrededor del valor asignado. En la práctica, dicho valor asignado tiene que ser igual o cercano a la concentración crítica para el analito -ETM X=A +ETM
- 52. Criterios para determinar el ETM CRITERIO DE TONKS 1963 Establece un error de tolerancia máximo (ETM) para cada constituyente, considerando el intervalo de referencia (IR) o valor de referencia para éste, y se calcula de la fórmula siguiente: ETM = (0.25*IR/valor medio del IR)*100 Ejemplo, para glucosa: IR = 80 a 120 = 40 valor medio del IR = (80 + 120)/2 = 100, luego ETM =(0.25 * 40/100) * 100 = 10 % luego el D.R.P. aceptable para glucosa es entre - 10 % a + 10 %
- 53. xi xm DRP 100 xm Xm D.R.P.(-) D.R.P.(+) D.R.P. Desvio Relativo Porcentual: mide en % la diferencia entre el valor informado por el laboratorio para cada constituyente sérico (xi) y el valor promedio del método analítico (xm) obtenido por consenso.
- 54. ENFOQUES DE CALIDAD ERROR TOTAL CALIDAD ANALÍTICA CALIDAD CLÍNICA CONVENCIONAL PLANIFICADA PLANIFICADA IMPRECISIÓN FACTORES IMPRECISIÓN ESTABLE PREANALÍTICOS ESTABLE INEXACTITUD IMPRECISIÓN ESTABLE ESTABLE INEXACTITUD MARGEN DE CC INEXACTITUD ESTABLE SEGURO ESTABLE Misma base de fondo, diferentes costos MARGEN DE CC SEGURO Distinta base de fondo, diferentes costos
- 55. Grafico de Precisión . . . . .. ... . .... . . ... . . .. . .. . . . . Precisa y Imprecisa Precisa e Imprecisa Exacta Y exacta Inexacta E Inexacta
- 56. Ejemplos de Precisión Control Interno y Externo Solo Control Interno .. ... 95. . . 95. .. . . PRECISO Y EXACTO PRECISO E INEXACTO
- 57. Bias: “Verificación de Veracidad” Recuperación
- 58. Desempeño del Método Premisa: “Establecer los Requisitos de Calidad” Conocemos el desempeño de nuestros métodos en condiciones estables a partir de la verificaciones y validaciones analíticas de métodos. Una vez conocido el método como aceptable (cumple con nuestro requisitos de calidad), trabajamos con control de calidad para asegurarnos que el método permanece estable en función del tiempo. Operando correctamente los datos de desempeño analítico del método obtenidos de las corridas de los controles (esquemas interlaboratorio), junto con los requisitos de calidad podemos seguir cual es el comportamiento del método de acuerdo a nuestras expectativas.
- 59. Desempeño del Método Los errores calculados son: - Error Aleatorio: A partir de los protocolos de Precisión Simple y Compleja. SD y CV - Error Sistemático: A partir del protocolo de Comparación de Métodos. Y = Pendiente * X + Intersección De la combinación de conceptos y errores surge la decisión acerca de la aceptabilidad del método en estudio. Existen varios modelos para esta combinación. Los más apropiados son: 1-Method Desicion Chart 2-Six Sigma
- 60. Desempeño del Método Method Desicion Chart - Recomendaciones para combinación de errores: • bias + 2SD < TEa • bias + 3SD < TEa • bias + 4SD < TEa - A partir de los protocolos de evaluación obtenemos los siguientes datos: BIAS CV - BIAS y CV se calculan en concentraciones consideradas niveles de decisión médica.
- 61. Desempeño del Método El TE a debe expresarse en porcentaje. Si TE a está expresado en concentración, debe transformarse en porcentaje considerando el nivel de decisión médica seleccionado: TE a: 1 mg/dl (Calcio) Nivel de decisión médica: 11 mg/dl TE a%: (1/11)*100 = 9.1 % TE a: 0.5 mEq/l (Potasio) Nivel de decisión médica: 3.0 mEq/l TE a%: (0.5/3.0)*100 = 16.7 %
- 62. Desempeño del Método Crear el gráfico: - Rotular el eje Y como Inexactitud permitida ( BIAS %) y establecer una escala de 0 a TE a%. - Rotular el eje X como Imprecisión permitida ( CV %) y establecer una escala de 0 a TE a.0.5 (la mitad) - Dibujar la línea bias + 2SD uniendo el TE a en el eje Y con el TE a.0.5 en el eje X. - Dibujar la línea bias + 3SD uniendo el TE a en el eje Y con el TE a.0.33 en el eje X. - Dibujar la línea bias + 4SD uniendo TE a en el eje Y con el TE a.0.25 en el eje X. - Rotular las zonas ( de derecha a izquierda) como Pobre, Marginal, Bueno y Excelente.
- 65. Desempeño del Método Pobre: El método no cumple con los requerimientos de calidad, ni siquiera trabajando en condiciones de base, por lo tanto, es inapropiado para ser empleado como método de rutina. Marginal: El método provee la calidad requerida solo bajo condiciones muy controladas. Será difícil trabajarlo como método de rutina y debe establecerse una estrategia de calidad total.(entrenamiento de operadores, QC exhaustivo, plan de mantenimiento frecuente, control de resultados). Bueno: Cumple con los requerimientos de calidad y puede ser empleado en forma rutinaria con un QC planificado.(multiregla o N:4) Excelente: Cumple con los requerimientos de calidad y es fácil de manejar con un QC mínimo.