La implementación de las guías de práctica clínica está limitada por la falta de herramientas que faciliten los procesos de auditoría y retroalimentación a los profesionales de salud. Este estudio evalúa la herramienta automatizada (EXEMED), diseñada para valorar la adherencia a las guías de práctica clínica a partir de la información consignada en las historias clínicas electrónicas.
MétodosEn un grupo de 35 pacientes hospitalizados entre enero y marzo de 2016 se evaluó la adherencia a cinco recomendaciones contenidas en las guías de práctica clínica de falla cardiaca del Hospital Universitario San Ignacio. Se utilizó la herramienta automatizada EXEMED y se evaluó la validez de la misma comparando los resultados con la valoración realizada por una junta médica independiente. Se determinó concordancia entre los dos métodos usando el coeficiente kappa.
ResultadosLa adherencia a las diferentes recomendaciones osciló entre 0% para la determinación del perímetro abdominal al ingreso, hasta 97% para el uso de betabloqueadores al egreso. La proporción de acuerdo entre los dos métodos de evaluación estuvo por encima del 90% para todas las recomendaciones. El kappa para las diferentes recomendaciones fue de 0,78 (IC 95% 0,62-0,95) y 0,64 (0,48-0,80). El tiempo de evaluación se redujo de veinte a dos minutos por paciente con el uso de la herramienta EXEMED.
ConclusionesEXEMED es una herramienta válida y eficiente en la evaluación de la adherencia a las guías de práctica clínica. Se requieren nuevos estudios para evaluar el impacto de su uso asociado a retroalimentación a los clínicos, en la evolución a largo plazo de los pacientes con falla cardiaca.
The implementation of clinical practice guidelines is limited due to the lack of tools to carry out audits and provide feedback to the health professionals. In this study, an evaluation is performed using the automated (EXEMED) tool in order to assess the adherence to clinical practice guidelines from the information entered in the electronic health records.
MethodsThe adherence to 5 recommendations contained in the heart failure clinical practice guidelines was evaluated in a group of 35 patients admitted to the Hospital Universitario San Ignacio between January 2016 and March 2016. The automated EXEMED tool was used to assess this, by comparing the results obtained with the evaluation carried out by an independent medical committee. The kappa coefficient was used to determine the agreement between the two methods.
ResultsThe adherence to the different recommendations varied between 0%, for the determination of the abdominal circumference, up to 97%, for the use of beta-blockers at discharge. Percentage agreement between the two evaluation methods was above 90% for all the recommendations. The kappa for the different recommendations was 0.78 (95% CI; 0.62-0.95) and 0.64 (0.48-0.80). The evaluation time was reduced from 20minutes to 2minutes with the use of the EXEMED tool.
ConclusionsEXEMED is a valid and effective tool in the evaluation of adherence to clinical practice guidelines. Further studies are required to assess the impact of its used associated with feedback to the clinicians, in the long-term outcomes of patients with heart failure.
La elaboración de Guías de Práctica Clínica tiene como objetivo la evaluación, el análisis y la contextualización de la evidencia científica sobre un marco social y de práctica clínica específica para generar recomendaciones que permitan el mejor cuidado disponible, evitando la variabilidad no justificada en la práctica, con recomendaciones sensibles al contexto y en ocasiones, con consideraciones de costoefectividad y análisis de equidad1,2.
A pesar del inmenso esfuerzo que implica el desarrollo de guías de práctica clínica, numerosos estudios demuestran una baja tasa de adherencia a las mismas, tanto para las condiciones crónicas, como para las agudas3. Los estudios que han evaluado diferentes estrategias de diseminación e implementación entre los profesionales de la salud, han demostrado que la diseminación pasiva de materiales educativos es altamente inefectiva, mientras otras estrategias como la auditoría y retroalimentación de los resultados, los recordatorios a partir de historias clínicas electrónicas y los programas con intervenciones múltiples sobre los profesionales de la salud son más efectivas4.
Entendiéndose auditoría y retroalimentación como una estrategia clave para promover la adherencia a las recomendaciones de las guías de práctica clínica, en especial cuando se realiza de forma repetida5, los grupos de investigación ISTAR y enfermedades crónicas del adulto de la Pontificia Universidad Javeriana y el Hospital Universitario San Ignacio desarrollaron una herramienta informática llamada EXEMED®6, la cual permite registrar las recomendaciones de una guía de práctica clínica y evaluar el cumplimiento de las mismas, de manera semi-automática a partir de la información recolectada de las historias clínicas electrónicas.
Luego de los procesos iniciales de ajuste de la herramienta7 se decidió evaluar la validez de la misma determinando la concordancia entre la adherencia a las recomendaciones de la guía de falla cardiaca del Hospital Universitario San Ignacio, definida mediante la herramienta informática EXEMED® y un grupo evaluador independiente con entrenamiento en sistemas de calidad en salud y evaluación de indicadores. Los resultados de esa evaluación se exponen en este estudio.
Materiales y métodosEl desarrollo de la herramienta EXEMED se ha descrito en publicaciones previas6,7. En breve, se trata de una herramienta que permite expresar las recomendaciones contenidas en unas guías de práctica clínica a través de condicionales que pueden ser interpretadas computacionalmente. Un condicional está compuesto por precedente y consecuente. El precedente define el tipo de pacientes sobre los que se debe evaluar una recomendación, delimitando la muestra según algunas características, como momento de la atención, diagnósticos, procedimientos, factores de riesgo, antecedentes. El consecuente expresa la recomendación en sí misma. Por ejemplo, para las guías de práctica clínica de falla cardiaca del Hospital Universitario San Ignacio, el precedente son los pacientes que cumplen con la condición de tener dicho diagnóstico registrado en la historia clínica, que fueron dados de alta para manejo ambulatorio, en tanto que un consecuente sería que al momento del egreso se encuentren en manejo con inhibidores de la enzima convertidora de angiotensina (IECA) o antagonistas de los receptores de angiotensina 2 (ARA-2) (tabla 1).
Indicadores de adherencia a las recomendaciones de la guía de manejo de falla cardiaca del Hospital Universitario San Ignacio
| Recomendación | Indicador de adherencia |
|---|---|
| 1 | Proporción de pacientes con diagnóstico de falla cardiaca que al momento del egreso de la institución se encuentran en manejo con IECA o ARA-2 |
| 2 | Proporción de pacientes con diagnóstico de falla cardiaca que al momento del egreso de la institución se encuentran en manejo con betabloqueador |
| 3 | Proporción de pacientes con diagnóstico de falla cardiaca que al momento del egreso de la institución tienen registro de toma e interpretación del electrocardiograma en la historia clínica |
| 4 | Proporción de pacientes con diagnóstico de falla cardiaca en quienes se registró el peso al ingreso y diariamente durante la hospitalización |
| 5 | Proporción de pacientes con diagnóstico de falla cardiaca en quienes se registró al ingreso el perímetro abdominal. |
Una vez definidas todas las recomendaciones de una guía, expresadas a partir de condicionales, EXEMED procede a evaluar los hechos contenidos en las atenciones de las historias clínicas de los pacientes seleccionados para revisar si se siguieron las recomendaciones descritas. Esta revisión incluye el análisis de la información que está en formato estructurado en la historia clínica, como medicamentos suministrados, diagnósticos, procedimientos, entre otros, así como también la información que está consignada en texto narrativo8, como las notas de evolución y las de enfermería, la epicrisis, entre otras. Todo lo recolectado de la historia clínica de un paciente en un periodo de tiempo específico es procesado mediante técnicas de análisis estructurado, técnicas de procesamiento de lenguaje natural y modelos de análisis supervisados para reconocer cuándo un hecho está asociado de manera afirmativa a un paciente, cuándo está negado sobre un paciente, cuándo está asociado a un familiar como parte de un antecedente o cuándo es una especulación9. A partir de este análisis, EXEMED consolida la evaluación y procede a entregar un porcentaje de cumplimiento sobre cada una de las recomendaciones. Este porcentaje de cumplimiento es calculado considerando el tipo de hecho en donde se detectó el cumplimiento, dándole mayor importancia a los hechos contenidos en hechos estructurados.
La herramienta EXEMED se desarrolló inicialmente teniendo en cuenta los indicadores de adherencia a las guías de práctica clínica institucional del Hospital Universitario San Ignacio, sobre una población de 40 pacientes atendidos entre julio y septiembre de 2015. Para el estudio se realizó una validación de la herramienta sobre un segundo grupo de pacientes, correspondientes a pacientes hospitalizados entre enero y marzo de 2016, seleccionados mediante un muestreo aleatorio simple utilizando una lista de números aleatorios con un equivalente al 10% de pacientes con diagnóstico de egreso de falla cardiaca tomados por CIE-10 (clasificación internacional de enfermedades, 10° versión) código I500 y relacionados (falla cardiaca – insuficiencia cardiaca).
Los indicadores de las guías de práctica clínica evaluados mediante la herramienta EXEMED en este estudio, se presentan en la tabla 1. La adherencia a las guías de práctica clínica fue evaluada inicialmente por un evaluador médico, con experiencia en evaluación de adherencia a guías, utilizando un instrumento de recolección de la información estandarizado, siendo evaluado como positivo cuando la variable evaluada se encontraba presente y diligenciada correctamente en la historia clínica, y como ausente o negativa cuando no se encontraba descrita en la historia clínica o su diligenciamiento era erróneo. Las conclusiones de este evaluador fueron discutidas y revisadas por una junta médica, con la participación de tres especialistas en Cardiología y Medicina Interna quienes definieron si se cumplía el criterio de adherencia a la recomendación de la guía. La evaluación de la adherencia se valoró adicionalmente utilizando el programa EXEMED, de forma independiente, sin incorporar información referente a la decisión de la junta.
Se evaluó la proporción de adherencia a las recomendaciones de la guía. Adicionalmente se evaluó la validez de la herramienta determinando la concordancia entre los dos métodos de valoración mediante el coeficiente kappa10,11, considerando la evaluación por la junta como el estándar de referencia. Se analizaron los resultados con base en la interpretación de este coeficiente según Landis y Koch. Para el análisis de la información se utilizó el paquete estadístico STATA 14.
ResultadosInicialmente, para el análisis se tuvieron en cuenta un total de 38 pacientes, de los cuales 3 fallecieron durante la hospitalización, por lo que no fue posible la evaluación de la adherencia a las recomendaciones de egreso. Finalmente se incluyeron 35 pacientes en el análisis.
De acuerdo con la evaluación de la junta médica, la adherencia a las recomendaciones estuvo entre 0% para la recomendación número 5, que evaluaba el porcentaje de pacientes a quienes se les midió el perímetro abdominal al ingreso, hasta 97,1% para las recomendaciones 1 y 2, que evaluaban la probabilidad de estar recibiendo IECA, ARA-2 o betabloqueadores al momento del egreso. La proporción de adherencia a cada recomendación de acuerdo con la evaluación de la junta médica (estándar de referencia), y la determinada por la herramienta EXEMED se presenta en la tabla 2.
Proporción de adherencia a cada recomendación de acuerdo con la evaluación de la junta médica y la herramienta EXEMED
| Recomendación | Adherencia a la recomendación según junta médica n (%). | Adherencia a la recomendación según EXEMED n(%). |
|---|---|---|
| 1 | 34 (97,1) | 33 (94,3) |
| 2 | 34(97,1) | 36 (97,1) |
| 3 | 25 (71,4) | 26 (74,3) |
| 4 | 2 (5,7) | 4 (11,4) |
| 5 | 0 (0) | 0 (0) |
Evaluación realizada sobre un total de 35 pacientes.
En la tabla 3 se muestra, para cada recomendación, el número de pacientes en que las dos evaluaciones demostraron adherencia (verdaderos positivos), aquellos en que la herramienta consideró que eran adherentes pero la junta decidió que no (falsos positivos), los que eran adherentes pero EXEMED no lo detectó (falsos negativos) y por último el grupo de pacientes en que la herramienta y el estándar de referencia consideraron que no eran adherentes (verdaderos negativos). La proporción de acuerdo entre la evaluación de la junta médica (estándar de referencia) y la determinada por la herramienta EXEMED, definida como la proporción total de pacientes que se encontraron en las casillas de verdaderos positivos y verdaderos negativos, para cada recomendación, se expone en la tabla 3.
Acuerdo entre la herramienta EXEMED y estándar de referencia
| Recomendación | VP | FP | FN | VN | Acuerdo entre junta médica y EXEMED (%) |
|---|---|---|---|---|---|
| 1 | 32 | 1 | 2 | 0 | 91,43% |
| 2 | 33 | 1 | 1 | 0 | 94,29% |
| 3 | 24 | 2 | 1 | 8 | 91,43% |
| 4 | 2 | 2 | 0 | 31 | 94,29% |
| 5 | 0 | 0 | 0 | 35 | 100% |
VP: verdaderos positivos (las dos evaluaciones demostraron adherencia); FP: falsos positivos (la herramienta consideró que eran adherentes pero la junta médica opinó lo contrario); FN: falsos negativos (la herramienta consideró que no eran adherentes y la junta médica que sí); VN: verdaderos negativos (las dos evaluaciones consideraron que no eran adherentes). El acuerdo entre las evaluaciones se determinó sumando el porcentaje de pacientes en las casillas VP y VN.
Para las recomendaciones 3 y 4, donde existía un porcentaje significativo de pacientes en cada una de las casillas, se calculó el índice kappa encontrando una concordancia alta de acuerdo con los criterios de Landis y Koch. El kappa para la recomendación 3 fue de 0,78 (IC 95% 0,62-0,95) y para la recomendación 4 de 0,64 (0,48-0,80).
El tiempo utilizado en promedio por el evaluador manual fue de 20 minutos por paciente, comparado con un tiempo total de una hora para la evaluación de los 38 pacientes por medio de la herramienta EXEMED.
DiscusiónA nivel internacional vienen desarrollándose grandes esfuerzos para publicar guías de práctica clínica de alta calidad que faciliten a los profesionales de la salud encontrar de manera concisa y clara la evidencia disponible en lo concerniente a qué hacer y qué no para el manejo de determinada condición en salud, con el fin de mejorar los estándares de atención identificando las estrategias más adecuadas, seguras y efectivas. En el caso colombiano, el Ministerio de Salud y de la Protección Social (MSPS), desde hace una década inició un proceso activo para el desarrollo de las guías de práctica clínica de las patologías más relevantes, asegurando una excelente calidad metodológica y la participación de pacientes, aseguradores, entes regulatorios, personal asistencial y académicos encargados de la atención integral de los pacientes12; sin embargo, este gran esfuerzo, no se traduce automáticamente en la adopción y uso por parte de los usuarios potenciales de la guía o en los cambios esperados en la calidad asistencial y en la salud de la población objeto de la misma.
Numerosos estudios basados en población demuestran bajo cumplimiento de las recomendaciones contenidas en guías de práctica clínica producidas por prominentes agencias profesionales o gubernamentales, tanto para condiciones agudas como crónicas13. Específicamente, está claramente demostrado que una mayor adherencia a las recomendaciones de manejo de las guías de falla cardiaca se asocia a mejores desenlaces clínicos14,15; no obstante, la proporción de adherencia que se logra a las mismas es menos que óptima16.
Por esta razón y reconociendo las barreras en lo referente a la adopción, implementación y evaluación de las guías, el MSPS generó una guía de recomendaciones específicas2 para realizar este proceso al interior de las instituciones prestadoras de servicios en salud, haciendo énfasis en los procesos de auditoría, monitorización y evaluación. Para valorar el grado de implementación de una guía de práctica clínica al interior de instituciones prestadoras de servicios de salud, es necesario recolectar información sobre la adherencia a los protocolos y a las recomendaciones señaladas en determinada guía de práctica clínica, medida que se toma usualmente a través de indicadores sugeridos por los grupos desarrolladores o solicitados por entes regulatorios. Esta evaluación demanda demasiados recursos humanos y económicos, en especial si se considera que se deben hacer múltiples evaluaciones en diferentes periodos de tiempo a fin de lograr establecer parámetros de comparación antes y después de aplicar medidas correctivas. Como consecuencia no se pueden obtener los datos en tiempo real; situación que se traduce en retraso en la adopción de políticas adecuadas.
Este trabajo presenta los resultados de la utilización de la herramienta EXEMED como método semi-automatizado para la evaluación de la adherencia a las guías de práctica clínica, encontrando un alto grado de acuerdo (superior al 90%) en la estimación de la adherencia a las diferentes recomendaciones de manejo de la guía de falla cardiaca en el Hospital Universitario San Ignacio. De igual forma, se demuestra alta concordancia entre las evaluaciones realizadas por la herramienta informática y la hallada por la junta médica considerada como estándar de referencia, proceso que, además de válido, resultó más eficiente.
La utilización de esta herramienta, de forma repetida en el tiempo, dentro de un proceso que evalúe la adherencia a una recomendación, y la implementación de medidas correctivas con base en los datos obtenidos, como por ejemplo la retroalimentación a los profesionales de la salud, podría favorecer potencialmente el mejoramiento continuo de la atención y redundar en beneficios para los pacientes.
Se necesitan nuevos estudios de validación para evaluar el funcionamiento de la herramienta en otras patologías, así como para determinar el impacto de auditoría y retroalimentación de los profesionales de la salud en la proporción de adherencia a las guías, o incluso en desenlaces más duros como periodos de sobrevida o calidad de vida.
En conclusión, la herramienta automatizada EXEMED es válida y eficiente para la evaluación de la adherencia a las guías de práctica clínica a partir de la información contenida en las historias clínicas electrónicas. Se requieren nuevos estudios para evaluar el impacto del uso de dicha herramienta en conjunto con medidas de retroalimentación y mejoramiento continuo en la evolución a largo plazo de los pacientes con falla cardiaca.
FinanciaciónHospital Universitario San Ignacio y Pontificia Universidad Javeriana.
Conflicto de interesesNinguno.