Evaluación de la calidad de los denominados «protocolos clínicos» de atención primaria elaborados en la Comunidad Autónoma de Murcia

Objetivo. Evaluar la calidad del diseño (estructural) de los protocolos clínicos elaborados en la Región de Murcia.

Diseño. De evaluación descriptiva. Retrospectivo, en un período de 8 años.

Emplazamiento. Atención primaria de salud.

Participantes. Los profesionales de los 31 centros de salud (CS) de la región de Murcia con actividades protocolizadas.

Mediciones y resultados principales. Son objeto del estudio los 519 documentos elaborados de enero de 1985 a enero de 1994, de los cuales se obtuvieron 470. Agrupación de los mismos. Se elaboran 11 criterios de calidad de diseño de los protocolos en función de la bibliografía y una experiencia anterior. Valoración de la fiabilidad interobservador de esos criterios, desechándose dos de ellos. Se procede a la evaluación de la calidad del diseño de los protocolos, utilizando tasas de cumplimiento de los 9 criterios normativos y explícitos previamente validados.

Se ajustan a la definición aceptada de protocolo un 55,1% (259) de los documentos. El 42,3% (199) tiene sistema de registro. Un 20,2% (95) tiene prevista su evaluación. El 41,7% (196) presenta algún algoritmo. Un 38,1% (179) cuenta con hoja de anamnesis y/o exploración. El 88,9% (418) tiene una extensión menor de 20 hojas. Sólo un 11,9% (56) presenta índice. El 57,7% (271) no posee defectos formales de escritura y legibilidad. Y sólo un 14,7% (69) aporta bibliografía. Así, únicamente 3 de los 9 criterios se cumplen en más del 50% de los casos, mientras que otros 3 lo hacen en menos del 30%. En conjunto los protocolos clínicos presentan 2.488 defectos, con una media por protocolo de 5,29.

Conclusiones. La calidad formal de los protocolos clínicos de atención primaria elaborados en la Comunidad Autónoma de la Región de Murcia es muy baja. Son precisas medidas correctoras para mejorar esta situación.

Objective. To evaluate the quality of the design (structural) of the clinical protocols worked out in the Murcia Region.

Design. Descriptive evaluation. Retrospective, over 8 years.

Setting. Primary health care.

Participants. The professionals from the 31 health centres in the Murcia Region with activities covered by protocols.

Measurements and main results. The 519 documents written between January 1985 and January 1994, of which 470 were obtained and classified, were the object of the study. 11 criteria for the design quality of the protocols were worked out, based on the bibliography and a previous experiment. The inter-observer reliability of these criteria were assessed and two of them were rejected. Then the quality of the protocols´ design was evaluated through rates of compliance with the 9 standard and previously validated explicit criteria. 55.1% (259) of the documents fitted the accepted definition of protocol. 42.3% (199) had a recording system. 20.2% (95) had foreseen their evaluation. 41.7% (196) had some algorithm. 38.1% (179) had an anamnesis and/or examination page. 88.9% (418) were under 20 pages. Only 11.9% (56) had an index. 57.7% (271) had no formal defects of hand-writing or legibility. Only 14.7% (69) had a bibliography. Only three of the nine criteria were satisfied in over 50% of cases; three more, in under 30%. Overall, the clinical protocols had 2488 defects, with an average per protocol of 5.29.

Conclusions. The formal quality of the primary care clinical protocols worked out in the Autonomous Community of Murcia is very low. Corrective measures to improve this situation should be taken.  

Introducción

Al igual que otras instituciones, la sanitaria, como empresa de servicios, requiere de la medición, la evaluación y las mejoras oportunas de las actividades que en ella se realizan, con el fin de asegurar la ejecución de los planes y garantizar la calidad del producto que se oferta a la población. La gestión de la calidad, como parte integrada del proceso de atención en APS, incluye entre sus actividades evaluar la actuación del profesional en los tres niveles clásicos de estructura, proceso y resultados, que a su vez pueden servir de base a una posterior reevaluación tras poner en marcha las medidas correctoras oportunas y completar así el llamado «ciclo evaluativo o ciclo de mejora de la calidad»^1-3.

La importancia del diseño y de la prevención de los problemas de calidad, planificándola, ocupan un lugar prominente en el modelo de garantía de calidad industrial^4-6, y es desde hace unos años un componente necesario de los programas de calidad de los servicios de salud⁷, incorporándose a ellos con gran fuerza.

Entre las distintas técnicas de trabajo utilizadas por los clínicos, la protocolización de la forma de actuar frente a determinadas patologías quizás sea una de las más conocidas y utilizadas; es la forma más genuina de diseñar la calidad de la atención médica, constituyendo además una de las actividades que todo equipo de atención primaria debe desarrollar⁸, un objetivo de algunos programas docentes de posgrado⁹, y además la elaboración de protocolos de buena práctica médica constituye una de las actividades más potenciadas internacionalmente como parte de los programas de gestión de la calidad asistencial^7,10-14.

A todo lo anterior hay que añadir las nuevas orientaciones, ya iniciadas hace algún tiempo, del Sistema Nacional de Salud, donde la «cartera de servicios»¹⁵, las «normas técnicas mínimas»¹⁶, la protocolización y la garantía de la calidad asistencial ocupan un lugar preferente^17,18.

Los protocolos clínicos, llamados también guías para la práctica clínica (clinical practice guidelines), son una parte esencial del proceso de mejora de la calidad clínica^19-22, lo que está contribuyendo a que la investigación sobre protocolos clínicos sea un campo de primer orden^23-26.

Sin embargo, a pesar de ser una importante herramienta de trabajo y un elemento clave para la evaluación y mejora de la calidad asistencial, puede que en nuestro país no se les haya prestado la atención que merecen.

Los protocolos clínicos son herramientas que facilitan la toma de decisiones al médico, le ayudan a luchar contra la incertidumbre y a disminuir la variabilidad de la práctica clínica; pero para que esto sea posible es necesario que dicho instrumento técnico tenga una mínima calidad formal en cuanto a su diseño, es decir con una estructura válida, para que los resultados obtenidos tras su aplicación sean evaluables. Una mala herramienta puede inducir a no utilizarla, o a invalidar los resultados clínicos con ella obtenidos cuando se use.

En la Comunidad Autónoma de Murcia (CAM) se vienen elaborando protocolos clínicos en atención primaria desde hace tiempo, sobre todo en los centros de salud. Dentro de una línea de investigación de nuestro grupo de trabajo sobre el tema^27-33, y tras describir previamente los protocolos elaborados en la CAM (resultados pendientes de publicación), en el presente trabajo hemos evaluado la calidad estructural de los protocolos clínicos elaborados en nuestra comunidad autónoma. Se detallan aquí los datos definitivos de la segunda parte de un estudio más amplio.

Material y método

A partir de una investigación previa²⁸ sobre la calidad del diseño de los protocolos clínicos, que puso en evidencia su baja calidad (en la evaluación inicial), y partiendo de la hipótesis de que la calidad formal de los protocolos elaborados en el ámbito regional debería ser también baja (identificación del problema), el grupo de investigación diseñó un estudio retrospectivo para los protocolos elaborados en la CAM de enero de 1985 a enero de 1994, dentro de un proyecto más amplio que pretendía introducir medidas correctoras en los centros de salud participantes que lo solicitaran voluntariamente.

Después se procedió a la recogida de todos los documentos de los protocolos existentes a partir de una búsqueda exhaustiva en los registros regionales existentes en la Consejería de Sanidad y las gerencias de atención primaria, además de los registrados en una encuesta telefónica realizada a los coordinadores de EAP, y en muchos casos acudiendo directamente a varios de los 31 centros de salud que contaban con protocolos del total de los 39 centros (y ambulatorios) existentes en ese momento. La metodología utilizada para diseñar el estudio de evaluación se basa en la propuesta utilizada por R.H. Palmer¹ y adoptada por el Programa Ibérico².

Elaboración de criterios y diseño del estudio de la calidad de los protocolos

Se ha realizado basándose en la bibliografía más representativa en ese momento en nuestro medio^1,2,34-41 y los resultados de la experiencia previa²⁸, estableciendo 11 criterios de calidad estructural para los protocolos.

Para validar estos criterios, todos los evaluadores (7 personas) han valorado, de manera simultánea en el tiempo pero sin comunicarse entre ellos, los mismos 30 protocolos, elegidos de manera aleatoria y sistemática de entre los 470 documentos conseguidos. Para determinar la concordancia interobservador de los criterios de evaluación, se han utilizado los siguientes índices: índice Kappa para concordancia interobservador, con un valor de IC del 95%, la concordancia global de los 7 observadores simultáneamente y la concordancia media comparando las 27 parejas posibles de evaluadores. Se tomó como aceptable un Kappa superior a 0,4.

Tras realizar la valoración de dichos criterios, se eliminaron dos de ellos: el criterio «que adopten un modelo estándar para su elaboración», y el criterio «que siga una secuencia lógica en el tiempo», quedando los 11 criterios iniciales reducidos a 9, que son los siguientes:

 

­ Criterio n.º 1. Cumplir todas las características de la definición de protocolo, aceptándose como definición del mismo la más prevalente en aquellos momentos en el ámbito de la AP⁴⁰.

­ Criterio n.º 2. Que exista un mecanismo de registro de datos.

­ Criterio n.º 3. Que exista un mecanismo de evaluación de la calidad de los protocolos, al menos desde el punto de vista de la estructura.

­ Criterio n.º 4. Que cada protocolo contenga al menos un algoritmo.

­ Criterio n.º 5. Que exista una hoja de anamnesis y/o exploración.

­ Criterio n.º 6. La extensión será de un máximo de 20 hojas.

­ Criterio n.º 7. Todos los protocolos tendrán un índice paginado.

­ Criterio n.º 8. Ausencia de defectos formales, referentes a la legibilidad de las copias y numeración de las hojas.

­ Criterio n.º 9. Se incluirá bibliografía referente al tema.

 

A partir del cumplimiento o no de los criterios, hemos introducido, respectivamente, las variables «cumplimientos» y «defectos». Al dividir en cada caso el número de cumplimientos por el número total de criterios, obtenemos una nueva variable, que es la «ratio de cumplimiento».

El resto de los componentes del diseño de nuestro estudio han sido los siguientes:

 

­ Dimensión estudiada: la estructura del diseño de los protocolos.

­ Unidades de estudio: cada uno de los protocolos clínicos elaborados de 1985 a 1994.

­ Criterios de inclusión: todos los documentos clínicos denominados protocolos por sus autores (incluyendo la palabra en el título del documento), de cualquier tipo, elaborados en las fechas indicadas.

­ Criterios de exclusión: no tener acceso por cualquier motivo a los documentos.

­ Identificación y muestreo de los casos: base institucional. Todos los protocolos censados.

­ Relación temporal de la evaluación con la acción evaluada: retrospectiva.

­ Tipo de datos: de estructura.

­ Fuente de datos: para la identificación, los registros regionales o de los centros de salud. Para la revisión de los casos, todos los documentos elaborados hasta ese momento.

­ Tipo de revisión: externa.

­ Tipos de criterios: normativos y explícitos.

 

La información obtenida se presenta en frecuencias absolutas y porcentajes. Los datos de incumplimiento de criterios se analizan con diagrama de Pareto⁴², para evidenciar cuáles son los criterios mayoritariamente responsables de los fallos de calidad encontrados.

Se ha utilizado el paquete estadístico EPI-INFO.

Resultados

Hemos detectado 519 protocolos clínicos elaborados de enero de 1985 a enero de 1994, de los que se ha podido obtener 470, con una pérdida de 49 (un 10,4% del total). Las pérdidas corresponden a los documentos que no se han encontrado (no se han podido conseguir físicamente) en los archivos correspondientes o en los centros de salud, a pesar de figurar en alguno de los registros mencionados. Sin embargo, en algunos centros se han hallado más protocolos de los oficialmente censados.

Fiabilidad de los criterios, concordancia interobservador

Los criterios de calidad estructural de los protocolos del estudio inicial referido a un solo centro de salud, y cuyos datos fueron recogidos por un solo observador, no precisaron un proceso de valoración de la fiabilidad interobservador²⁸. Proceso que sí ha sido necesario para este estudio de ámbito regional, ya que en él han intervenido 7 evaluadores (miembros del grupo de investigación), a pesar de que han sido previamente entrenados para realizar dicha evaluación, desechándose el criterio «seguir un modelo estándar de elaboración» por tener una fiabilidad marginal y por no ser además un criterio objetivo, sino que depende del consenso previo. El criterio «seguir una secuencia lógica en el tiempo» se descartó por no ser fiable al tener unos valores muy bajos de Kappa (< 0,4) y valores bajos de los otros 2 índices (tabla 1).

Evaluación de la calidad formal de los protocolos clínicos

Tras la evaluación de los documentos, sólo 4 de los 470 (un 0,9% del total) cumplen con todas las características que debe reunir un protocolo; no hay ningún criterio que se cumpla en todos los protocolos, y tres de los protocolos (0,6% del total) no cumplían ningún criterio.

El número de protocolos que cumplen cada uno de los criterios de manera individualizada se detalla en la tabla 2. La mayoría de criterios se cumplían en menos de un 50% de los casos. Los criterios «tener índice paginado» y «tener bibliografía» se cumplían en menos del 15%, y sólo los criterios «ajustarse a la definición», «tener una extensión menor a 20 hojas» y «no tener defectos de forma y legibilidad» se cumplían en más del 50% (tabla 2).

La media de defectos (criterios no cumplidos) por protocolo fue de 5,29, cifra elevada puesto que el máximo de defectos posibles es de 9.

El número de defectos que corresponden a cada uno de los criterios se recogen igualmente en la tabla 2. En total se contabilizaron 2.488 defectos (sobre un máximo posible de 4.230). Según el porcentaje que supone cada defecto sobre el total de defectos encontrados (tabla 3, fig. 1 - gráfico de Pareto), vemos que el mayor peso se lo lleva el incumplimiento de los criterios «tener índice paginado», «tener bibliografía» y «tener previsto un sistema de evaluación», ya que entre estos 3 criterios suponen cerca del 50% del total de defectos encontrados.

La inexistencia de índice paginado fue el defecto más frecuentemente detectado.

La media de defectos por protocolo según el año de acreditación de los documentos no disminuye con el paso del tiempo (tabla 3).

Discusión

Se detalla en este trabajo la experiencia de evaluación de la calidad del diseño de los protocolos clínicos elaborados por los equipos de atención primaria de la región de Murcia a lo largo de 8 años. El objetivo que se pretendía creemos que se ha cumplido.

Se ha aplicado una metodología ya evaluada y validada^1,2, que ha demostrado su utilidad en APS, lo que justifica su validez externa y su reproducibilidad.

La validez interna depende de la elección de los criterios de calidad basados en la bibliografía, que pensamos que eran adecuados en ese momento, y del proceso realizado para asegurarnos su fiabilidad.

Hemos evaluado la práctica totalidad del universo de estudio, 470 protocolos (pérdida de un 10,4% de documentos), lo que garantiza su representatividad.

Parte de los sesgos en la recogida de información creemos que han sido obviados por el detallado diseño de la hoja de recogida de datos, por la sencillez de su recogida y por el entrenamiento previo al que han sido sometidos los evaluadores.

Del proceso de búsqueda y recogida de los documentos de los protocolos podemos destacar las dificultades encontradas (la más importante del presente trabajo) a la hora de poder disponer físicamente de los documentos, derivadas de la inexistencia de un registro centralizado de ámbito regional de los protocolos elaborados y de la ausencia de cualquier tipo de registro institucional, en ese momento, en al menos 3 de las 6 áreas sanitarias regionales. A destacar que en la estimación inicial del proyecto esperábamos conseguir unos 100 documentos, por lo que la cifra final ha multiplicado por 5 estas expectativas (dando idea de la importancia del tema) e incrementando en igual proporción el esfuerzo previsto por el equipo de investigación.

La elaboración de un número tan elevado de protocolos en APS puede llegar a cuestionar los objetivos con los que se elaboraron o su grado de utilización real.

El equipo de investigación debatió la conveniencia de mantener o suprimir el criterio n.º 1 (cumplir la definición aceptada de protocolo), porque por un lado es una definición ya superada, y por otro porque podría ser más bien un criterio de inclusión o exclusión del documento correspondiente en el estudio, pero decidimos dejarlo porque presentaba una aceptable concordancia interobservador, por la posible comparabilidad con el estudio previo²⁸ y porque así podríamos poner de manifiesto el uso abusivo que en ese momento se estaba haciendo del término protocolo clínico.

No hemos encontrado en la bibliografía estudios equivalentes en nuestro país, lo que dificulta su comparabilidad. En relación a una experiencia previa²⁸ en un solo centro de salud, en conjunto los resultados coinciden ya que en la primera evaluación de dicho centro la calidad global de los protocolos era muy baja, aunque los criterios más incumplidos eran «ajustarse a una definición de protocolo», «la existencia de registro de datos» y la «existencia de un mecanismo de evaluación».

Datos parciales de este mismo trabajo de investigación de ámbito regional referidos a los protocolos clínicos de pediatría son esencialmente similares en cuanto a su baja calidad formal en su conjunto²⁹.

Otros protocolos elaborados en APS, pero dentro de actividades formativas regulares, como el Programa FMC de ámbito nacional, han demostrado una mayor calidad estructural, pero también han puesto de manifiesto aspectos sustancialmente mejorables³¹.

De los resultados obtenidos cabe destacar en primer lugar la baja calidad formal de los documentos, inicialmente denominados protocolos, que se vienen elaborando en nuestra comunidad autónoma. Baja calidad que probablemente sería extensible a los demás documentos en nuestro medio, y que no mejora con el paso del tiempo. Es probable que el descenso en el ritmo de elaboración de protocolos que se observa en la evolución de los 8 años estudiados se deba en parte a la inoperancia o a la mala calidad percibida por los profesionales de los documentos elaborados inicialmente.

Una de las posibles causas de esta baja calidad estructural de los documentos evaluados puede ser la no utilización por los profesionales que los han elaborado de un modelo riguroso para su diseño^28,29,31, por lo que utilizar para ello uno de los modelos que ya se han propuesto³⁰ puede mejorar su calidad estructural, tal como ya se ha demostrado²⁸.

Esta baja calidad formal también podría estar parcialmente relacionada con el hecho que en su mayoría no están incluidos en ningún programa de salud, no se corresponden a actividades o problemas de salud incluidos en la inicial «cartera de servicios», y que no suelen estar acreditados por la autoridad competente, tal como se ha puesto de manifiesto en otra parte de este estudio (lo que quizás puede traducir determinados problemas estructurales, de relación o de comunicación entre los niveles de gestión y los profesionales, al menos en ese momento).

De los resultados cabe destacar que, en realidad, cerca del 45% de los documentos evaluados no se pueden considerar protocolos, ya que no cumplen con la definición, sino que más bien serían «falsos protocolos». Sería interesante comparar el cumplimiento del resto de criterios dividiendo los documentos en los que se pueden considerar protocolos y los que no.

Con los resultados de este estudio se elaboró un informe específico para cada uno de los 31 centros de salud participantes, donde se detallaba para cada centro el cumplimiento de los distintos criterios de los protocolos elaborados, así como la posibilidad de recibir formación sobre el tema y adscribirse voluntariamente a una estrategia para mejorar la calidad formal de sus documentos. Esto no se pudo llevar a cabo porque sólo 2 centros de salud aceptaron dicha oferta y a causa de la ausencia de los recursos necesarios.

A partir de estos datos, sería conveniente introducir medidas correctoras para mejorar la calidad estructural de los protocolos y reevaluarlos tras un período de funcionamiento; pero estas medidas actualmente se escapan a las capacidades del grupo de investigación, siendo más bien una responsabilidad institucional, por ejemplo, dentro del «Plan de Salud de la Región de Murcia»⁴³, plantear nuevas orientaciones de ámbito regional para facilitar la elaboración de protocolos de alta calidad y más acordes con las necesidades actuales de la APS.

El equipo de investigación se va a plantear en un futuro inmediato dar un peso distinto a unos determinados criterios para poder estimar mejor la calidad de los protocolos; así, creemos que no deberíamos juzgar de la misma manera a 2 protocolos, si uno cumple el criterio 3 (que exista un mecanismo de evaluación) y otros el criterio 6 (la extensión será de un máximo de 20 hojas). También podría ser interesante generar una nueva variable que mida «calidad» en función del cumplimiento de aquellos criterios que a nuestro juicio sean imprescindibles en la calidad de los protocolos, al menos desde el punto de vista de la estructura.

Este trabajo se enmarca en una línea de investigación con una serie de perspectivas como cuantificar la utilización de los protocolos, averiguar las características que han de tener para que sean útiles y se usen, y demostrar su efectividad y eficiencia.

Conclusiones

Destacamos que la calidad formal de los protocolos clínicos de atención primaria, elaborados en la CARM es baja. Se precisan medidas correctoras para mejorar esta situación.

Agradecimientos

Este trabajo se ha podido realizar gracias a una ayuda a la investigación del FIS, proyecto 94/1.187.

Agradecemos la ayuda prestada a las personas que han colaborado en la realización del estudio, especialmente a los miembros de los EAP implicados.

Mi agradecimiento a los correctores de este artículo.