Objetivo. Evaluar los protocolos editados por la revista FMC desde su aparición.
Diseño. Estudio de evaluación.
Emplazamiento. Revista Formación Médica Continuada en Atención Primaria.
Participantes. Protocolos clínicos (11) editados por la revista y las personas que los han elaborado.
Intervenciones. Evaluación en base a los criterios para elaboración de protocolos clínicos propuestos por Saura et al.
Resultados principales. Globalmente cumplen el 56,9% de los criterios propuestos. Ninguno (0%) observa todas las características que debe reunir un protocolo.
Analizando los criterios de modo independiente, la denominación, índice paginado, definición del problema y bibliografía se cumplen en todos los protocolos evaluados. El protocolo de EPOC en atención primaria lo hace en el 75% de los criterios evaluados, siendo el que más criterios cumple. El protocolo del niño maltratado se observa en un 41,66% de los criterios, siendo el que menos criterios cumple.
Conclusiones. Estamos ante buenos protocolos, ya que globalmente cumplen gran parte de los criterios propuestos, a pesar que dichos criterios sean exigentes. Con todo, se pueden y se deben mejorar.
Objective. To evaluate the protocols published in the journal Formación Médica Continuada (FMC) since its appearance.
Design. An evaluation study.
Setting. The journal FMC in Primary Care.
Participants. Clinical protocols (11) published by the journal, and the people who have composed them.
Interventions. An evaluation based on the criteria for composing clinical protocols proposed by Saura et al.
Main results. Overall these proposals complied with 56.9% of the proposed criteria. None of them (0%) complied with all the norms that a protocol must meet. On analysing independently each criterion, the following were satisfied in all the protocols evaluated: the designation, index of pages, definition of the problem and bibliography. The protocol for COPE in Primary Care satisfied 75% of the criteria and was the protocol which complied with most criteria. The battered child protocol satisfied 41.66% of the criteria and was the protocol satisfying the least number of criteria.
Conclusions. These are good protocols, in that overall they satisfy a large part of the proposed criteria, despite the fact that these are demanding criteria. However they can and must improve.
Introducción
La protocolización de las actividades habituales de la consulta es una tarea que se realiza cada vez con mayor frecuencia entre los equipos de atención primaria (EAP). La elaboración de protocolos de buena práctica médica1-3 constituye una de las actividades más potenciadas internacionalmente como parte de los programas de gestión de la calidad asistencial4-10. Los protocolos clínicos pueden estar diseñados por un EAP para su aplicación exclusiva en su centro de salud, o pueden estarlo para su aplicación en ámbitos más extensos. Un protocolo clínico, para ser realmente un protocolo, debe ajustarse a un modelo concreto de elaboración y seguir una metodología adecuada para su diseño y elaboración11, y sobre todo los protocolos que se destinan a ser aplicados a varios centros de salud12. La aplicación de un modelo validado para la elaboración de protocolos presenta grandes ventajas, ya que suele aumentar la calidad13-16 del protocolo y se consigue una homogeneización de los diferentes documentos. Hemos de tener en cuenta que, globalmente, si no se poseen unos conocimientos mínimos de elaboración, no se puede elaborar un protocolo adecuado y metodológicamente correcto. Estos aspectos son de vital importancia, ya que los protocolos se aplican para la toma de decisiones clínicas con pacientes, y si están mal diseñados se pueden sistematizar decisiones inadecuadas o no utilizarse. Recientemente se ha publicado un modelo para la elaboración de protocolos clínicos, cuya aplicabilidad resulta de interés para futuros trabajos. Los protocolos ya elaborados pueden beneficiarse de un modelo de evaluación que les permita en el futuro ajustarse al modelo propuesto.
El objetivo de nuestro trabajo es evaluar los protocolos editados por la revista Formación Médica Continuada desde su aparición, en función de los criterios mínimos propuestos por Saura y Saturno17 para la elaboración y diseño de protocolos clínicos.
Material y métodos
Este trabajo se ha realizado con la metodología del ciclo de mejora de la calidad propuesto por R. Heather Palmer18, modificada en el Programa Ibérico para el Diseño de Protocolos Clínicos19
Nuestra investigación se trata de un estudio descriptivo de evaluación.
Se han analizado los 11 protocolos clínicos publicados hasta ahora en la revista Formación Médica Continuada desde la edición del número 1 del programa FMC en enero de 1994; son los siguientes:
Hipertensión arterial en atención primaria.
Diabetes mellitus en atención primaria.
Actividades preventivas en la infancia y adolescencia.
Planificación familiar.
Hipercolesteremia en atención primaria.
Tabaco en atención primaria.
EPOC en atención primaria.
Del niño maltratado.
Emergencias médicas (I).
Protocolo de actividades preventivas para la población adulta.
Asma en atención primaria.
Para la evaluación se han aplicado los criterios para elaboración de protocolos clínicos propuestos por Saura y Saturno17 basados en la bibliografía20-29. Las unidades de estudio son cada uno de los 11 protocolos. No se ha excluido ningún documento. Los criterios aplicados son normativos y explícitos. El tipo de revisión ha sido externa. La relación temporal de la evaluación con la acción evaluada es retrospectiva. El tipo de datos ha sido de estructura.
Se ha evaluado el cumplimiento de 16 criterios por cada uno de los protocolos. Afirmamos que cumple criterio en cada uno de ellos si reúne las siguientes características:
1. Denominación: consta explícitamente el problema de salud protocolizado y se ajusta al contenido.
2. Índice paginado: aparece índice paginado.
3. Definición del problema: consta la formulación clínica del problema. Responde a la pregunta ¿qué es lo que se protocoliza?
4. Definición de la población diana: aparecen expresadas las características que identifican a la población susceptible de aplicarle el protocolo.
5. Criterios de inclusión: son citadas las características que deben cumplir los individuos que van a ser incluidos en el protocolo.
6. Plan diagnóstico: en base a la información recogida por el profesional, completada con la recogida por los exámenes complementarios si proceden. Cumple si aparece como algoritmo diagnóstico.
7. Plan terapéutico: aparece el tratamiento a seguir expresado como algoritmo.
8. Plan de seguimiento: aparece expresado cada cuánto tiempo hay que realizar los controles periódicos de los pacientes.
9. Derivación: aparece cuándo y a quién derivar al paciente si fuera necesario.
10. Plan de educación para la salud: se describen qué recomendaciones y consejos hay que facilitar al paciente.
11. Organización y funcionamiento: aparece reflejado a qué profesionales va dirigido el protocolo y quién lo debe ejecutar.
12. Recursos necesarios: aparecen expresados qué recursos humanos o materiales son necesarios. Constan los recursos humanos en horas de profesional por período de tiempo.
13. Sistema de registro: se explicitan los datos mínimos a recoger. Debe incluir modo de registro para estos datos.
14. Normas de evaluación: aparece quién debe y qué datos se deben evaluar del protocolo.
15. Período de evaluación: aparece cada cuánto tiempo se debe realizar la evaluación del protocolo.
16. Bibliografía: figura la bibliografía que justifica las decisiones en el protocolo.
Se ha valorado del siguiente modo en cada uno de ellos: cumple criterio, no cumple y no procede la evaluación.
Resultados
Tras la evaluación de los 11 protocolos elaborados por la revista Formación Médica Continuada, evidenciamos que ninguno de ellos (0%) cumple con todas las características que debe reunir un protocolo de acuerdo con los criterios de Saura y Saturno17.
En el figura 1 se ha expresado en porcentaje el número de criterios cumplidos en relación al de criterios en los que procedía la evaluación en dicho protocolo.
En la tabla 1 detallamos qué criterios se cumplen y cuáles no.
El protocolo de EPOC en atención primaria cumple el 75% (12/16) de los criterios evaluados, siendo el que más criterios lo hace. En segundo lugar está el protocolo de diabetes mellitus en atención primaria con el 68,8% (11/16) de criterios cumplidos. En el extremo opuesto el protocolo del niño maltratado cumple el 41,7% (5/12) de los criterios, siendo el que obedece menos criterios. El protocolo de emergencias médicas (I) cumple el 60% (6/10) de los criterios, pero resulta de interés resaltar que 6 de los criterios propuestos no pueden ser evaluados en este protocolo.
Analizando los criterios más significativos de modo independiente, apreciamos que la denominación (criterio 1), índice paginado (2), definición del problema (3) y bibliografía (16) se cumplen en todos los protocolos evaluados.
Los criterios de derivación (9) y el plan de educación para la salud (10) también presentan un alto índice de cumplimiento con el 88,88% cada uno de ellos. Por el contrario, los recursos necesarios (12), normas de evaluación (14) y período de evaluación (15) no se cumplen en ninguno de los protocolos.
Si vamos analizando los criterios pormenorizadamente, se aprecia que la población diana (4) no se define en dos tercios de los protocolos. El plan diagnóstico (6) no se expresa en el protocolo de tabaquismo en atención primaria. En el resto, o se expresa correctamente o no procede la evaluación (en 5 de ellos).
El plan de seguimiento (8) no consta en los protocolos de hipertensión arterial, niño maltratado y planificación familiar. El plan de derivación (9) no se cumple en el protocolo de planificación familiar.
El plan de educación para la salud (10) no consta en las actividades preventivas para la población adulta. El criterio de organización y funcionamiento (11) no se cumple en 6 de los 11 protocolos evaluados, con lo cual en estos casos no quedan claras cuáles son las funciones de cada profesional.
El sistema de registro (13) solamente se expresa en los protocolos de tabaco y diabetes en atención primaria. El período de evaluación y normas de evaluación no aparecen en ninguno de los protocolos evaluados.
Los recursos necesarios, tanto humanos como materiales, tampoco se expresan en ningún protocolo. La bibliografía de referencia está reflejada en todos los protocolos.
El porcentaje de cumplimiento por los protocolos de los criterios directamente relacionados con los objetivos de las guías de buena práctica clínica, excluyendo los relacionados con los recursos, organización de los servicios, sistemas de registro y evaluación va desde el 100% en los protocolos de EPOC en atención primaria y emergencias médicas (Y) al 64% en el protocolo de hipertensión arterial, lo que mejora significativamente los resultados.
Discusión
Los protocolos clínicos son una herramienta clave destinada a mejorar la calidad asistencial evitando el riesgo de variabilidad en la atención que se presta a nuestros pacientes30. Sin embargo, a pesar de ser una valiosa herramienta de trabajo y un elemento muy importante para la evaluación y mejora de la calidad asistencial, parece que en España no se les ha prestado la atención que merecen. En nuestro trabajo evaluamos desde un punto de vista estructural los documentos finales de los protocolos de la revista Formación Médica Continuada, apreciando que existe un cierto número de características que no se cumplen.
Como comentario a los resultados, consideramos que la población diana (4) no se define en algunos de los protocolos, probablemente porque se trata de protocolos generales y se pretende que sean adaptados a cada centro de salud o situación concreta. Creemos que no procede evaluar este criterio en los protocolos de niño maltratado y emergencias médicas (I), porque la población diana son todos los casos que se presenten. Los criterios de inclusión (5) se comportan de modo similar.
En los protocolos de actividades preventivas, tanto en la infancia y adolescencia, como en la población adulta, no procede derivar (9), ya que estamos realizando actividades preventivas desde atención primaria.
No se ha considerado procedente la evaluación del plan de educación para la salud (10) en los protocolos del niño maltratado y emergencias médicas (I), porque dicha educación se debería realizar preferentemente con anterioridad a la emergencia o al maltrato, aunque también se pueda realizar después para prevenir nuevos episodios.
El incumplimiento del criterio de organización y funcionamiento (11) hace que no queden claras cuáles son las funciones de cada profesional. El no delimitar las funciones concretas de cada profesional puede dar lugar a duplicidades de trabajo o a aspectos que queden sin cubrir.
La inclusión del sistema de registro (13) facilita el seguimiento y evaluación de los protocolos, ya que lo que se registra puede ser fácilmente evaluado.
El período de evaluación y normas de evaluación (14-15) debería aparecer en todos los protocolos, ya que el cumplimiento de estos 2 criterios facilita la adaptación de los protocolos puestos en funcionamiento a las dificultades que van surgiendo sobre el terreno, y su adaptación posterior a las situaciones concretas donde se deba aplicar cada uno.
Los recursos necesarios (12), tanto humanos como materiales, presentan en la actualidad una importancia creciente en las nuevas técnicas de gestión. Especificar los recursos humanos resulta positivo, ya que si se cuantifican correctamente, se facilita la planificación global de todo el equipo de atención primaria.
La bibliografía (16) de referencia facilita posteriores investigaciones sobre algún aspecto concreto que nos resulte de interés.
Los resultados logrados en nuestra revisión son concordantes con otros trabajos similares31-34, apreciándose la necesidad de mejorar la calidad de los protocolos. En un análisis similar34 de 11 criterios en 51 protocolos pediátricos sólo 3 criterios se cumplen en más del 50% de los protocolos, otros 3 lo hacen en menos del 25% de ellos y el resto de criterios en un 25-50% de los mismos.
Entre los sesgos que encontramos en este estudio, podemos considerar que los criterios propuestos son sólo orientativos, ya que no se pretende obtener una calificación académica de cada protocolo, sino reflexionar sobre éstos con el único propósito de conseguir en el futuro protocolos más útiles y de mejor calidad para poder ser aplicados realmente. Además la elección de los criterios se ha realizado de manera arbitraria y pueden ser discutidos en cuanto a su contenido y número, pero son los que más se utilizan o se pueden desprender de las referencias consultadas.
Debemos tener en cuenta que los protocolos de FMC se han elaborado y publicado con la perspectiva de que sirviesen como guías de buena práctica clínica y sin pretensiones relacionadas con la organización y/o evaluación de los servicios o programas en que pudieran desarrollarse o estar incluidas, respectivamente36-38. Esto hace que pueda discutirse la pertinencia o no de algunos ítems, por ejemplo, los que hacen referencia a sistema de registro, período y normas de evaluación y recursos necesarios. A pesar de eso, creemos que es importante mantenerlos como criterios de evaluación ya que su inclusión puede facilitar una mejora de calidad en futuros protocolos.
Otro posible sesgo a tener en cuenta es el reducido número de protocolos evaluados y su pertenencia a una misma revista, pero se ha realizado así por su accesibilidad e importancia, ya que se trata de protocolos ampliamente difundidos entre los profesionales de atención primaria. Cada año el programa FMC publica 4 protocolos.
En resumen, podemos afirmar que estamos ante buenos protocolos desde el punto de vista estructural, pero mejorables, ya que globalmente cumplen el 56,9% de los criterios propuestos, criterios que quizás sean exigentes.
Además hemos de recordar que algunos de ellos son protocolos que tratan temas dispersos, con lo que resulta especialmente difícil ajustarse a la estructura de protocolo. Éstos son los del niño maltratado, emergencias médicas (I), actividades preventivas en la infancia-adolescencia y actividades preventivas para la población adulta.
Esta evaluación35 nos permite, sin embargo, valorar y reflexionar sobre si se deben mejorar estos protocolos o construir los siguientes aplicando estos criterios, ya que con relativamente poco esfuerzo se puede mejorar sustancialmente su calidad estructural.
Agradecimiento
Este artículo está realizado en base a la metodología obtenida en el proyecto de investigación FIS 94/1.187.
