Describir la experiencia de utilización del self audit (SA) como criterio de acreditación de los tutores de medicina familiar y comunitaria, analizar el conocimiento que tienen los tutores de esta metodología de autoevaluación y recoger su opinión respecto a este método.
DiseñoEstudio descriptivo retrospectivo y análisis de un cuestionario de opinión.
EmplazamientoUnidades docentes (UU.DD.) de medicina familiar y comunitaria de Cataluña.
ParticipantesTutores de las UU.DD. de medicina familiar y comunitaria de Cataluña (julio de 2001 a julio de 2008).
IntervencionesFormación de los tutores en la metodología SA, creación de un grupo de referencia y circuito de corrección. Corrección por pares de los SA realizados por los tutores según unos criterios determinados previamente y envío posterior de un informe-feedback. Encuesta de opinión autoadministrada a un grupo de tutores de las UU.DD.
Mediciones y resultados principalesSe realizaron 673 SA. El tema más frecuentemente escogido fue la diabetes mellitus (27,9% de los casos). La valoración global de los SA desde un punto de vista metodológico fue correcta en el 44,5% de los casos, mejorable en el 45,3% y deficiente en el 10,2%.
En relación con los cuestionarios de opinión, se enviaron 300. El índice de respuesta fue de 151/300 (50,3%). Ante la pregunta sobre la utilidad del SA para la práctica profesional, un 12% lo consideraba muy útil; un 56%, bastante útil y un 32%, poco o nada útil.
Respecto de si era un buen criterio para la reacreditación y acreditación de tutores, un 63% opinaba que no.
ConclusionesLos SA analizados en un porcentaje alto no están realizados correctamente, lo que indica que los tutores todavía no conocen bien esta metodología de autoevaluación. Consideran el SA útil como instrumento de mejora de la práctica clínica, pero no como un buen criterio para la acreditación y reacreditación.
To describe the experience of using self-audit (SA) as a means of accrediting family and community medicine tutors, to analyse the knowledge that the tutors have on this self-assessment methodology, and to record their opinions on this method.
DesignRetrospective descriptive study and analysis of an opinion questionnaire.
SettingFamily and community medicine teaching units (TU) in Catalonia.
ParticipantsTutors from family and community medicine TU in Catalonia (July 2001–July 2008).
MethodsTraining of the tutors in SA methodology, creation of a reference group and a correction cycle. Correction by peers of the SAs performed by the tutors according to previously determined criteria and subsequent issue of a report-feedback. Self-administered questionnaire by a group of TU tutors.
Measurements and main outcomesA total of 673 SA were performed. The most frequent topic selected was diabetes mellitus in 27.9% of cases. The overall evaluation of the SA from a methodological point of view was correct in 44.5% of cases, improvable in 45.3%, and deficient in 10.2%.
A total of 300 opinion questionnaires were issued. The response rate was 151/300 (50.03%). On the question about the usefulness of the SA in professional practice, 12% considered it very useful, 56% adequate, and 32% of little use or not useful.
As regards whether it was a good means for the re-accreditation or accreditation of tutors, 66% considered that it was not.
ConclusionsA high percentage of the SAs analysed are not carried out correctly, which indicates that tutors do not know this self-assessment method very well. They consider that SAs are a useful tool for improving clinical practice, but not a good means for accreditation and re-accreditation.
El método audit se describió en la década de 19501,2. Sheldon estableció la definición de audit médico más completa3: “el audit médico” es un estudio de algún aspecto de la estructura, proceso o resultado de la asistencia, generalmente llevado a cabo por los propios profesionales comprometidos en la misma, para medir si los objetivos propuestos han sido alcanzados, y, por consiguiente garantizar la calidad de la asistencia prestada. Entre las auditorías internas se halla el self-audit (SA). El SA es una auditoría de algún aspecto de la asistencia realizada por el propio profesional4. Otra variante de auditoría interna es el peer-review, en el que la revisión se realiza por pares o entre iguales.
A diferencia del audit externo, en el SA el profesional tiene una implicación importante desde el inicio, define qué aspectos de su práctica quiere valorar y qué prueba externa utilizará para comparar su práctica. Esta implicación debe actuar como incentivo motivacional capaz de influir en una modificación de la conducta que comporte un cambio de su actuación profesional y, como resultado, una mejora de su práctica clínica5,6.
El SA como método de autoevaluación tiene un papel central en el National Health Service7,8, en el Royal College of Physicians and Surgeons of Canada9, en el College of Family Physicians of Canada10 y en el American Board of Medical Specialities de Estados Unidos11. La autoevaluación y la formación continua son elementos esenciales en el desarrollo profesional y en los procesos de certificación y recertificación. Sin embargo, Eva et al12 exponen la existencia de serias dificultades de los profesionales para generar juicios sobre su actuación profesional de forma consistente y regular.
Una revisión publicada en 200613 concluye que la auditoría y el feedback pueden ser eficaces para mejorar la práctica profesional. En la revisión, resulta problemático determinar hasta qué punto los participantes de los ensayos incluidos fueron participantes activos, y parece probable que en su mayoría fueron receptores pasivos del feedback.
Se puede suponer que los efectos serán mayores cuando los profesionales de la salud participen activamente y tengan responsabilidades específicas y formales para implementar el cambio, planteamiento básico de esta aportación.
En este trabajo, se describe la experiencia de la utilización del SA como un criterio para la acreditación y reacreditación de los tutores de las unidades docentes (UU.DD.) de Cataluña, y se analizan la realización por parte de los tutores de esta metodología y, también, su opinión respecto a este método de valoración.
Material y métodosEstudio descriptivo retrospectivo de la experiencia. Incluye los SA y un cuestionario autoadministrado realizado a los tutores de las UU.DD. en junio de 2004.
Los participantes son todos los tutores de las UU.DD. de Cataluña que realizaron un SA para acreditarse o reacreditarse como tutores desde junio de 2001 a julio de 2008.
IntervencionesLas UU.DD. de Cataluña establecieron un procedimiento para la acreditación y reacreditación de los tutores en el año 1996. Inicialmente, los criterios incluían aspectos del perfil de investigación y del perfil docente del profesional, mientras que en el año 2001 se incluyeron méritos del perfil clínico y uno de ellos fue la realización de un SA. Los tutores debían realizar un SA y presentarlo al comité de acreditación de su unidad docente, posteriormente los SA se remitían para su evaluación a un grupo de correctores.
En una primera fase, se definieron las características que debía tener un proyecto de SA (objetivos, criterios y estándares; diseño del estudio, recogida de datos y obtención del índice; análisis de los hallazgos y detección de las deficiencias; recomendaciones correctoras y su aplicación, y reevaluación)14 y los criterios que se utilizarían para su evaluación. Paralelamente, se preparó un taller práctico de 4h de duración que incluía la formación necesaria para poder realizar un SA. A los tutores se les facilitó la asistencia a estos talleres.
El grupo de correctores valoraba los SA de forma ciega y por pares; se analizaba si la metodología del SA era correcta (según los criterios antes citados), no los resultados de salud, y posteriormente se enviaba la valoración a la unidad docente a la que pertenecía el tutor, junto con un pequeño informe-feedback para el propio tutor.
Para dar respuesta al segundo objetivo del estudio, en junio de 2004 se realizó una encuesta de opinión autoadministrada a todos los tutores de las UU.DD. de Cataluña que hasta esa fecha habían realizado un SA. Se enviaron por correo a través de las UU.DD. de cada zona. La encuesta constaba de 6 preguntas de escala categórica (de 0 a 3) y 6 preguntas abiertas.
Estrategia de análisisPara el análisis estadístico se utilizaron medias de tendencia central y dispersión para las variables cuantitativas y proporciones para las variables cualitativas. En el análisis bivariante, para comparar los 2 períodos, se utilizó el test de la t de Student cuando se compararon variables cuantitativas y el test de χ2 cuando se compararon variables cualitativas. Siempre se utilizaron como nivel de significación estadística valores inferiores a 0,05. Los datos cualitativos de la encuesta se analizaron mediante una aproximación a un análisis del discurso.
Resultados
En Cataluña, en el año 2001 había 13 UU.DD., en el año 2003 se incorporaron 2 más y en el 2005 otras 2. En relación con el número de tutores, ha oscilado entre 400 y 500 durante el desarrollo del proyecto (no se disponía de un registro actualizado de forma continuada).
Se realizaron aproximadamente 20 talleres teoricoprácticos en 2002, 2003 y 2005; participaron 300 tutores.
Desde julio de 2001 a julio de 2008 se remitieron 673 SA con el ritmo que muestra la figura 1. De los SA evaluados, 624 correspondieron a verdaderos SA (92,7%) (fig. 1).
El tema evaluado con más frecuencia fue la diabetes mellitus (28%). Este tema, junto con otros relacionados con los factores de riesgo vascular o la enfermedad cardiovascular, representó más de la mitad de los SA (fig. 2). El tamaño de la muestra utilizada en los SA osciló entre 2 y 1.557; la mediana fue de 20 casos. En el 92% de los SA, el sistema de elección de la muestra fue correcto. La media de los criterios por estudio fue de 5,4 (desviación estándar de 3,2); el rango, entre 1 y 26, y la mediana, de 5.
La tabla 1 y la figura 3 muestran la valoración de los distintos SA según los criterios de corrección previamente definidos.
Evaluaciones de los distintos aspectos de la metodología de los self-audit
| Evaluación | Correcto, % | Mejorable, % | Deficiente, % |
| Título | 82,8 | 13 | 4,2 |
| Criterios | 42 | 42 | 16 |
| Metodología | 56,7 | 36,1 | 7,2 |
| Bibliografía | 73,8 | 9,3 | 16,9 |
| Interpretación de resultados | 70,8 | 24,4 | 4,8 |
| Propuestas de mejora | 47,4 | 34,6 | 18 |
| Valoración global | 44,5 | 45,3 | 10,2 |
Se compararon los SA recibidos en los 2 siguientes períodos: a) primer período: de julio de 2001 a abril de 2003 (200 SA, fase de formación), y b) segundo período: de mayo de 2003 a julio de 2008 (473 SA, fase de consolidación). En el segundo período se encontraron diferencias significativas (p<0,05) a favor de una mejora en la calidad de los criterios utilizados y la bibliografía, no así en la valoración de la metodología de forma global (fig. 4). También se constataron diferencias en los temas elegidos; en el segundo período destacó una variedad más amplia (fig. 5).
Opinión de los tutores
Se distribuyeron 300 encuestas. El número total de tutores con SA realizado fue de 382, con un índice de respuesta de 151/300 (50,3%). No se incluyó al total de tutores con SA realizado por problemas logísticos.
“Utilidad como herramienta en la práctica profesional”: 99 de 151 lo consideraron útil o muy útil (66%). Del 66% que respondió a la pregunta abierta del porqué, destacaron a favor la utilidad para la mejora, la detección de deficiencias y la realización sobre la práctica real; en contra, la falta de tiempo, la no experiencia y las pocas aportaciones.
“Aplicabilidad en la práctica”: 75 de 151 lo consideraron muy o bastante aplicable (49,6%). Del 57% que respondió a la pregunta abierta, destacaron a favor la facilidad del instrumento y las opciones de mejora; en contra, la falta de tiempo y el exceso de trabajo.
“Utilidad como instrumento docente”: de los tutores que tenían residente en aquel momento: 60 lo consideraron útil (39,7%) y 48, no (31,7%); el resto de tutores que respondieron la encuesta no tenían residente en aquel momento. A favor, destacaron el conocimiento de nuevas metodologías, visión crítica y detecciones de puntos de mejora. En contra, la existencia de otras metodologías para obtener resultados similares.
Veinticuatro (16%) residentes habían realizado un SA junto con su tutor.
“Utilidad para la acreditación o reacreditación”: 92 (61%) tutores no lo consideraron útil. En las preguntas abiertas destacaron el ser un criterio parcial, el no ofrecer nuevas aportaciones y la existencia de otras auditorías. En cuanto a «Otras propuestas para la acreditación», destacaron la evaluación clínica objetiva estructurada, las ganas de ser tutor, los audits externos, etc.
“El feedback sobre el SA”: 94 tutores habían recibido feedback por parte de los evaluadores (62,2%) y, de éstos, el 87,2% lo consideró positivo.
El 56% de los tutores que consideró que era útil también valoró que era aplicable en la práctica. El 55% de los tutores que consideró el SA bastante útil no lo valoró como un buen criterio de acreditación.
DiscusiónLos SA estaban realizados de forma metodológicamente correcta en un 44,5% de los casos. Este resultado es similar al que encontraron McKay et al15: observaron que el 55% se realizó correctamente. Los residentes lo hacían significativamente mejor, seguramente porque formaba parte de su evaluación obligatoria. Teniendo en cuenta estos resultados, se puede deducir que los talleres teoricoprácticos realizados tuvieron un impacto formativo bajo, a pesar de haber utilizado una fórmula interactiva, que es la que puede implicar mayores cambios en la práctica16,17.
Una revisión sistemática18 sobre instrumentos de evaluación de la competencia profesional incluyó las auditorías y el peer-review, y halló que en la mayoría de los estudios se evidenciaban validez de concepto y de contenido, y una razonable consistencia interna; en 2 estudios hubo una alta efectividad (mejora de la práctica clínica).
El mantenimiento de la competencia profesional como parte de un proceso de autorregulación de la profesión médica precisa de mecanismos de autoevaluación que ayuden a identificar necesidades de formación que faciliten el desarrollo profesional. En una revisión realizada por Davis et al19 se evidenció la poca capacidad de los profesionales para realizar la autoevaluación de su competencia frente a métodos de evaluación externos y objetivos, hecho que no guardaba relación con el grado de entrenamiento, la especialidad, el tema autoevaluado o la forma de comparar. Respecto a los diferentes métodos de autoevaluación, se sabe que los profesionales serán más capaces de autoevaluarse cuanto más estructurado esté el método, se base en estándares y guías, y proporcione feedback interactivo. Duffy y Holmboe20 definen desde la perspectiva del aprendizaje 2 formas de autoevaluación: a) los profesionales autoevalúan su destreza en un área clínica y la comparan con métodos objetivos de evaluación, y b) los profesionales realizan un SA a partir de una guía y las tareas propuestas deben implicar una mejora de la competencia y una revisión de su práctica clínica. Otra posible clasificación, desde una perspectiva de lo que se evalúa, clasifica los métodos de acuerdo con el criterio de si permiten evaluar deficiencias conocidas o no conocidas21. El SA propuesto en el proyecto sería un método de autoevaluación bien estructurado que incluiría feedback y permitiría evaluar deficiencias no conocidas.
En relación con la opinión de los tutores, algunas de las dificultades planteadas coinciden con las que enumeran Johnston et al22: dudas relativas en relación con el propósito del proyecto del audit, debilidades de la autoridad sanitaria competente, problemas de confidencialidad, incremento en la carga de trabajo, miedo a la repercusión posterior y escepticismo en relación con el valor que pueda tener actualmente la realización de un audit.
Los tutores consideran el SA útil como un instrumento de mejora de la práctica profesional, pero no como un buen criterio para la acreditación o reacreditación como tutores. Esta opinión no coincide con los resultados que hallaron Bruce et al23 al comparar 2 modelos de revalidación: los profesionales valoran como más aceptable y factible el modelo basado en el cumplimiento de unos criterios de buena práctica clínica previamente establecidos.
- •
El self-audit como método de autoevaluación facilita que la práctica profesional sea más reflexiva.
- •
Los profesionales son más capaces de autoevaluarse cuanto más estructurado es el método utilizado, se base en estándares y guías, y proporcione feedback interactivo.
- •
La auditoría y el feedback pueden ser eficaces para mejorar la práctica profesional.
- •
Es posible utilizar el SA como método de autoevaluación de determinados aspectos de la competencia clínica. La capacidad para la realización del SA por parte de los tutores de Medicina Familiar y Comunitaria de Cataluña es insuficiente.
- •
Los tutores consideran el self-audit útil como instrumento de mejora de la práctica clínica.
La utilización del SA contribuye a que los profesionales sean más conscientes de que su práctica no es perfecta y necesita mejoras continuas, y facilita que la práctica clínica sea más reflexiva. Epstein24 propone una práctica profesional reflexiva como base para la mejora continua de la competencia profesional. Los documentos de consenso sobre la “buena práctica clínica”25,26 consideran que todos los profesionales de la salud deberían realizar de forma regular y sistemática audits clínicos, y comprometerse a encontrar soluciones para mejorar su práctica cuando sea necesario.
Otro beneficio es la utilización del SA como instrumento de evaluación formativa. El SA tiene un gran potencial educativo para utilizarse como herramienta pedagógica en la formación de médicos residentes y en el desarrollo profesional continuo. Es una autoevaluación que identifica necesidades de formación y esto es fundamental para un aprendizaje reflexivo. Schön describe la reflexión en la acción27 como una fase del ciclo del aprendizaje que genera una acción y una reflexión o un aprendizaje posterior. Permite desarrollar el aprendizaje de un tema mediante la implicación del residente en la mejora de algún déficit que pueda tener, al diseñar sus propias actividades de mejora. El objetivo es aprender de los propios errores; el feedback que aportan los propios pacientes28 y el feedback que aporta el tutor son fundamentales en este proceso y facilitan llevar a la práctica el axioma de la enseñanza basada en el que aprende y no en el que enseña.
Limitaciones del estudioUna limitación importante del estudio ha sido el no haber realizado las actividades de formación de forma sistemática, esto ha impedido estudiar el impacto de éstas en el conocimiento de la metodología. Otro factor limitante ha sido que las UU.DD. recogieron determinados datos y no se disponía de un registro centralizado. La encuesta de opinión se realizó demasiado al inicio del proyecto, cuando un número importante de tutores todavía no habían realizado el SA.
Directrices para futuras investigacionesEn los nuevos criterios de valoración del SA, se pide a los tutores que comprueben la efectividad de las propuestas de mejora tras un período que ellos determinen mediante una reevaluación. Estos datos facilitarán la valoración de la utilidad del SA en la práctica clínica habitual.
También puede ser interesante analizar la utilidad del feedback que los evaluadores realizan a los tutores.
A los tutores y coordinadores de las UU.DD. de medicina familiar y comunitaria de Cataluña que han participado en el proyecto.
