Introducción
Desde hace más de 20 años, la evaluación clínica objetiva y estructurada (ECOE) constituye un método evaluativo que ha sido adoptado por un número creciente de instituciones sanitarias, facultades y sociedades científicas. Su uso es generalizado en la práctica totalidad de países de influencia anglosajona1.
Ya en España, y más concretamente en Cataluña, el Instituto de Estudios de la Salud (IES) de la Generalitat de Catalunya ha realizado proyectos de evaluación desde 1994, tanto en pregrado como en posgrado y en distintas especialidades médicas2,3. Esto ha permitido detectar ciertos déficit en las habilidades asistenciales, tanto de estudiantes como de profesionales, con el fin último de reorientar las actividades de la educación médica4.
El número de casos clínicos que debe incluir una ECOE es el resultado de un compromiso entre validez, fiabilidad y factibilidad. A partir de 10 casos puede obtenerse una buena fiabilidad pero, en general, la mayoría de las ECOE suelen incluir alrededor de 20 casos distribuidos en 30 estaciones5.
La especialidad de medicina familiar y comunitaria (MFyC) abarca un amplio campo de conocimientos y habilidades, y los médicos de familia han sido pioneros a la hora de poner en marcha modelos formativos innovadores: implantación del programa de la especialidad, formación continuada, acreditación de actividades de formación o tutorización y evaluación de la formación posgraduada6.
Entre las propuestas de criterios para la acreditación y reacreditación de tutores de residentes de MFyC se incluye que el tutor tenga competencia profesional, y para evaluarla se propone la realización de una ECOE7.
Hay pocas experiencias en la evaluación de la competencia mediante ECOE a tutores de residentes de MFyC en España, y ninguna en la comunidad autónoma andaluza. Así, presentamos la primera experiencia realizada en la Unidad Docente (UD) de MFyC de Huelva con el objetivo de utilizar un instrumento de evaluación de la competencia clínica útil para detectar aspectos susceptibles de mejora que sirvan a los tutores para mejorar su formación.
Sujetos y método
En el año 2001 se constituyó el Comité de Prueba (CP) compuesto por 6 médicos de familia con experiencia en la práctica clínica habitual como médicos de atención primaria (AP) en la formación de residentes, como tutores, como docentes en cursos, y con experiencia y conocimientos en la evaluación de competencias. Las funciones del CP consistían en definir los componentes competenciales, el listado y la priorización de las situaciones clínicas, la construcción de la tabla de especificaciones y el diseño de algunos de los casos clínicos.
Los componentes competenciales que se consensuaron y ponderaron se basaron en las recomendaciones de la Societat Catalana de Medicina Familiar i Comunitària8 (en paréntesis se expone el peso de cada componente): anamnesis (12%), exploración física (12%), comunicación (16%), habilidades técnicas (10%), manejo (capacidad del participante para llegar a un diagnóstico correcto mediante la interpretación de datos de anamnesis, exploración y pruebas complementarias, conocimientos sobre tratamientos y capacidad para establecer un plan de seguimiento; 40%), atención a la familia (4%) y actividades preventivas (6%).
La selección de las situaciones clínicas se consensuó utilizando unos criterios de priorización según la prevalencia, gravedad clínica, importancia de la prevención y del diagnóstico precoz, complejidad del caso, evaluación de la capacidad resolutiva del médico y simplicidad evaluativa9. Se seleccionaron los instrumentos más adecuados para cada situación clínica: pacientes estandarizados, maniquíes, imágenes clínicas, preguntas abiertas de respuesta corta y preguntas de respuesta múltiple. Finalmente, se diseñó la tabla de especificaciones, que combina las competencias a evaluar con los instrumentos y las situaciones clínicas. Dos de los casos clínicos, sus guiones, aplicación práctica y listado evaluativo, así como el asesoramiento desinteresado, fueron aportados por el IES. El resto fue diseñado por el propio CP.
La logística y el análisis psicométrico fueron realizados por el personal de la UD de MFyC.
La prueba estaba compuesta por 10 situaciones clínicas que debían resolverse en 6 minutos cada una. Esta duración corresponde a la realidad actual en cuanto al tiempo medio de las visitas en AP en la comunidad autónoma andaluza. Las situaciones clínicas correspondían a distintas situaciones propias de la AP: urgencias, visitas clínicas y cirugía menor (tabla 1). La prueba se dividió en 2 grupos de estaciones (ruedas), sin incluir descansos. La duración total de la prueba fue de 104 minutos.
La ECOE se realizó en el centro de salud La Orden de Huelva el 16 de mayo de 2003. Se eligió este centro por que cumplía los requisitos estructurales necesarios para una prueba de estas características.
La condición para participar era ser tutor de residentes de la UD de MFyC de Huelva, y la participación fue voluntaria. Intervinieron en la prueba 5 pacientes estandarizados, 7 observadores y 3 personas encargadas de la logística.
El número de 10 estaciones se estableció sobre la base de los recursos disponibles y se consideró que era el número mínimo para obtener una buena fiabilidad.
Cada caso puntuaba un máximo de 100 puntos, repartidos entre los diferentes componentes que se evaluaban. La puntuación total de la prueba era la media de las puntuaciones de cada caso. Al final de la prueba se administró a los participantes un cuestionario de evaluación para conocer su opinión y sus sensaciones durante el transcurso de la evaluación.
El análisis de los datos se realizó mediante el programa SPSS 11.0. Se analizó la fiabilidad global y por componentes competenciales de la prueba mediante el estadístico alfa de Cronbach. Se estudió la correlación entre la edad de los participantes y los años dedicados a la tutorización con las puntuaciones obtenidas mediante el coeficiente de correlación de Pearson. Se calcularon los resultados por componente competencial para cada uno de los participantes, así como la media y la desviación típica de dichos resultados. También se calcularon los resultados por casos. Finalmente, se analizaron los resultados de la evaluación realizada por los participantes.
Resultados
Realizaron la prueba 13 de los 22 tutores acreditados en la UD (8 varones y 5 mujeres). La edad media ± desviación estándar (DE) de los participantes fue de 42,8 ± 3,6 años y la media de años dedicados a la tutorización de residentes fue de 8,6 ± 4,6 años. De los 9 que no participaron (4 varones y 5 mujeres), 8 adujeron razones personales (la prueba se realizó un viernes por la tarde) y una mujer se encontraba de descanso maternal. La edad media de los no participantes fue de 41,2 ± 2,4 años y la media de años dedicados a la tutorización de residentes fue de 4,4 ± 2,9 años. No se encontraron diferencias significativas en cuanto a la edad entre los tutores participantes y no participantes en la ECOE (p = 0,27). Sí las hubo en cuanto a los años dedicados a la tutorización (p = 0,03).
La prueba tuvo un coeficiente de fiabilidad global (alfa de Cronbach) de 0,7287. Por componentes competenciales, los mejores resultados se obtuvieron con los ítems de actividades preventivas, comunicación y habilidades técnicas (tabla 2).
Por lo que se refiere a los resultados por participantes, la media global fue de 73 ± 6,2 puntos, con un rango de 64,4-81,9 puntos y una amplitud intercuartil de 11,7 (fig. 1).
Figura 1. Distribución de la puntuación por casos de los tutores.
Al analizar las puntuaciones obtenidas en los diferentes componentes competenciales (tabla 3), los mejores resultados se obtuvieron en la atención a la familia, las habilidades técnicas y la comunicación. Los peores resultados se encuentran en las actividades preventivas y la exploración física. Entre ellos se incluyen la anamnesis y el manejo de los pacientes. En la tabla 4 se reflejan los resultados por casos, utilizando la media y la desviación estándar.
Tanto las puntuaciones de los participantes como la edad y los años de tutor se distribuían normalmente (prueba de Shapiro-Wilk). Se analizó la correlación mediante el coeficiente de correlación de Pearson entre las puntuaciones de cada tutor, los años de tutor y la edad de los participantes. En los dos casos los resultados fueron estadísticamente no significativos, sin que en esta ocasión se encontrara una correlación entre las citadas variables.
En cuanto a las evaluaciones realizadas por los participantes, la mayoría (10 de los 13 tutores) estaba bastante o totalmente de acuerdo en que la prueba y el tiempo dedicado a cada estación se ajustaban a la realidad. Lo mismo ocurría con la opinión sobre el diseño de las estaciones y la interpretación de los casos, así como sobre que este tipo de pruebas ayudaría a mejorar la docencia con residentes. Finalmente, el acuerdo era absoluto en cuanto a que este tipo de pruebas medía mejor la capacidad profesional que las clásicas pruebas escritas. La evaluación abierta evidenció el aspecto emocional de la ECOE: «estaba de los nervios», «me he sentido muy forzado y algo nervioso», «tengo mi autoestima por los suelos», «me ha gustado mucho», «globalmente me he sentido bien» y «me lo he pasado muy bien».
Discusión
La fiabilidad es el coeficiente psicométrico más documentado en las evaluaciones que utilizan a pacientes simulados. Se define como el índice que mide la reproducibilidad del proceso en sucesivas repeticiones10. Es a partir de 10 casos cuando se puede obtener una buena fiabilidad. En este caso, el valor alfa de Cronbach se encuentra en la línea del obtenido en otras experiencias2. Al observar los resultados globales por componentes competenciales, podemos afirmar que son satisfactorios. Sin embargo, sorprende comprobar que el que obtiene la media más baja es el componente referido a actividades preventivas, aunque la DE es grande, lo que refleja una gran dispersión de resultados. De todas maneras, sería un componente a mejorar. La segunda puntuación más baja corresponde al componente de exploración física. Puede reflejar que con el paso de los años se van perdiendo habilidades en este sentido, probablemente debido a la presión asistencial, que hace que se simplifiquen determinadas maniobras exploratorias. Por el contrario, las puntuaciones más altas corresponden a la atención a la familia (aunque su peso en esta ECOE ha sido pequeño), a la comunicación y a las habilidades técnicas, lo que refleja un cuidado especial de estos componentes por parte de los profesionales y, quizá también, el interés de la UD en la formación de los tutores en estos campos.
En cuanto a los resultados por casos, destaca que las puntuaciones más bajas y las de mayor dispersión se encuentren en los casos 4 (reanimación cardiopulmonar básica) y 5 (enfermedad pulmonar obstructiva crónica). En cuanto al resultado del caso 4, la explicación puede deberse a que únicamente 4 de los tutores evaluados trabajan en centros de salud rurales en los que se realiza atención continuada (guardias), lo que les obliga a tener más actualizada la formación en soporte vital básico. En el caso 5, el mayor peso recaía sobre el componente competencial de actividades preventivas, en el que se debía hacer un consejo breve para la cesación del hábito tabáquico: un olvido bajaba mucho la puntuación. El estrés que supone una prueba de estas características y el escaso tiempo disponible para cada caso (aunque bastante cercano al real) podrían explicar este resultado. De todas maneras, creemos que los resultados se pueden considerar buenos en la puntuación del resto de los casos y también de manera global.
En general, la aceptación de la prueba ha sido buena, aunque algunos tutores reflejaron en la evaluación algo de nerviosismo; incluso, uno de ellos señaló una afección de su autoestima.
Según los resultados, el esfuerzo de la UD de MFyC tendrá que ir dirigido a mejorar los componentes competenciales con peores resultados. Se intentará la formación en la realización de actividades preventivas (insistiendo en
la administración de consejos y otros aspectos de la entrevista motivacional). También se debería mejorar la exploración física utilizando instrumentos adecuados para la formación en este sentido (talleres, CD, pacientes estandarizados, videograbaciones con pacientes reales). Esto, probablemente, redundaría en una mejor formación de los residentes.
Las pruebas de evaluación clínica objetiva y estructurada pueden ser útiles para la evaluación de tutores, con el objetivo de orientar su formación en los puntos débiles e incluso para, en un futuro no muy lejano, servir como instrumento para acreditar y reacreditar a los tutores de residentes de MFyC.
Agradecimiento
Al comité de prueba, a los tutores que voluntariamente participaron, a Milagros Villamarín Casal por su dedicación, a Juan Pedro Moreno García y al distrito sanitario Huelva-Costa por las facilidades dadas, y a José Luis Sánchez Ramos por sus sabios consejos.
