Introducción
La enseñanza de la medicina en México ha requerido del análisis de numerosos foros cuyas conclusiones se han dirigido a mejorar la preparación de futuros médicos. La Federación Panamericana de Facultades y Escuelas de Medicina (FEPAFEM) ha propuesto la necesidad de una política continua de actualización de los planes de estudio, con la meta final de una formación médica de excelencia1.
En cualquiera de las especialidades médicas se establece como objetivo el desarrollo de habilidades para la solución de problemas y el autoaprendizaje. Tradicionalmente, la evaluación se basa en la medición de conocimientos mediante la aplicación de diversos tipos
de exámenes, así como en el juicio subjetivo de los profesores. Este juicio ha sido un elemento relevante para la evaluación; sin embargo, aunque es especialmente valioso, se hace necesario plantear nuevas formas que permitan aplicar estrategias e instrumentos para evaluar, en su justa dimensión, elementos objetivos y cuantitativos sobre las competencias clínicas que desarrollan los médicos durante su proceso de capacitación en el posgrado.
Con esta perspectiva se hizo la búsqueda de esas nuevas formas y se analizó la metodología del Examen Clínico Objetivo Estructurado (ECOE), diseñado y aplicado por Harden et al a partir de 19752, que se ha considerado el patrón oro para evaluar las competencias clínicas3. La experiencia de 8 años en el uso del ECOE ha sido de gran utilidad para desarrollar proyectos semejantes4 como el de México en la Universidad Nacional Autónoma de México (UNAM), donde se aplicó a los estudiantes de medicina durante el internado de pregrado5. Los resultados obtenidos permiten observar que mediante esta metodología se evalúan las capacidades clínicas, detectando tanto el grado de avance como las deficiencias en su desarrollo, lo que justifica su aplicación a los médicos del posgrado de medicina familiar durante su capacitación5.
En el Curso de Especialización en Medicina Familiar de la Facultad de Medicina de la UNAM, la competencia clínica se evalúa considerando tres dimensiones: la cognoscitiva, la afectiva y la psicomotriz, cada una por separado mediante procedimientos e instrumentos que, si bien han demostrado su utilidad, han carecido de un vínculo metodológico y práctico que facilite integrar las tres dimensiones para comprender, así, sus interrelaciones e interacciones.
La evaluación de las competencias clínicas se ha llevado a cabo mediante este procedimiento en diversas escuelas de Medicina de los Estados Unidos de Norteamérica6,7, e incluso se han escrito libros dirigidos a ilustrar la solución de problemas con miras a resolver exámenes de este tipo en ginecología y obstetricia8; asimismo, se han diseñado manuales para la preparación de escenarios y pacientes estandarizados en la enseñanza y evaluación de bioética9. La evaluación de conocimientos en otras áreas de la medicina como la pediatría se han sistematizado mediante la aplicación del ECOE10 y las ventajas obtenidas mediante este tipo de instrumentos se han referido ampliamente6. Es por estas razones que el Departamento de Medicina Familiar de la Facultad de Medicina de la UNAM consideró necesario mejorar su sistema de evaluación probando el ECOE inicialmente en 10 áreas de competencia clínica.
El propósito de este trabajo fue valorar el nivel de competencia clínica de los residentes que terminaron el primer año del Curso de Especialización de Medicina Familiar, de la Facultad de Medicina de la UNAM, evaluando de manera simultánea las áreas cognoscitiva, afectiva y psicomotriz mediante el ECOE. Por la magnitud de este trabajo, se describen los resultados generales de la investigación; en futuras comunicaciones se abordará inferencias de las comparaciones y las asociaciones encontradas.
Material y métodos
Fase 1: diseño de instrumentos, validez de contenido y elaboración de material de apoyo
Con el propósito de dar validez de contenido a los instrumentos que se aplicaron en el ECOE, se realizaron dos actividades: una revisión de los contenidos temáticos del Plan Único de Especialidades Médicas (PUEM)11, que en México rige los programas académicos de los cursos de especialización en medicina y la identificación de las 10 principales causas de morbilidad en dos clínicas de primer nivel de atención, y dos hospitales del área metropolitana en los que se capacita a médicos de la especialidad en medicina familiar.
Se seleccionó a siete especialistas expertos en medicina familiar, profesores del Departamento de Medicina Familiar de la Facultad de Medicina de la UNAM, quienes hicieron una propuesta para elaborar las listas de cotejo y materiales que se aplicaron en el ECOE; se seleccionaron 10 temas (estaciones): trastornos menstruales, diabetes mellitus, estudio de familia, enfermedades de transmisión sexual, control del niño sano, sexualidad, abdomen agudo, cardiopatía isquémica, enfermedad pulmonar obstructiva crónica (EPOC) e hipertensión arterial.
Ocho de las estaciones incluyeron procedimientos que permiten evaluar la interacción con el paciente (estaciones dinámicas) y en dos sólo se presentaron resúmenes clínicos (estaciones estáticas).
La competencia clínica se ha considerado un conjunto de atributos multidimensionales que incluyen conocimientos teóricos, habilidades clínicas, relaciones interpersonales, solución de problemas, juicio clínico y destrezas técnicas5. Para valorar esta competencia clínica los expertos seleccionaron los elementos que se consideraron relevantes en cada estación: interrogatorio, exploración física, interpretación de estudios paraclínicos, integración de diagnósticos y tratamiento, así como habilidades para la comunicación interpersonal.
Para facilitar el registro específico y preciso de la ejecución de las actividades que realiza el médico, se eligió como instrumento la lista de cotejo, que aborda de forma integral un solo procedimiento para la atención a la salud12. Los expertos se aseguraron de que el instrumento incluyera todas la tareas y actividades relevantes para evaluar la competencia clínica. La calificación mínima aceptable para aprobar cada estación se estableció en la realización del 60% del total de actividades que valora cada ítem en las listas de cotejo, y para su calificación se aplicó una ponderación porcentual de los ítems según la importancia que los expertos asignaron para cada área de competencia clínica en cada una de las estaciones, de tal manera que la suma de los porcentajes ponderados asignados fuera 100%.
Para el cumplimiento de las actividades de cada estación, se tomó como referencia el tiempo estándar nacional de duración de una consulta médica familiar en las instituciones de salud y se estimó que 10 min sería un tiempo suficiente, lo que fue corroborado en la prueba piloto.
Se elaboraron los materiales de apoyo para cada estación, que incluyeron resúmenes de casos clínicos, listas de cotejo, estudios de laboratorio y gabinete. Las listas de cotejo fueron elaboradas por médicos familiares y se validaron por pares académicos diferentes del grupo original de expertos. Se crearon 10 listas de cotejo diferentes (una para cada estación). Se presenta como ejemplo la lista de cotejo para la estación de diabetes mellitus (fig. 1).
Figura 1. Lista de cotejo de diabetes mellitus (estación 2).
Con el propósito de establecer un comportamiento uniforme ante cada médico evaluado, se preparó a 8 personas como pacientes para que representaran un problema de salud en forma consistente. Este procedimiento se identifica con el nombre de «paciente estandarizado»13-18. Los pacientes estandarizados fueron médicos y personal del Departamento de Medicina Familiar.
Fase 2: escenario clínico, población evaluada y aplicación del ECOE
Previa capacitación de los evaluadores, se aplicó una prueba piloto en una unidad médica de primer nivel de atención, que permitió valorar el tiempo adecuado para la aplicación del ECOE en las 10 estaciones, así como la mejora de las listas de cotejo tanto en su formato como en su constructo. En febrero de 2001 se evaluó a 89 médicos residentes que terminaron el primer año del Curso de Especialización en Medicina Familiar inscritos en el Programa Académico Universitario, de las siguientes sedes: Unidades de Medicina Familiar números 8, 20, 21, 28, 33 y 94 del Instituto Mexicano del Seguro Social (IMSS) y del Centro de Salud Dr. José Castro Villagrana de la Secretaría de Salud del Distrito Federal (SSDF).
Los exámenes se realizaron en la Clínica de Medicina Familiar Oriente, del Instituto de Seguridad y Servicios Sociales de los Trabajadores del Estado (ISSSTE), con una duración de 2 h, en las que se incluyó la información logística para los alumnos, la aplicación del examen, así como de un cuestionario para identificar su opinión acerca de esta nueva modalidad de evaluación.
La aplicación del ECOE se realizó de la siguiente forma:
Los alumnos fueron distribuidos en grupos de 10 en el mismo número de consultorios en donde se encontraba un paciente estandarizado y un examinador, así como las listas de cotejo, los instructivos para los alumnos y materiales de apoyo suficientes para la evaluación clínica, excepto en las estaciones de sexualidad y EPOC, que fueron estáticas.
Los examinados rotaron en forma consecutiva por las 10 estaciones con un tiempo de 10 min, indicando con un altavoz el cambio a la siguiente estación. En las estaciones dinámicas el examinador tenía una lista de cotejo detallada en donde anotaba lo que el alumno realizaba en el tiempo previamente estipulado. En las estáticas, no fue necesaria la presencia del examinador.
Indicadores de ejecución
El desempeño de la competencia en cada una de las estaciones fue considerado en términos del número de conductas observables que realizó el médico examinado, de acuerdo con la lista de cotejo elaborada. El criterio para considerar un nivel de desempeño competente fue establecido en 60, tanto para problemas individuales como para el resultado global del examen.
Análisis estadístico
Se utilizó el análisis univariado, en el que se determinaron medidas de resumen (frecuencias simples y porcentajes) y medidas de tendencia central y dispersión para cada una de las estaciones por alumno. Se diseñó una base de datos para concentrar la información utilizando el programa Excel, versión 7.0. El análisis estadístico se realizó con el programa SPSS, versión 9.0.
Resultados
En la tabla 1 se presentan las medias, desviaciones estándar (DE) y puntuaciones mínima y máxima obtenidas en cada estación. El promedio global de las calificaciones de todas las estaciones no llegó a 60. En las estaciones de angina de pecho, enfermedad de transmisión sexual, hipertensión arterial, estudio de la familia y EPOC se obtuvieron calificaciones por debajo del mínimo establecido de 60 puntos; el intervalo de estas estaciones fue desde 59,68 a 44,45 en sus promedios (fig. 2). En las estaciones de control del niño sano, trastornos menstruales, sexualidad, abdomen agudo y diabetes mellitus se obtuvieron calificaciones con un intervalo de 73,01 a 61,25 en los promedios (fig. 3).
Figura 2. Comparación de promedios porcentuales por tipo de estación. Estaciones con menor promedio.
Figura 3. Comparación de promedios porcentuales por tipo de estación. Estaciones con mayor promedio.
Es importante señalar que en las estaciones de trastornos menstruales, control del niño sano y diabetes mellitus, las DE de las puntuaciones obtenidas mantuvieron valores entre 9,89 y 10,53; en contraste, las estaciones de estudio de familia, angina estable e hipertensión arterial presentaron una variabilidad importante, que fue desde 14,76 a 16,96 en sus valores de DE. En la estación de estudio de familia, donde se solicita la elaboración de genogramas y de diagnóstico de acuerdo con su clasificación, se obtuvo un promedio bajo (48,48).
Se observa una amplia dispersión entre las evaluaciones de las diferentes unidades académicas, sobre todo en las estaciones de enfermedades de transmisión sexual, hipertensión arterial y estudio de familia. En contraste, las estaciones con mayor promedio obtenido por los residentes evidenciaron menos dispersión, excepto la estación de sexualidad, donde hubo diferencias entre las unidades académicas.
Las estaciones de control de niño sano, trastornos menstruales, abdomen agudo y diabetes mellitus demostraron menor dispersión de los promedios y DE en sus resultados a través del ECOE (fig. 3).
Discusión
Los resultados obtenidos permiten evaluar la competencia clínica a través del ECOE en dos perspectivas: las calificaciones obtenidas, que reflejan el rendimiento escolar, y las ventajas de aplicar un examen que integra la evaluación de las áreas cognoscitivas con las habilidades clínicas e interpersonales.
En general, en anteriores evaluaciones sin la aplicación del ECOE los médicos residentes han obtenido promedios de calificaciones de ocho o superiores. Mediante esta nueva modalidad de evaluación, el rendimiento académico no fue el mismo, puesto que en ninguna de las estaciones se obtuvieron promedios porcentuales mayores a 73 y en cambio 50% de las estaciones obtuvo puntuaciones inferiores a 60. Esta inferencia no puede atribuirse al grado de dificultad del examen; consideramos que es necesario reforzar la capacitación técnica de los médicos en la realización de actividades clínicas.
Llama la atención que en las puntuaciones obtenidas en la estación que exploró el estudio de la familia se haya observado un promedio porcentual muy bajo. En cambio, en la estación de control de niño sano se obtuvo la puntuación más alta.
En este estudio se evaluó la competencia clínica de los médicos residentes de primer año mediante la metodología e instrumentos del ECOE. Los procesos desarrollados para el diseño y validación de los contenidos, así como de los instrumentos que se aplicaron, permitieron valorar los elementos esenciales para la evaluación de la competencia clínica. El ECOE favoreció una integración de las tres dimensiones de evaluación educativa y permitió una evaluación más objetiva de los atributos multidimensionales que constituyen la competencia clínica.
La aplicación del ECOE facilitó establecer las siguientes consideraciones:
El examen aplicado cuenta con niveles de validez y fiabilidad mayores que los exámenes que se han aplicado de forma tradicional.
Permite al evaluador controlar las variables de confusión atribuibles a elementos afectivos o circunstanciales, tanto del examinador como del paciente.
Pueden especificarse por anticipado los criterios de aprobación del examen.
No se identificó evidencia de que el orden en que los alumnos pasaron a cada estación haya influido en la calificación. Esto permite inferir que el número de estaciones utilizadas en este estudio no modificó el resultado obtenido.
Aunque el diseño de materiales, validación, prueba de instrumentos, capacitación de examinadores y pacientes estandarizados ocupa una gran cantidad de tiempo, se considera que se justifica por las ventajas obtenidas.
No fue posible establecer una evaluación de calidad en la realización de las actividades que se evaluaron en las listas de cotejo. Su escala fue dicotómica considerando el cumplimiento o no de la misma. Se establece como un objetivo futuro el desarrollo de una escala cuantitativa de evaluación que contribuya a mejorar su nivel en cada actividad desarrollada durante el examen.
La aplicación del ECOE abre nuevas perspectivas y retos para la evaluación educativa en el ámbito de la medicina. La modificación de las escalas de calificación de un nivel nominal a una escala de intervalo harán más fina la evaluación y permitirán una visión de calidad en el desarrollo de las habilidades y destrezas clínicas. La integración de elementos subjetivos, como la habilidad para la comunicación y el desarrollo de actividades médicas preventivas, serán sello característico de la actividad médica del profesional de la salud, que requiere un sistema de atención de alto nivel de eficiencia, atendiendo a las premisas internacionales de calidad, equidad, coste-efectividad y atención de las prioridades sanitarias.
Agradecimiento
Queremos expresar nuestro agradecimiento por su colaboración a los Dres. Pedro Dorantes Barrios, Miguel Ángel Hernández Hernández, Isaías Hernández Torres y Claudia Teresa Monobe Hernández, por su participación en la elaboración y valoración de las listas de cotejo.
Correspondencia: José Antonio Toledo García. Departamento de Medicina Familiar. Facultad de Medicina. Universidad Nacional Autónoma. Circuito Escolar, Ciudad Universitaria. Delegación Coyoacán. CP 04510 México DF. México.
Manuscrito aceptado para su publicación el 4-III-2002.
