Objetivo. Determinar qué variables relacionadas con los tutores se asocian a los resultados de las evaluaciones de sus residentes de tercer año.
Diseño. Estudio observacional transversal.
Emplazamiento. Todos los centros de salud docentes de la provincia de Valencia en 1994.
Participantes. Todos los tutores y residentes de tercer año, en total 78 personas.
Mediciones y resultados. La información se recogió a través de cuestionarios de creación propia, previamente validados, pudiéndose contrastar una misma información. Se obtuvieron buenas concordancias tutor-residente (0,51-0,65) en actividades docentes, supervisión del residente e integración en el equipo de atención primaria (IEAP); los residentes concordaron excelentemente (0,64-0,92) con sus tutores en sesiones e investigación del residente. Las variables de tutores que discriminaron los grupos de residentes fueron según ANOVA, Kruskal-Wallis o ji-cuadrado: demanda clínica, sesiones, número de revistas científicas leídas, número de sesiones supervisadas al residente, satisfacción con el residente e IEAP. Utilizando el método iterativo aglomerativo en análisis de cluster, se formaron 4 grupos de residentes, siendo las variables significativas (p<0,05).
Conclusiones. La IEAP y la actividad clínica son las variables de tutores que más han discriminado entre los grupos de residentes.
Introducción
En el programa nacional de la especialidad de medicina familiar y comunitaria (MFyC), se contemplan los criterios que deberían reunir los tutores extrahospitalarios de residentes en formación1. La influencia que estos criterios (clínicos, docentes y de actividades como miembro de un equipo de atención primaria [EAP]) puedan tener en la formación de los residentes de tercer año, al final de su período formativo, es desconocido en nuestro país2,3. En otros países se han realizado estudios de variables de tutores predictoras del rendimiento de sus residentes, encontrándose una buena correlación entre «más de 3 años de experiencia docente» y puntuaciones del rendimiento de residentes. Otras variables como «tiempo empleado con el residente», «situación jerárquica» y «currículo», no han podido demostrarse como buenas predictoras4. Actualmente existen prácticamente tantos sistemas de evaluación de residentes de MFyC como unidades docentes, favorecidos probablemente por la falta de adecuación del modelo de evaluación ministerial1. De la misma forma, la valoración de los criterios necesarios para ser tutor es bastante heterogénea. Si se tiene en cuenta que el tutor supervisa la formación del residente de forma directa en el tercer año de residencia, desarrollado enteramente en el centro de salud docente (CSD), y que el número de tutores aumenta cada año, sería necesario conocer qué características de los tutores se relacionan con el rendimiento de los residentes. Esto contribuiría a que los criterios de acreditación de tutores pudieran basarse en la evidencia. El objetivo del estudio es determinar las características de los tutores asociadas a los resultados de evaluación de sus residentes de tercer año.
Material y método
La población de estudio la constituyeron todos los tutores de MFyC de Valencia, y sus respectivos residentes de tercer año de 1994, en total 78 personas (39 tutores y 39 residentes), ubicados en 11 CSD. Se utilizó un diseño de estudio observacional transversal, obteniendo la información sobre las variables de tutores y residentes a través de cuestionarios de nueva creación, de una entrevista telefónica y de los archivos de la unidad docente (UD). Se utilizaron 3 cuestionarios, dirigidos uno al tutor, otro al residente y otro al coordinador del CSD. Los 3 cuestionarios utilizados fueron diseñados de tal forma que pudiera recogerse información de tutores aportada por ellos mismos y contrastada por sus residentes y/o coordinadores, e información de residentes aportada por ellos mismos y contrastada por sus tutores. Se realizó un pretest mediante la administración de cuestionarios a 12 tutores y sus respectivos residentes de Castellón, población de características similares a la de estudio. Tras el pretest, se suprimieron o modificaron del cuestionario del tutor 23 ítems, del original de 57, y del cuestionario del residente 18 ítems, del original de 39, no efectuándose cambios en el del coordinador.
Las variables del estudio, su escala de medida y la inclusión de cada una de ellas en los cuestionarios puede apreciarse en la tabla 1. Como se observa, en el cuestionario del tutor se recogieron 55 variables: a) 37 variables sobre datos personales, profesionales, actividad y actitud docente, actividad clínica, investigación e integración en EAP (IEAP); la actitud docente, actividad clínica e IEAP fueron contrastadas por residentes y/o coordinadores, y b) 18 variables de evaluación del residente, sobre habilidad clínica y de comunicación, docencia, investigación, actitud ante atención primaria (AP) e IEAP, contrastadas también por el propio residente. El cuestionario del residente recogió 32 variables: a) 10 que contrastaban información del tutor; b) 18 correspondientes a las variables de evaluación del residente (autoevaluación), y c) 4 sobre datos personales y satisfacción y actitud docente del tutor. La investigación y programas de salud o protocolos clínicos evaluados en el año se contrastó mediante entrevista telefónica a residentes, siendo realizada por los investigadores. El cuestionario del coordinador recogió 11 variables por cada tutor de su CSD referentes a actividad docente, clínica y de IEAP. Los cuestionarios definitivos fueron enviados por correo y autocumplimentados. Se abordó la validez de contenido e índices de fiabilidad (alfa de Cronbach) de los cuestionarios.
La concordancia de apreciaciones de actividades tutor-residente, tutor-coordinador se analizó a través del coeficiente kappa ponderado (Kw) en variables ordinales5,6. El Kw se expresó como un índice de desacuerdo7, de modo que los pesos cuadráticos asignados aumentaron conforme se incrementó el desacuerdo, mientras a los acuerdos se les asignó peso igual a cero. La concordancia de variables cuantitativas se analizó a través del coeficiente de correlación intraclase (CCI).
Se clasificó a los residentes en grupos mediante análisis de cluster de las 18 variables de evaluación del residente según las puntuaciones dadas por sus tutores, medidas en escala de Likert (en 15 era su escala original y 3 se recodificaron). La medida de similitud elegida entre 2 individuos fue la distancia euclídea al cuadrado8, que potencia las diferencias de puntuación en una escala ordinal. El método seguido en la agrupación de clusters fue el iterativo aglomerativo. El análisis de la variancia (ANOVA) del cluster identificó las variables que han influido de forma significativa en la formación de grupos. Para una orientación del número de grupos, se realizó previamente un análisis de cluster jerárquico.
Finalmente, se analizó en qué medida las 37 variables de tutores discriminaban los grupos de residentes. Para ello se realizó ANOVA, test de Kruskal-Wallis (K-W) y ji-cuadrado. Los cálculos se realizaron con el paquete estadístico SPSS/PC9, efectuándose contrastes bilaterales que fueron considerados significativos cuando p<0,05.
Resultados
La proporción de respuesta de los cuestionarios fue del 100%, tras recaptación personal. Las evidencias de validez de los cuestionarios se refieren a su contenido, que explora amplios aspectos de formación de residentes y actividades de los tutores referidas al programa nacional. El coeficiente de Cronbach se calculó de forma independiente para datos cuantitativos y ordinales, siendo en el cuestionario del tutor de 0,92 en ítems ordinales y de 0,41 en ítems cuantitativos; en el cuestionario del residente, de 0,88 en ítems ordinales y de 0,80 en ítems cuantitativos, y en el del coordinador, de 0,90 en ítems ordinales y de 0,23 en ítems cuantitativos.
De los 39 tutores (26 varones y 13 mujeres) 33 eran especialistas en MFyC (30 vía MIR) y 6 especialistas en medicina interna (4 vía MIR), siendo la mayoría (33) fijos. El resto de variables del tutor se muestra en la tabla 2. En relación a la actividad y actitud docente, las revistas científicas habitualmente leídas fueron: Atención Primaria, Jano, Medicina Clínica, Información Terapéutica del SNS y British Medical Journal (edición española). Las revistas en las que más frecuentemente han publicado artículos fueron: Atención Primaria, publicaciones de la semFYC y monografías sanitarias. La organización de la consulta con el residente tuvo diferentes modalidades: 18 residentes pasaban consulta 2 o 3 días a la semana, 6 residentes en minicupo (un tercio del cupo asignado al tutor es atendido por el residente), 12 residentes pasaban parte de la consulta a diario, y 3 se organizaban de formas heterogéneas. La evaluación de algún programa de salud o protocolo en los últimos 3 años fue referido por 30 tutores.
Los residentes (7 varones y 32 mujeres) tenían una edad media de 33 años (DE, 4). Valoraron la actitud docente del tutor y la satisfacción global con el mismo con una mediana de 5 (muy bien) de la escala de Likert. Los resultados de evaluación de residentes por los tutores se muestran en la tabla 3. En la tabla 4 se expone la concordancia de apreciaciones entre tutores, residentes y coordinadores.
Para la formación de grupos de residentes, uno fue excluido por falta de puntuaciones en varios ítems, refiriéndose los resultados a 38 residentes. Las 18 variables de evaluación, con una puntuación máxima posible de 90, contribuyeron a formar 4 grupos diferenciados: el grupo 1, formado por 17 residentes, obtuvo una puntuación total (expresada en mediana) de 84; el grupo 2, de 9 residentes, obtuvo 77; el grupo 3, de 2 residentes, obtuvo 75, y el grupo 4, de 10 residentes, 69. Las siguientes variables fueron significativas (p<0,05) en la formación de los grupos tras el ANOVA del análisis de cluster: motivación para la AP, puntualidad, cumplimiento de tareas encomendadas por el tutor, habilidad en entrevista clínica, habilidad en enfoque diagnóstico, utilización racional de pruebas complementarias, habilidad en el tratamiento farmacológico, derivación de pacientes a otros niveles de atención, enfoque de pacientes hacia programas de salud, relaciones humanas con pacientes y familia, número de programas de salud o protocolos evaluados por el residente, IEAP con médicos, con enfermería, con el trabajador social, con administrativos y sesiones. El número de estudios de investigación en los que el residente ha trabajado (p=0,357) y la responsabilidad en la labor asistencial (p=0,078) no contribuyeron en la formación de los grupos. En la figura 1 se muestran las características de éstos. Como se aprecia, los 4 grupos obtuvieron medianas de 4 o 5 en la mayoría de variables, diferenciándose en lo siguiente: el grupo 1 obtuvo medianas de 3 en evaluación de programas o protocolos y sesiones totales; el grupo 2 medianas de 2 en sesiones; el grupo 3 medianas de 3 en la IEAP con administrativos y de 2 con enfermería y trabajador social; el grupo 4 obtuvo medianas de 3 en evaluación de programas, sesiones e IEAP con el trabajador social.
En la discriminación de los grupos de residentes por características de los tutores, uno de éstos fue excluido por falta de datos en algunas variables, refiriéndose los resultados a 38 tutores. De las 37 variables consideradas de forma independiente, las siguientes fueron significativas (p<0,05) en la diferenciación de los grupos: pacientes/semana atendidos en el centro a demanda, años trabajados en un EAP, pacientes/semana atendidos fuera del centro a demanda, pacientes/semana en visita concertada fuera del centro e incluidos en programa de salud, sesiones totales, número de revistas científicas leídas habitualmente, número de sesiones supervisadas al residente, satisfacción con el residente, IEAP con médicos, con enfermería y con el trabajador social. En la tabla 5 se muestran las variables según los grupos de residentes. Como puede apreciarse, los pacientes/semana atendidos en el centro a demanda fue la única variable que presentó una relación decreciente conforme decrecía la puntuación global de los grupos de residentes. El grupo 1 destacó por la media más elevada en demanda en el centro y puntuaciones altas en la IEAP de los tutores; el grupo 2 por el menor número de pacientes/semana en visita concertada fuera del centro, menor número de sesiones del tutor y sesiones supervisadas al residente; el grupo 3 por el mayor número de pacientes/semana atendidos fuera del centro, sesiones del tutor y supervisadas al residente, así como del número de revistas leídas, y puntuaciones más bajas en la IEAP; el grupo 4 destacó por tutores con más años de trabajo en un EAP, menor demanda clínica e inferior satisfacción con el residente.
Discusión
Los tutores manifiestan una satisfacción alta con la docencia y presentan un perfil profesional adecuado a la formación de residentes, dada su formación MIR, experiencia profesional y docente. Destaca la baja producción científica expresada en publicaciones, aunque las comunicaciones a congresos dan una cifra más elevada. En un estudio donde había representación de 40 UD del país10, se refleja la necesidad de formación en métodos de investigación, como la más sentida por parte de los tutores (41,3%), apoyando en alguna forma la baja producción científica constatada en el presente estudio. Las evaluaciones de residentes muestran puntuaciones altas en la mayoría de los ítems, hecho frecuentemente constatado en este tipo de evaluaciones donde tutores supervisan directamente residentes11. En relación a los trabajos de investigación en los que participa el residente, en el estudio de Gayoso et al10 la media era 1,9 frente a 2,2 del presente estudio. Las concordancias entre tutores, residentes y coordinadores, utilizando la clasificación de Landis and Koch12, muestran que las del tutor-residente son en general mayores que las de tutor-coordinador para variables del tutor. Tutores y residentes presentan entre buenas y excelentes concordancias en actividades docentes, y supervisión del residente. Tutores y coordinadores concuerdan entre regular y sustancialmente en actividades clínicas y de responsabilidad en el CSD, siendo los datos aportados por el tutor sistemáticamente más altos que los del coordinador. La IEAP de los tutores, valorada tanto por coordinadores como por residentes, también pone de manifiesto la mayor concordancia tutor-residente que tutor-coordinador. Los residentes concuerdan excelentemente con las evaluaciones de sus tutores en sesiones e investigación del residente entre moderada y sustancialmente en la IEAP, existiendo un acuerdo entre pobre y regular en habilidades clínicas, motivación y puntualidad. En general los tutores puntúan más alto a sus residentes de lo que ellos mismos lo hacen. Ha de tenerse en cuenta la amplitud de los IC en los coeficientes en la tabla 4, indicación de insuficiente poder estadístico. Son conocidos los inconvenientes de utilizar el coeficiente kappa como concordancia que tiene en cuenta el azar13,14. El principal estriba en que el kappa es una medida de la frecuencia del acuerdo exacto más bien que una medida de acuerdo aproximado. El coeficiente varía según la prevalencia del fenómeno medido, de forma que tanto prevalencias muy bajas como muy elevadas pueden dar lugar a un coeficiente bajo. Otra característica es que sus valores descienden conforme aumentan las categorías de la variable. Cuando se calcularon las diferencias en valor absoluto de puntuaciones entre tutores-residentes y tutores-coordinadores para variables ordinales (datos no mostrados), los coordinadores discrepaban de sus tutores en 2 o 3 rangos de manera más frecuente de la que lo hacían los residentes. En el estudio de Gayoso et al10 se menciona el buen acuerdo alcanzado entre tutores y residentes sobre sesiones clínicas del tutor, aunque no se muestran índices. En un metaanálisis de 36 comparaciones de psicología ocupacional15 se encontró que la correlación media entre puntuaciones del tutor y el estudiante era de 0,35 (IC del 90%, 0,17-0,53), sugiriendo un acuerdo moderado. Otros estudios en educación médica informan de correlaciones tutor-residente en un rango similar (0,32), destacando la inferior puntuación que los residentes se conceden a sí mismos, dato que también se da en este estudio16. En el estudio de Hay17, donde se compararon las puntuaciones de evaluación de estudiantes de terapia ocupacional dadas por sus tutores con la de ellos mismos, las correlaciones globales de 10 ítems que comprendían habilidades de aprendizaje, habilidades de grupo, conocimientos y razonamiento crítico, fueron desde 0,49 hasta 0,84, a lo largo de varios períodos de evaluación formativa. Los autores constataron que al principio los estudiantes se autocalificaban más alto que sus tutores, y al final, más bajo, alcanzándose una disminución de las oscilaciones de diferencias tutor-estudiante a medida que aumentaba el número de evaluaciones. La variación de puntuaciones obtenidas en evaluaciones formativas o sumativas ha sido también constatado por otros investigadores11. Las autoevaluaciones de residentes constituyen una forma de autovaloración que puede motivar y dirigir el aprendizaje continuo17. Aunque la mayoría de evaluaciones en otros países son realizadas por tutores, existe una proporción no desdeñable (3%) de ellas donde se tiene en cuenta la opinión del evaluado15,18.
Los resultados de evaluaciones de residentes permiten diferenciar 4 grupos, a pesar de las altas puntuaciones dadas por sus tutores. De los 18 ítems, sólo 2 (responsabilidad en la labor asistencial y número de estudios de investigación en los que el residente se ha implicado) no han contribuido en la formación de los grupos. De los 16 restantes, las sesiones y la IEAP son las que más han contribuido a diferenciar los grupos. Las características de estos grupos no permiten distinguir claramente residentes «mejores» y «peores», sino mejores o peores resultados en aspectos específicos de su formación correspondiente a los objetivos del residente de MFyC de tercer año. Los grupos muestran alta satisfacción global con su tutor y con su actitud docente (datos no mostrados). El análisis de cluster permite obtener un número diferente de grupos en función de las distancias elegidas entre individuos. Previamente al resultado final de este estudio en 4 grupos, se llevó a cabo análisis de cluster jerárquico empleando varias distancias en la formación de grupos, obteniéndose resultados bastante similares al presentado como definitivo, lo que apoya una estructura básica de los datos.
De las características de tutores, tan sólo 11 han diferenciado los grupos de residentes, sin permitir una clara interpretación de la tendencia de las variables, aunque algunos aspectos se muestran relevantes. Tutores que se autocalifican a sí mismos con bajas puntuaciones en la IEAP, puntúan también bajo a sus residentes. Tutores con alto número de sesiones realizadas en el año, puntúan alto número de sesiones a sus residentes, a la vez que más sesiones les supervisan. Tutores con mayor número de años trabajados en un EAP, menor demanda clínica e inferior satisfacción con el residente, son los que puntúan más bajo a los residentes. Podría interpretarse que tutores con alta actividad clínica y buena IEAP forman mejor a sus residentes o son más condescendientes; que tutores con alta actividad docente y menor IEAP influyen en sus residentes en parecidos aspectos, y que tutores con más experiencia y menor demanda clínica son más exigentes. Dado el diseño transversal y la fuente de datos con la que se ha trabajado, lo anterior necesitaría posterior investigación. El estudio de Taylor y Lipsky4 encontró una correlación positiva entre los años de actividad docente de tutores y la predicción de puntuaciones en la evaluación de residentes de MFyC, valoradas por el American Board of Family Practice In-Training Examination. Este dato es difícil de comparar con los resultados del presente estudio, ya que la influencia de la variable fue contrastada en individuos y con referencia a una prueba estandarizada. En el presente estudio, los años de tutor está altamente correlacionada con los años trabajados en un EAP, mostrando una relación inversa con la puntuación global del residente. En los resultados hay que tener en cuenta que los datos han sido obtenidos mayoritariamente de una sola fuente: las apreciaciones del tutor, tal como se plantean las evaluaciones actuales de residentes. La medición de las actividades y actitudes del residente en función de la valoración subjetiva del tutor entraña un probable sesgo de medición4. Es razonable que valoraciones en la IEAP o la actitud ante AP sean medidas de esta forma11,19-21. Sin embargo, dadas las bajas correlaciones obtenidas entre valoraciones de habilidad clínica y pruebas objetivas estandarizadas22, es impreciso medir la habilidad clínica, investigación o la evaluación de programas de salud de una forma únicamente no objetiva23. En los estudios de Ramsey et al19,24, diseñados para explorar valoraciones efectuadas a internistas por médicos y enfermeras sobre competencia clínica, calidad humana y capacidad de comunicación, se obtuvo una puntuación fiable cuando al menos 11 profesionales emitían una valoración sobre cada internista. De acuerdo a estas evidencias, evaluaciones de residentes basadas en valoraciones de otros profesionales deberían contemplar al menos una cifra parecida de evaluadores, estudiando previamente el acuerdo interevaluador. La heterogeneidad de métodos seguidos en los procesos de evaluación fue estudiada por Lancaster et al25. La prevalencia de 21 métodos diferentes de evaluación de residentes de MFyC en Estados Unidos y Puerto Rico puso de manifiesto que la evaluación por objetivos era del 81%, y las pruebas objetivas clínicas entre el 52% para la monitorización de relación residente-paciente hasta el 9% para el OSCE (objective structured clinical examination). Aunque en nuestro país aún está en fase de inicio la introducción de pruebas de evaluación clínica objetivas26, es deseable que su aplicación se extienda a todos los programas de formación de residentes.
A continuación se perfilan propuestas de futura investigación sobre capacidad docente de tutores y evaluación de residentes: a) evaluación de la competencia clínica a través de métodos objetivos; b) determinar en qué medida la autoevaluación de residentes ayuda a mejorar la capacidad de autovaloración, encaminada a dirigir la formación continua; c) evaluación de la competencia del tutor en aspectos clínicos, metodológicos y de actitud docente, encaminada a obtener unos criterios válidos de acreditación docente que predigan una formación de calidad del residente27,28, y d) metodología en la supervisión directa del tutor hacia el residente, integrando técnicas cualitativas y cuantitativas29,30.
Como conclusiones destacamos las siguientes: los tutores estudiados presentan un adecuado perfil profesional y son bien valorados por sus residentes; las evaluaciones de los residentes son muy altas, a pesar de lo cual han permitido distinguir 4 grupos diferenciados en aspectos concretos de su formación, siendo las sesiones y la IEAP las variables que más han distinguido los grupos; los residentes concuerdan mejor con los tutores que los coordinadores; la IEAP y la actividad clínica son las variables de tutores que más han discriminado entre los residentes.
Agradecimiento
A todos los tutores, residentes y coordinadores de centros docentes de Valencia, así como al personal administrativo de la Unidad Docente de MFyC, por su colaboración en el estudio.
Este estudio ha sido financiado por el Fondo de Investigaciones Sanitarias del Ministerio de Sanidad y Consumo Español (95/1.192).
