La residencia es un modelo de formación profesional basado en la práctica supervisada. El Mini Clinical Evaluation Exercise (Mini-CEX) es una herramienta de evaluación mediante la observación directa. Permite diseñar estrategias para mejorar el desempeño profesional.
El objetivo de este estudio es analizar los resultados del Mini-CEX aplicado a residentes de pediatría durante su rotación en el primer nivel de atención, explorando diferencias según la sede formativa a la que pertenecen.
MétodosSe realizó un estudio analítico de corte transversal con residentes de segundo año de pediatría de hospitales pediátricos y generales que se encontraban realizando su rotación en el primer nivel de atención. Se realizaron dos Mini-CEX por residente y se evaluaron 8 áreas por participante: anamnesis, habilidades de comunicación con el paciente y con los cuidadores, examen físico, criterio clínico, tratamiento, profesionalismo y organización.
ResultadosParticiparon 34 residentes. La valoración global total de los residentes de hospitales pediátricos fue 4,20 (4,07-4,34). De hospitales generales, 4,14 (3,94-4,34).
No se observaron diferencias estadísticamente significativas en las áreas evaluadas según la sede formativa de los residentes.
ConclusiónLa utilización del Mini-CEX como herramienta de evaluación en el primer nivel de atención permitió detectar debilidades y fortalezas de la formación de los residentes. Su aplicación estuvo atravesada por limitaciones propias de este escenario. La estandarización de las evaluadoras fue clave para la homogeneización de criterios.
A residency is a professional training system based on supervised clinical practice. The Mini Clinical Evaluation Exercise (Mini-CEX) is a method of assessment through direct observation that enables the design of strategies to improve professional performance.
The purpose of this study is to analyze the results of implementing the Mini-CEX to assess pediatric residents during their rotation at the first level of care while exploring differences according to the training site to which they belong.
MethodsWe conducted an analytical cross-sectional study that included 2nd-year pediatric residents on rotation at the first level of care in pediatric and general hospitals. Each resident underwent two Mini-CEX encounters for the assessment of 8 domains: history taking, communication skills with patients and with caregivers, physical examination, clinical judgment, clinical management, professionalism, and organization.
ResultsThirty-four residents participated in the study. The total overall rating of residents from pediatric hospitals and general hospitals was 4.20 (4.07-4.34) and 4.14 (3.94-4.34), respectively. We found no statistically significant differences in the areas assessed according to the residents’ training site.
ConclusionThe Mini-CEX as an assessment tool within the first level of care allowed the detection of strengths and weaknesses in residents’ training. Implementation was affected by limitations inherent to this setting. Standardization of assessors was a key element for criteria unification.
La residencia de pediatría es un modelo de formación profesional remunerado, de dedicación exclusiva, basado en la práctica clínica con supervisión permanente, que requiere de un proceso de evaluación periódico. Las residencias pediátricas en la Ciudad Autónoma de Buenos Aires (CABA) se rigen bajo la Ley 40.9971 y presentan un programa unificado para las 13 sedes que lo componen: 2 hospitales especializados pediátricos y 11 generales de agudos. La residencia está estructurada en 4 años de complejidad creciente y autonomía progresiva, y uno de los escenarios donde se desarrolla es en los Centros de Salud y Acción Comunitaria (CeSAC). Estos están distribuidos por toda la CABA y constituyen efectores claves en la estrategia de descentralización sanitaria. En el segundo año de formación, rotan durante 3 meses en los CeSAC 1, 5, 11 y 15, donde realizan atención clínica supervisada por instructoras de residentes y participan en actividades de Promoción, Protección y Educación para la Salud, profundizando el concepto de Atención Primaria de la Salud y valorando el impacto del medio socio-económico-cultural en las familias.
En el campo de la educación médica, se evalúan conocimientos y competencias profesionales2,3, las cuales están categorizadas en 4 niveles en la Pirámide de Miller, en cuyo vértice se presenta el «hacer»4. El Mini Clinical Evaluation Exercise (Mini-CEX) es un método basado en la observación directa de la práctica médica con un perfil formativo, permitiendo implementar estrategias docentes para mejorar el desempeño profesional5–8. El feedback es una devolución constructiva que promueve las capacidades reflexivas del residente y permite elaborar un plan de acción9–13, siendo clave para esta herramienta.
Existen múltiples experiencias con la utilización del Mini-CEX en hospitales de diferentes países y especialidades médicas14–20. Esta metodología ha demostrado ser válida, fiable, factible, de fácil aplicabilidad, bajo costo y tener buena aceptación21.
Describiremos los resultados de la utilización del Mini-CEX en residentes de pediatría en los CeSAC, como primera experiencia en el primer nivel de atención. Exploraremos si existen diferencias en las competencias adquiridas según la sede formativa, para fortalecer la formación de los residentes, teniendo en cuenta que los escenarios, la población y el plantel docente de los CeSAC son diferentes.
ObjetivoAnalizar los resultados del Mini-CEX aplicado a residentes de pediatría durante su rotación en los CeSAC, explorando diferencias según la sede formativa a la que pertenecen.
MétodosSe realizó un estudio analítico de corte transversal en el periodo del 1 de octubre de 2018 al 30 de abril de 2019, con residentes de segundo año de pediatría del Gobierno de la Ciudad de Buenos Aires que rotaban en los CeSAC 1, 5, 11 y 15. Los residentes que participaron del estudio provenían de hospitales monovalentes pediátricos y de hospitales generales de agudos.
Para este estudio, se utilizó la versión de la planilla de evaluación de Mini-CEX pediátrico del Royal College of Paediatrics and Child Health22 traducida al español.
Las evaluadoras fueron 4 pediatras que se desempeñan como instructoras, supervisando residentes, y fueron capacitadas durante 5 encuentros previos al inicio del proyecto. Allí se presentó la herramienta, se unificaron criterios de evaluación trabajando sobre una lista de descriptores de cada competencia6,13 y se analizaron 4 filmaciones de consultas (previo consentimiento informado del residente y del paciente) para ejercitar la modalidad de evaluación y el uso de la planilla.
En este estudio, una evaluadora observó un encuentro clínico y calificó al residente en los siguientes aspectos: anamnesis, habilidades de comunicación con el paciente y con los cuidadores primarios, examen físico, criterio clínico, tratamiento inicial, profesionalismo y organización de la consulta. La escala de puntuación de cada área fue de 1 a 6, siendo 1 insatisfactorio, 2 por debajo de las expectativas, 3 en el límite de las expectativas, 4 cumple las expectativas, 5 supera las expectativas y 6 muy por encima de las expectativas. Las observaciones se realizaron con pacientes que concurrían por primera vez o estaban en seguimiento y podían corresponder a controles de salud o a demanda espontánea. Las observadoras indicaron en la planilla el grado de complejidad que presentaba la consulta, siendo la escala de «Baja» a «Alta» (fig. 1). Se realizaron dos evaluaciones formativas por residente, una al mes de iniciada la rotación y otra al finalizarla, con sus feedback respectivos.
Se realizó un análisis de la evolución de los puntajes de las dos observaciones y se compararon los resultados obtenidos según la sede formativa a la cual pertenecían los residentes. Se evaluó la consistencia interna global del instrumento en español mediante el cálculo del coeficiente alfa para variables de escalas ordinales (alfa ordinal).
AnálisisSe describieron las variables cuantitativas mediante sus valores centrales y dispersiones y las variables cualitativas mediante proporciones. Para el análisis de valores medios se realizó el test U de Mann-Whitney o el test t de Student según el comportamiento de las variables (test Kolmogorov-Smirnov). Se consideró significativo p<0,05. El análisis fue realizado con los paquetes estadísticos SPSSR versión 23, R versión 4.0.2.
La población fue seleccionada de los 4 centros de atención primaria a donde asisten los residentes durante su formación (N=34).
Luego de la explicación sobre el formato del estudio, los residentes firmaron el consentimiento informado para ser incluidos. Los resultados de las evaluaciones realizadas fueron confidenciales y el trabajo fue aprobado por el Comité de Ética del Hospital Ramos Mejía.
ResultadosSe evaluaron 34 residentes (68 observaciones): 22 provenientes de hospitales monovalentes pediátricos y 12 de hospitales generales de agudos; y se realizaron dos evaluaciones a cada uno. La mayoría de las observaciones fueron de controles de salud y las instructoras evaluaron un promedio de 7 residentes cada una. Cada residente fue evaluado por la misma instructora.
La mediana de tiempo de evaluación fue de 10minutos (rango 5-35minutos) y su media (DE) 16,58 (1,50). La mediana del tiempo de devolución fue de 5minutos (rango 3-40minutos) y su media (DE) 13,63 (2,52). El análisis de fiabilidad del examen global fue adecuado (alfa ordinal=0,78). Respecto de las observaciones de hospitales pediátricos, la valoración global total (promedio de las 8 áreas evaluadas) fue de 4,20 (4,07-4,34); el área con mejor puntuación fue examen físico y el área con menor puntaje, tratamiento inicial. En cuanto a los hospitales generales, la valoración global total fue 4,14 (3,94-4,34); el área con mejor puntuación fue profesionalismo y con menor, habilidades de la comunicación con niños y adultos (tabla 1). Los resultados no presentaron diferencias estadísticamente significativas.
Promedio de las puntuaciones según tipo de unidad académica. Test U de Mann-Whitney
| Dimensión | Polivalente | Monovalente | Global | ||||
|---|---|---|---|---|---|---|---|
| Media | IC95% | Media | IC95% | Media | IC95% | p | |
| Anamnesis | 4,21 | (3,99-4,42) | 4,23 | (4,06-4,40) | 4,22 | (4,09-4,35) | 0,765 |
| Comunicación c/NNyA | 4,04 | (3,72-4,36) | 4,16 | (3,97-4,34) | 4,12 | (3,96-4,28) | 0,375 |
| Comunicación padres | 4,04 | (3,78-4,31) | 4,20 | (4,04-4,37) | 4,15 | (4,01-4,29) | 0,291 |
| Examen físico | 4,13 | (3,87-4,38) | 4,27 | (4,12-4,42) | 4,22 | (4,09-4,35) | 0,341 |
| Criterio clínico | 4,13 | (3,94-4,31) | 4,20 | (4,02-4,39) | 4,18 | (4,04-4,31) | 0,497 |
| Tratamiento inicial | 4,13 | (3,84-4,41) | 4,11 | (3,96-4,26) | 4,12 | (3,98-4,25) | 0,858 |
| Profesionalismo | 4,29 | (4,00-4,58) | 4,23 | (4,08-4,37) | 4,25 | (4,12-4,38) | 0,491 |
| Organización/Eficiencia | 4,17 | (3,87-4,46) | 4,23 | (4,06-4,40) | 4,21 | (4,06-4,35) | 0,740 |
| Globala | 4,14 | (3,94-4,34) | 4,20 | (4,07-4,34) | 4,18 | (4,08-4,29) | 0,572 |
IC95%: intervalo de confianza 95%; NNyA: niñas, niños y adolescentes.
Se observan puntajes similares para todas las dimensiones entre las dos observaciones. Aunque la dimensión examen físico presenta una diferencia estadísticamente significativa, la misma no es relevante a nivel académico (tabla 2).
Media de las puntuaciones según la observación y media de las diferencias. Test U de Mann-Whitney
| Dimensión | Observación 1 | Observación 2 | ||||
|---|---|---|---|---|---|---|
| Media | IC95% | Media | IC95% | X de las dif. (IC95%) | p | |
| Anamnesis | 4,32 | (4,16-4,49) | 4,12 | (3,91-4,32) | 0,21 (−0,02-0,39) | 0,160 |
| Comunicación c/NNyA | 4,21 | (3,95-4,46) | 4,03 | (3,83-4,23) | 0,18 (−0,07-0,43) | 0,290 |
| Comunicación padres | 4,26 | (4,09-4,44) | 4,03 | (3,81-4,25) | 0,24 (−0,09-0,39) | 0,112 |
| Examen físico | 4,35 | (4,16-4,54) | 4,09 | (3,91-4,27) | 0,26 (0,05-0,48) | 0,044 |
| Criterio clínico | 4,29 | (4,13-4,46) | 4,06 | (3,85-4,27) | 0,24 (−0,01-0,46) | 0,097 |
| Tratamiento inicial | 4,18 | (3,99-4,36) | 4,06 | (3,85-4,27) | 0,12 (−0,09-0,32) | 0,413 |
| Profesionalismo | 4,26 | (4,07-4,46) | 4,24 | (4,04-4,43) | −0,03 (−0,15-0,21) | 0,817 |
| Organización/Eficiencia | 4,26 | (4,09-4,44) | 4,15 | (3,90-4,39) | 0,12 (−0,09-0,32) | 0,598 |
| Globala | 4,27 | (4,12-4,41) | 4,10 | (3,93-4,26) | 0,17 (−0,03-0,31) | 0,261 |
dif: diferencias, IC95%: intervalo de confianza 95%; NNyA: niñas, niños y adolescentes; X: media.
Los CeSAC permiten la observación de las competencias clínicas en el marco de la consulta ambulatoria y cuentan con instructoras capacitadas y encargadas de la actividad docente. Allí los residentes se enfrentan con consultas diferentes a las de sus hospitales de origen, por lo que resulta imprescindible la evaluación mediante observación directa.
Las limitaciones al implementar el Mini-CEX en los CeSAC fueron las relacionadas con la vulnerabilidad social de muchas familias que concurren y complejizan el abordaje en el consultorio y la gran demanda asistencial que dificultan el resguardo del tiempo necesario sin interrupciones para llevar adelante la observación.
Una debilidad importante de la herramienta es la diferencia de criterios que se pueden encontrar al haber múltiples observadores. En nuestra experiencia, las reuniones dedicadas a la estandarización de las evaluadoras analizando los descriptores de las competencias contribuyeron a la homogeneización de los criterios de evaluación, lo que facilitó el cotejo de datos obtenidos. Asimismo, los descriptores pediátricos aportados por el trabajo de Abadie et al.14 fueron de mucha utilidad para la unificación buscada.
El Mini-CEX, aunque tiene una estructura, no controla el ambiente como el ECEO. Proponemos elegir motivos de consulta similares en las dos observaciones para homogeneizar el escenario de aprendizaje.
El feedback fue fundamental en la estrategia docente, reforzando aspectos positivos y planteando aquellos a mejorar. Observamos que, entre la atención del paciente y el feedback, cada evaluación duró más que el tiempo aconsejado en el artículo de Fornells6.
No encontramos diferencias significativas en los resultados obtenidos entre residentes de hospitales pediátricos y generales, ni entre los dos momentos de evaluación. Algunos motivos posibles son que los residentes evaluados son del mismo año de formación y cumplen el mismo programa y que el tamaño de la muestra utilizada fue pequeño.
Cada sede formativa recibió el análisis de los resultados, para fomentar un plan de mejora en las áreas en las que obtuvieron menores puntajes. Para evaluar el análisis de consistencia interna (competencia global) se realizó el análisis de alfa ordinal23, teniendo en cuenta la cantidad de evaluaciones (n=68), podemos observar que el instrumento en español presentaría una adecuada consistencia interna (alfa ordinal=0,78).
Constatamos que es factible la aplicación del Mini-CEX en el primer nivel de atención y que es válido para la evaluación del desempeño de residentes.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
Presentado en el IV Congreso Latinoamericano en Educación de Residentes (LACRE), Santiago de Chile, 29-31 de mayo de 2019.
