este trabajo es parte de un proyecto de investigación acreditado por agencias oficiales y se propone como objetivos analizar y describir el nuevo sistema de evaluación implementado en las especializaciones médicas.
Material y métodosse realizó un estudio cualitativo mediante aplicación de entrevistas con preguntas abiertas a 35 directores de carreras en 17 especializaciones médicas, representativos de la totalidad de centros formadores de Córdoba, Argentina. De los 35, 22 corresponden a centros públicos y 13 a centros privados.
Resultadosel sistema de evaluación se identifica como un proceso que comienza con las recomendaciones del sistema de evaluación y acreditación universitaria, continúa en la Secretaría de Graduados en Ciencias de la Salud (SGCS), con la implementación del cambio en los centros formadores. Los entrevistados reconocen la importancia de la SGCS en la vinculación con los consejos académicos y el trabajo colaborativo, también la cooperación y la socialización como estrategias para la resolución de las dificultades. Los directores identifican a la evaluación como una trama de relaciones entre lo meso y lo micro, y como hecho formativo y continuo. Asimismo, la caracterizan como mejora de aprendizajes por medio de la devolución de los profesores y la autorreflexión de los residentes.
Conclusiónel sistema implementado se identifica como una instancia de transición entre sistemas, en la que se concretó una articulación significativa entre niveles y decisiones específicas de la evaluación, posibilitando una vinculación necesaria en el seguimiento y supervisión y la progresiva autonomía del estudiante.
This paper is part of a research project accredited by official agencies and aims to analyse and describe the new evaluation system implemented in medical specialisations.
Material and methodsA qualitative study was carried out by means of interviews with open-ended questions to 35 career directors in 17 medical specialisations, representative of all the training centres in Cordoba, Argentina. Of the 35, 22 correspond to public centres and 13 to private centres.
ResultsThe evaluation system is identified as a process that begins at the macro level with the recommendations of the university evaluation and accreditation system and continues in the Secretariat of Graduates in Health Sciences (SGHS - meso) with the implementation of change in the training centres (micro). The interviewees recognise the importance of the SGCS in linking with academic councils and collaborative work, as well as cooperation and socialisation as strategies for resolving difficulties. Principals identify evaluation as a web of relationships between the meso and the micro, and as a formative and continuous fact. They also characterise it as an improvement in learning through feedback from teachers and self-reflection by residents.
ConclusionThe new system implemented is identified as an instance of transition between systems, in which the macro, meso and micro and the specific decisions of the evaluation were articulated in a very good process, making possible a necessary articulation in the monitoring and supervision and the progressive autonomy of the student.
Los procesos formativos en las especializaciones médicas se desarrollan bajo diferentes formatos en posgrado: residencia, concurrencia formal o informal y carreras de especialización en universidades, sociedades científicas o colegios médicos1. El ejercicio de la profesión como especialista requiere de una certificación o título, acreditación otorgada por las universidades. En Argentina, la incorporación de los mecanismos de evaluación de instituciones universitarias y de acreditación de las carreras de grado y posgrado se produjo en 1995, a partir de la Ley de Educación Superior N° 24.5212.
Las carreras comprendidas en el artículo 43 de la Ley N° 24.521 se refieren a profesiones reguladas por el Estado, cuyo ejercicio pudiera comprometer el interés público, por lo que deben acreditarse periódicamente por la Comisión Nacional de Evaluación y Acreditación Universitaria (CONEAU). Esto implica que la carrera debe cumplir con los estándares fijados por el Ministerio de Educación, Ciencia y Tecnología, en acuerdo con el Consejo de Universidades que determinan los contenidos curriculares básicos y criterios sobre la intensidad de la formación práctica.
Las especializaciones médicas al ser incluidas en el art. 43 deben acreditarse periódicamente. Desde hace varios años la Facultad de Ciencias Médicas está en proceso de acreditación de las diferentes carreras. A partir del conjunto de recomendaciones recibidas de la CONEAU, se generaron cambios en las especializaciones médicas que potenciaron mejoras en la actividad académica.
El sistema de evaluación de las especializaciones médicas en la Facultad de Ciencias Médicas -antes de la modificación- se sostenía bajo la única evaluación final para obtener el título de especialista. Se reconocen instancias evaluativas parciales durante el cursado de la carrera, sin embargo, la evaluación final garantizaba la acreditación de los estudiantes como instancia única. Esta modalidad tuvo impacto en las carreras debido a la no graduación de sus estudiantes y sus consecuencias en los procesos de acreditación por CONEAU. Los estudiantes completaban el proceso formativo en la universidad y, dada la dificultad de la instancia final de evaluación, obtenían la certificación en las instituciones profesionales y no la titulación universitaria. Este escenario planteó la necesidad de atender y revisar las modalidades de formación y evaluación.
En el contexto de acreditación de carreras, la Facultad de Ciencias Médicas, a través de la Secretaría de Graduados en Ciencias de la Salud (SGCS), formuló modificaciones en el sistema de evaluación en el año 2015, teniendo en cuenta la normativa que especifica los estándares y criterios a considerar en los procesos de acreditación de carreras de posgrado y a decisiones institucionales respecto a la modalidad de otorgamiento del título. Los estándares referidos son: tipos de carrera, titulaciones, estructura curricular y carga horaria, acreditación y categorización, evaluación final, reglamento, estudiantes, cuerpo académico, actividades de investigación y transferencia vinculadas a la carrera e infraestructura, equipamiento y recursos financieros.
Las modificaciones se refieren a la formación profesional y obtención del título, entre las que se destacan 3 cuestiones: la concepción de un sistema de evaluación articulado y estructurado, la figura de los veedores-fiscalización y el portafolio. En referencia al sistema se expresa: «es un sistema de evaluación articulado y estructurado de la siguiente manera: evaluación parcial, promocional y final integradora, las cuales permiten abordar de forma sistemática el proceso de aprendizaje de los estudiantes, acorde a lo establecido en los planes de estudio correspondientes» (Reglamento para el Otorgamiento del Título de Especialista3), por lo tanto, para llevar adelante este posicionamiento de evaluación, se requiere del seguimiento de los veedores-fiscalizadores y la valoración del aprendizaje de los estudiantes por medio del portafolio.
La presente investigación plantea analizar y describir el nuevo sistema de evaluación implementado en las especializaciones médicas.
Material y métodosSe trabajó desde un enfoque cualitativo con la intención de indagar sobre el sistema de evaluación implementado en las especializaciones médicas a partir del 2015. Desde esta perspectiva, según Taylor y Bogdan4, se focaliza en comprender y desarrollar conceptos a partir de los datos, es un diseño flexible y estudia a las personas en el contexto.
El muestreo intencional se realizó sobre la totalidad de la población de centros formadores que desarrollan actividades en una universidad pública en Argentina. Se implementaron entrevistas abiertas a 35 directores de carreras en 17 especializaciones médicas, acreditadas por CONEAU, pertenecientes a 3 centros de cardiología: uno público y 2 privados, un centro público de diabetología, un centro privado de neurología, 2 centros de neumonología: uno público y uno privado, 3 de terapia intensiva: 2 públicos y uno privado, 6 de clínica médica: 4 públicos y 2 privados, 2 de nefrología: uno público y uno privado, 3 de pediatría públicos, uno de otorrinolaringología público, 2 públicos de cirugía pediátrica, 4 de cirugía general: 3 públicos y uno privado, un centro público de medicina del deporte, 2 centros públicos de anatomía patológica y 4 privados de diagnóstico por imágenes. De los 22 públicos, 14 son provinciales, 7 universitarios y uno municipal. El 80% de los centros provinciales se localizan en Córdoba Capital.
Los criterios de selección de los centros formadores participantes en este estudio se basaron en la cantidad de centros por área de formación, la ubicación geográfica y el tipo de gestión (privada o pública).
Los ítems que orientaron las entrevistas surgieron de sucesivas reuniones entre los integrantes del equipo de investigación y se focalizaron en modalidades, cambios e implementación del sistema de evaluación.
La participación de los directores fue voluntaria y confidencial. Se solicitó por escrito la aceptación para participar en el estudio. Las entrevistas se realizaron en los centros formadores correspondientes, mediante grabación y registro, previa autorización de los participantes. Fueron efectuadas —en su mayoría— por duplas de investigadores. Los directores de centros formadores se convirtieron en informantes clave por las funciones que cumplen en la formación según el ROTE. Toda la información generada fue digitalizada y transcrita constituyendo un corpus único de datos. Se borraron todos los indicios que pudieran identificar a alguno de los participantes.
El análisis de la información comenzó con la codificación y categorización que, en este caso, avanzó con categorías construidas a priori al proceso de recopilación de la información y con categorías emergentes, que surgieron de la indagación y la comparación constante entre las mismas de similitudes y diferencias, hasta agotar la información, en un proceso riguroso y sistemático.
ResultadosEn este apartado, se presentan los resultados en las siguientes categorías, que dan cuenta del proceso de diseño, implementación y evaluación del cambio en las especializaciones médicas:
- •
Diseño e implementación del sistema de evaluación: la construcción de un cambio que articula lo macro, lo meso y lo micro (fig. 1).
- •
El sentido educativo de las prácticas evaluativas en las especialidades médicas: seguimiento, supervisión y devolución (fig. 2).
En las últimas décadas, la educación superior ha orientado la atención de los procesos de enseñanza hacia los aprendizajes y a las competencias que deben adquirir los estudiantes5. Además, de estas modificaciones, surgieron mecanismos para asegurar la calidad de la formación a través de agencias nacionales, especialmente en aquellas profesiones consideradas de interés público como es el caso de medicina. En este contexto, se desarrolla y construye un modo de trabajo en torno al sistema de evaluación de las especializaciones médicas.
Una distinción en la comprensión del sistema educativo refiere a lo macro, meso y micro (tabla 1) y la otra describe el sentido educativo de las prácticas evaluativas en las especialidades médicas: seguimiento, supervisión y devolución (tabla 2).
Diseño e implementación del sistema de evaluación: la construcción de un cambio que articula lo macro, lo meso y lo micro
| Categoría/ámbito | Macro | Meso | Micro |
|---|---|---|---|
| Comisión Nacional de Evaluación y Acreditación Universitaria (CONEAU) | Secretaría de Graduados en Ciencias de la Salud (SGCS) | Centros formadores públicos y privados, de Córdoba Capital, del interior y de otra provincia | |
| Diseño del cambio del sistema de evaluación | En el nivel macro se reconocen las políticas nacionales e internacionales que orientan a las instituciones de educación superior | El nivel meso involucra las condiciones institucionales que configuran las actividades de formación. La SCGS organiza y gestiona las decisiones sobre el sistema de evaluación de las especialidades médicas y posteriormente las aborda con los consejos académicos y directores de centros formadores | El nivel micro ubica las condiciones institucionales que tienen una influencia directa en la práctica docente6. Es un abordaje específico en los centros formadores con autonomía relativa en un proceso de diálogo y de consensos con SGCS. Algunas de las expresiones de los directores de centros formadores:«Desde la SGCS se especificó el ámbito de decisión y de trabajo en cada centro»1. «Hace 3 años, desde la Secretaría de Graduados vino el nuevo proyecto de evaluación por etapas principalmente, que ha modificado sustancialmente la forma de trabajar»2. «Se siguen pautas de la SGCS»3. «Hay llegada con las autoridades de Graduados, hay un diálogo permanente que es importante»4. «Ellos están prestos a escuchar las dificultades planteadas, tratar de resolver en la medida de lo posible»5. «No hay autonomía absoluta»6. «Es difícil de lo macro a lo micro…»7. «Incluso hemos tenido reuniones masivas con ellos, donde nos han planteado la necesidad de ordenar la carrera, de revisar el programa»8 |
| Implementación del cambio del sistema de evaluación | Los entrevistados reconocen la importancia de la SGCS en la vinculación con los consejos académicos y el trabajo colaborativo entre los centros formadores. De este modo se observa el sentido o resignificación que los actores involucrados les otorgan a estos procesos de cambio. La cooperación y la socialización se identifican como 2 estrategias que operaron en los modos de resolución de las dificultades.«Me parece que la Secretaría de Graduados es clave, de hecho, es el norte para toda esta actividad»9. «Desde la Secretaría de Graduados y desde el Consejo de la especialidad también se van puliendo las cosas…»10. «Por otro lado, lo que ha ayudado mucho es a implementar la cooperación entre los distintos Centros Formadores y entre los distintos docentes, socializar los problemas, charlarlos y trabajar en conjunto entre los diferentes docentes»11 | A nivel micro, se identifica la gestión que se genera entre el consejo académico de la especialidad y los directores de los centros formadores. Esta instancia implicó el planteo de diferentes posiciones, la participación en debates, la necesidad de ceder y de unificar, construyendo así, una forma de trabajo distinta a la establecida. En este sentido, se produce un pasaje que, bajo la coordinación de los consejos académicos y la gestión de los directores, marca un estilo que se describe de lo individual a lo grupal«En principio para los docentes y responsables de los centros fue una tarea más ardua coordinado habitualmente por el director del consejo académico porque hubo una serie de reuniones, hubo que unificar los criterios de programa»12. «Enriqueció e implicó una tarea más y un ordenamiento y un planteo de posiciones y ceder en algunos aspectos…»13. «A partir de que se iniciaron estas reuniones en el consejo académico en las cuales el director es el que participa […] Es un espacio de debate y presentación de problemas, planteos de estrategias…»14. ...tratamos de unificar y eso fue para muchos hospitales nivelar para arriba y para los que venían funcionando bien fue consolidar una forma de trabajo".]. Tratamos de unificar todos los centros»15. «Me siento reconfortado de participar en ese espacio donde todos aportan para entregar a los alumnos la mejor formación posible»16Desde el punto de vista de la implementación, a nivel micro, los directores sostienen que este sistema de evaluación es un cambio caracterizado como superador del sistema anterior. En el pasaje de un sistema a otro, los términos como «cambio», «nuevo» y «mejora» se identifican en sus discursos. Se observa una transición que se teje de manera intencional y sistemática entre los niveles meso y micro, en las acciones de revisión y ajuste entre lo diseñado y lo implementado en cada centro formador.«Mejor que el anterior proceso que se está desarrollando y como decía recién algunas cosas uno las va puliendo sobre la marcha y las trata de ir mejorando…»17. «En realidad, este proceso es como nuevo para la carrera…»18. «Yo creo que con este sistema que estamos implementando salen en algunos casos mejor formados que antes…»19. «Sí yo creo que antes se evaluaba muy teóricamente, a mí me parece por ejemplo primero a uno no le gustan los cambios, pero este nuevo sistema de integración de promoción de 1-2, 2-3 y el examen final integrador me encantó»20. «Así que a nosotros nos parece que es mejor este sistema»21. «De la especialidad, sí estamos en comunicación permanente, participamos en la formulación de los exámenes escritos y ahí esos sí suelen ser espacios de discusión y de orientación…»22 |
La construcción de un cambio que articula lo macro, lo meso y lo micro. Cada uno de estos niveles toma decisiones que se encuadran en los niveles anteriores, también se reconoce que se trata de procesos de resignificación en las diferentes instancias. En este sentido, se generan maneras de pensar y abordar las decisiones y su concreción en un alto grado, a nivel meso y micro.
En este proceso de transición, se reconoce el posicionamiento que los directores sostienen respecto de la evaluación como una trama de relaciones entre lo meso y lo micro; y es asumida como hecho formativo y continuo. Permite el seguimiento de los residentes personalizando las intervenciones, lo que implica retirar los andamios en el momento oportuno y generar un espacio progresivo de responsabilidad por parte del estudiante.
El sentido educativo de las prácticas evaluativas en las especialidades médicas: seguimiento, supervisión y devolución
| El sentido educativo de las prácticas evaluativas en las especialidades médicas | La evaluación es una práctica social y ética que implica programación, implementación, obtención de datos, formulación de un juicio de valor, devolución y toma de decisiones. Según Barbier7, es una práctica deliberada, que tiene consecuencias personales y sociales y es un momento importante de la formación.Para Litwin8, las buenas prácticas de la evaluación requieren recuperar el sentido educativo, lo cual involucra reconocer la complejidad de juzgar el objeto evaluado. Implica también valorar las prácticas de forma integral y enmarcarlas en situaciones de la vida cotidiana.Identificar el sentido educativo de las prácticas evaluativas en las especializaciones médicas demanda focalizarse en propuestas a situaciones vinculadas a la resolución de problemas genuinos. Además, que permitan observar y analizar el tipo de habilidad y la manera en que el estudiante se posiciona en contextos reales de evaluación.El sentido educativo de la evaluación se asume a lo largo del proceso educativo.Los directores de centros formadores se refieren a la evaluación de los aprendizajes como proceso y resultado, que se desarrolla en forma teórica y práctica:«Instancia de evaluación pautada a lo largo del año y de diferentes maneras. Se evalúan procesos, los resultados, lo evalúas de forma práctica y teórica…»1. «Evaluaciones anuales teóricas son homogéneas para todos los centros y la evaluación práctica se efectúa en un centro formador»2. «Evaluación continua, o sea, desde el momento que inicia hasta que termina (el estudiante) es evaluado»3. «Al finalizar, tiene una evaluación, así sucesivamente hasta llegar a la evaluación final (...). Este nuevo sistema de integración de promoción y examen final integrador me encantó»4 |
| Seguimiento y supervisión | El seguimiento y la supervisión son aspectos esenciales en la evaluación, de acuerdo con las regulaciones oficiales sobre carreras de interés público. Los directores refieren al seguimiento y supervisión de los estudiantes de la siguiente manera:«Ahora hemos empezado a registrar en forma digamos específica estar atentos a la supervisión. El principal seguimiento es el día a día»5. «Ellos practican, nosotros los supervisamos, vuelven a practicar, los volvemos a supervisar y vamos viendo la evolución de ese residente»6. «Nosotros supervisamos diariamente al alumno»7. «Seguimiento personalizado de los alumnos: el seguimiento que hace el instructor de residentes, el seguimiento que hace el codirector que está permanentemente en el hospital»8. «El seguimiento es permanente por el hecho de que se han impuesto los portafolios, creo que permiten hacer como una evaluación permanente»9.Se reconoce que estas prácticas evaluativas se encuadran en la evaluación formativa, se caracterizan por la continuidad en el proceso de mejora de los aprendizajes, ofrecen oportunidades, orientaciones y sugerencias a cada uno de los estudiantes durante el proceso de aprendizaje9, con una devolución específica y oportuna en el tiempo, lo que mejora la formación de los residentes. Olarte y Pinilla10 plantean la necesidad de entender cómo un instrumento se debe adecuar a las dimensiones a evaluar, debe estar contextualizado y vinculado a la formación de los futuros egresados, por lo que proponen diversos instrumentos. Se destaca el portafolio, que posibilita la evaluación de diferentes dimensiones de la formación del residente como el registro de actividades académicas, asistenciales y científicas |
| Devolución | Otro aspecto de importancia en la evaluación es la devolución. Alves de Lima11 se refiere como constructiva la que consiste en un acto de información por parte del docente a un estudiante sobre su desempeño en una situación. La devolución se considera como una retroalimentación y se puede obtener por fuentes internas (autorreflexión y autocrítica) o externas (tutor, profesor, pares, exámenes)12.Entre las expresiones de los entrevistados respecto de la devolución se incluyen las siguientes: «Las devoluciones que le hacemos después de cada caso una evaluación activa»10, «…"... es una formación que tiene bidireccionalidad, entonces tenemos feedback que es importante"»11.En este sentido, se reconoce una devolución desde lo colaborativo en tanto se basa en la perspectiva del estudiante, se otorgan las devoluciones y generan una estrategia en conjunto entre el docente y el alumno. Así, la evaluación es soporte para el aprendizaje y la formación integral del posgrado 10, que se concreta en la retroalimentación interna por medio de la autorreflexión y externa a través de profesores, atendiendo a la relación personalizada entre el docente y el alumno y, por lo tanto, se transforma en un acto de conocimiento |
En esta investigación, se abordan carreras reguladas por el Estado y que, por la importancia para el ejercicio de la profesión, requieren obligatoriamente de la acreditación por agencias nacionales. En este contexto, se reconoce como resultado el sentido educativo de la evaluación, focalizado en aspectos de seguimiento, supervisión y devolución porque valora las prácticas evaluativas en forma integral y en contexto. En coincidencia con este resultado, se identifica un estudio de búsqueda sistemática de literatura científica publicada en español e inglés, en bases de datos Eric, Medline, Redalyc, SciELO, sobre la evolución del concepto de evaluación de aprendizaje realizado por Pinilla Roa13. Esta autora organiza los resultados de la evolución del concepto- según Guba y Lincoln- en 4 generaciones. La última generación se refiere a la evaluación no como una herramienta punitiva o de poder, sino como apoyo y consideración de las individualidades, desde una mirada holística, situada y de valor formativo.
Otro trabajo efectuado por López et al.14, en el contexto de la educación médica latinoamericana y particularidades de la formación de los profesionales de la salud en diversas regiones, presenta el marco de referencia de las actividades profesionales y la experiencia. Menciona que los niveles de supervisión evidencian grados de creciente responsabilidad y autonomía, y la supervisión implica la observación, dirección, guía y apoyo en el aprendizaje, a fin que las actividades se realicen de forma correcta. La práctica, la supervisión y la retroalimentación son claves para el desarrollo de la autonomía. Aspectos que están en coincidencia con la perspectiva de los directores de centros formadores que asumen la dimensión educativa de la evaluación. Esta posición es consecuente con las decisiones a nivel meso sostenida por la SGCS y macro por las políticas educativas.
Domínguez et al.15, en un estudio sobre la autonomía y la supervisión de los residentes, se refieren a la forma de la monitorización permanente, seguimiento y evaluación de la autonomía que ejercen los residentes y le otorgan los profesores, permitiendo una evaluación continua. En este sentido, hay coincidencia con esta investigación porque, desde los directores de centros formadores, se reconoce el sentido de la evaluación formativa y una relación permanente y personalizada con el estudiante, en un camino de progresiva autonomía.
Responsabilidades éticasTodos los entrevistados firmaron el consentimiento informado, tuvieron conocimiento de la finalidad de la investigación y colaboraron con libertad.
FinanciaciónSecretaría de Ciencia y Tecnología de la Universidad Nacional de Córdoba, Argentina.
Conflictos de interesesLos autores declaran no tener ningún conflicto de intereses. Por las características de este estudio, no aplica informe de Comité ético.
