metricas
covid
Buscar en
Atención Primaria
Toda la web
Inicio Atención Primaria Dilemas y alternativas en la evaluación de la formación del médico de familia
Información de la revista
Vol. 32. Núm. 6.
Páginas 376-381 (octubre 2003)
Compartir
Compartir
Descargar PDF
Más opciones de artículo
Vol. 32. Núm. 6.
Páginas 376-381 (octubre 2003)
Acceso a texto completo
Dilemas y alternativas en la evaluación de la formación del médico de familia
Dilemmas and alternatives in the evaluation of family doctor training
Visitas
7214
J.R.. Loayssa Lara
Este artículo ha recibido
Información del artículo
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Tablas (5)
Mostrar másMostrar menos
Texto completo

Evaluación de la formación del médico de familia

La evaluación de la formación médica es un tema que tiene una gran importancia. Ésta debe garantizar que los graduados poseen la capacitación necesaria para desarrollar su actividad profesional y, de este modo, contribuir a la confianza de la población en la calidad de los servicios que recibe1. La evaluación tiene un poderoso impacto educativo ya que determina qué van a estudiar los que aprenden2 y cómo van a hacerlo: su estilo de aprendizaje3. Otro papel esencial de la evaluación es ayudar a los profesionales a mantener una educación relevante a sus necesidades4,5.

Existe un debate sobre la evaluación de la formación del médico de familia que parte de reconocer las insuficiencias del sistema actual. Este debate está condicionado por la existencia de diferentes perspectivas teóricas y por las dificultades reales que limitan el alcance práctico de los procedimientos evaluativos. En nuestro país se han puesto en marcha exámenes clínicos objetivos estructurados (ECOE), y se defiende la necesidad de generalizarlos y consolidar una estructura organizativa capaz de implementarlos con calidad6. A pesar de estos avances, persisten dudas e interrogantes sobre cuál es el sistema de evaluación apropiado y qué métodos y técnicas se deben utilizar. El objetivo de este artículo es repasar estos interrogantes y las alternativas disponibles.

Evaluación de los resultados educativos: la competencia profesional

La evaluación educativa puede tener distintos enfoques y objetivos (tabla 1). Se diferencia entre evaluación del proceso (el programa y su implementación) y de los resultados educativos, que incluyen la reacción del alumno, el aprendizaje (conocimientos, habilidades y actitudes adquiridas), los cambios en la práctica profesional y el impacto de éstos en la salud de la población. A veces la evaluación se centra en la satisfacción del alumno, ya que evaluar otros resultados requiere la inversión de grandes recursos y es difícil encontrar procedimientos válidos y aceptables.

En la educación profesional no es legítimo conformarse con la satisfacción subjetiva, a pesar de que hay autores que lo consideran trascendental7, sino que debemos intentar evaluar el aprendizaje: una evaluación que puede dirigirse a comprobar si se han superado los objetivos mínimos o a determinar el nivel alcanzado (orientado a la excelencia)8. Esta evaluación se puede realizar durante el desarrollo del programa con la finalidad de potenciar el aprendizaje (evaluación formativa) y al final de la experiencia educativa (evaluación sumativa) para otorgar una calificación9. Ambos enfoques son necesarios10.

Cuando se plantea evaluar el aprendizaje debemos partir de cuáles son los objetivos perseguidos. Nuestro objetivo, expresado de forma muy general, sería formar un médico de familia competente. La competencia profesional en medicina presenta una serie de características que dificultan su evaluación (tabla 2), ya que implica un amplia y compleja combinación de diferentes componentes (tabla 3)11, algunos de ellos muy difíciles de evaluar (p. ej., los relacionados con las actitudes y los valores profesionales12), y no está claro que sea factible evaluar la competencia juzgando de forma separada sus componentes13. Por otra parte, la competencia profesional varía según el problema de salud, las características de las personas atendidas y las variables del contexto, rápidamente cambiante, de los servicios de salud.

La competencia es específica para un determinado contenido, por lo que, para obtener estimaciones fiables de la competencia es imprescindible evaluar un gran número de problemas y situaciones. Ser competente en un área no predice la competencia en otra, ni el manejo de un problema clínico predice la actuación en otro, incluso aunque esté relacionado con el anterior14.

Métodos y técnicas de evaluación

Miller definió cuatro niveles de evaluación15. El primer nivel es el conocimiento: datos, principios y teorías; el segundo, el «conocer cómo», se refiere a la habilidad de resolver problemas y analizar procesos; el tercero, el «mostrar cómo», supone la demostración de habilidades en un contexto controlado, y el cuarto implica evaluar el «hacer» en condiciones reales.

Existen muchos métodos y técnicas evaluativas que valoran distintos aspectos y niveles de la competencia profesional (tabla 4). La utilización de un instrumento de evaluación implica tres procesos de inferencia (tabla 5): a) evaluación (juzgar la actuación en la prueba); b) generalización (determinar si el resultado sería el mismo si se repitiera la misma prueba), y c) extrapolación (decidir si el resultado en la prueba predice la actuación en condiciones reales)16, que es una cuestión central. En general, ganar consistencia en la evaluación se consigue a costa de hacer las situaciones y problemas más distantes de la práctica real y, por tanto, dificultando la extrapolación. La generalización depende fundamentalmente del número y el muestreo de situaciones y problemas.

En la educación médica los métodos de evaluación más utilizados son los exámenes, especialmente las pruebas objetivas escritas, el ECOE y la observación de la práctica real, que vamos a analizar con más detalle.

Exámenes

Los exámenes escritos tienen sus aportaciones e incluso las preguntas de elección múltiple (PEM), aunque su popularidad se la deban a su «objetividad» y bajo coste, bien diseñadas, ofrecen gran fiabilidad para medir muchos aspectos del razonamiento clínico pero no se relacionan con la resolución de problemas en la consulta, ni con medidas de competencia globales17. Sin embargo, si se ha encontrado que el resultado de las PEM se correlaciona con la calidad de la práctica posterior18,19.

Aunque para la evaluación del conocimiento y su utilización se han propuesto formatos de preguntas que superan algunos problemas de las PEM20, el problema sigue siendo cómo evaluar el razonamiento clínico en situaciones complejas y ambiguas que se dan con frecuencia en la consulta del médico de familia. Se ha trabajado en esa línea con los que se denominan «ejercicios de triple salto»21.

También se han creado tests capaces de evaluar la capacidad de integrar la información que se obtiene del paciente en función de las hipótesis de trabajo22. Estos tests han demostrado su capacidad de medir la organización del conocimiento y el modo de razonar que los expertos utilizan en la práctica para llevar a cabo una atención clínica eficiente23.

El examen oral estructurado basado en historias24 también ha demostrado su validez potencial en la evaluación de conocimientos y habilidades cognitivas.

Exámenes clínicos objetivos estructurados (ECOE)

Por su actualidad y tradición, es inevitable comentar el ECOE. Este método o formato consiste en estaciones con tareas clínicas concretas que permiten medir las

habilidades clínicas e interpersonales mediante el uso de todo tipo de simulaciones (casos escritos, vídeos, imágenes, pacientes simulados, etc.)25,26. El ECOE tiene diversas limitaciones, entre ellas la de centrarse en habilidades que son sólo un aspecto de la competencia27 o la incapacidad de medir aspectos profesionales decisivos, como son los éticos28. De hecho, no parece que dada la naturaleza del comportamiento profesional, su complejidad y sus múltiples determinantes, el ECOE sea capaz de medir sus aspectos centrales29.

El ECOE mide habilidades clínicas en cortos períodos de tiempo, lo que no es una buena representación de la realidad clínica30. La competencia clínica demanda la integración de las habilidades concretas en función de la definición del problema y la estrategia para manejarlo que han sido seleccionadas31. La fragmentación del proceso clínico y la simplificación del problema que requiere el ECOE impiden este tipo de evaluación. El ECOE tampoco incorpora los elementos contextuales que son tan importantes en la toma de decisiones clínicas32 y está sujeto a problemas derivados del gran número de situaciones que requiere para ser fiable33. Aunque el ECOE puede evaluar de forma integrada las habilidades clínicas y comunicativas, se ha postulado que estas últimas deberían ser evaluadas de forma específica34 y se han hecho propuestas en ese sentido35.

Observación de la práctica

La observación es la forma natural y habitual de evaluación en las rotaciones clínicas. En teoría, la observación del tutor, además de juzgar las habilidades clínicas y comunicativas, sería capaz de recoger aspectos «intangibles» de la competencia, como las actitudes profesionales y las cualidades humanas del evaluado36.

Si bien se ha señalado que la observación puede proporcionar evaluaciones fiables y consistentes37, pocos estudios han medido su validez, y los que lo han hecho, en muchas ocasiones han detectado poca fiabilidad38-40. La estrecha relación que puede existir entre tutor y aprendiz aumenta el potencial de una evaluación válida, pero también los sesgos que puede sufrir. Los tutores pueden estar poco predispuestos a identificar los aspectos negativos en el comportamiento del aprendiz41 y podrían sufrir un efecto «halo», de forma que los componentes más destacados positiva o negativamente afectarían a la evaluación de otros componentes42.

Para superar las limitaciones de la observación del tutor se ha insistido en que ésta sea frecuente y se registre de forma adecuada43, que se definan y se muestren las situaciones a observar y que intervengan varios observadores31. Se necesitan criterios claros basados en comportamientos observables. El uso de criterios claros y definidos y el entrenamiento de los tutores para utilizarlos pueden aportar validez a la observación44. En este sentido, son tan fiables las escalas globales como las que registran conductas específicas concretas45.

Otras propuestas son: a) incluir comentarios descriptivos de comportamientos del sujeto evaluado46, b) realizar sesiones con un experto donde los tutores puedan compartir y clarificar sus percepciones47, y

c) que todo el proceso de evaluación se someta a un sistema de mejora de calidad48.

La perspectiva del tutor podría ser contrastada con los médicos del servicio y otros profesionales y personas en contacto con el residente. Los pacientes pueden ser una fuente de información válida para evaluar la atención humana49. La evaluación de los médicos establecidos por los pacientes, colegas, otros trabajadores sanitarios y ellos mismos (autoevaluación) ha ofrecido resultados prometedores50. También el tutor puede apoyarse en instrumentos como los portafolios51.

A pesar de las aportaciones de estas propuestas, la evaluación subjetiva de la actuación en condiciones reales es difícil que pueda ofrecer calificaciones precisas que permitan comparar unos individuos con otros52. Por ello, para superar las limitaciones de la observación (y también del ECOE), se ha propuesto el análisis de videograbaciones de consultas reales53, que es un método válido fiable y con un coste aceptable54.

Alternativas a la evaluación de la residencia en nuestro país

La utilización de diferentes métodos complementarios es la manera de proporcionar una visión más completa del conocimiento y la conducta del que aprende y ayuda a contrarrestar las inexactitudes y los sesgos de cada procedimiento. Es lo que Martín Zurro ha denominado «diversificación metodológica de la evaluación de la competencia del médico de familia»55.

Si bien existe el peligro de basarse exclusivamente en valoraciones subjetivas, que sufren sesgos y son poco discriminativas56, la pieza central de la evaluación del médico en formación debe ser la observación de su práctica57, ya que otro peligro es que la búsqueda de una supuesta objetividad pueda limitar las dimensiones de la competencia que son evaluadas.

Mediante las estrategias que hemos comentado se puede mejorar la validez y la fiabilidad de la evaluación del tutor y ésta puede ser complementada con la de otras personas en contacto con el residente (p. ej., otros tutores, personal de enfermería, administrativos, etc.). Además, se podría plantear la realización de encuestas y entrevistas a los pacientes. El tutor también puede apoyarse en portafolios, en los resultados de tareas y proyectos prácticos y en auditorías58.

Los exámenes no deben ser desechados, ya que pueden aportar una información útil sobre algunos aspectos de la competencia, especialmente el razonamiento clínico, y permiten hacer comparaciones entre los residentes.

Se ha discutido la posible utilidad del ECOE en la formación del médico de familia59. Este método es dudoso que sea apropiado para evaluar a los residentes con problemas de actitudes profesionales, pero podría ser un componente de la evaluación final de la residencia y, sobre todo, de la evaluación formativa durante ésta60, aunque debe tenerse en cuenta su coste.

La evaluación externa de los residentes debería acompañarse de un esfuerzo para reforzar la autoevaluación, aspecto importante para su futuro aprendizaje. Desafortunadamente, la autoevaluación no es válida ni precisa en sujetos no entrenados61. En cualquier caso, es importante que el sistema de evaluación no se haga a espaldas de los discentes y que éste sea aceptado por éstos como válido y justo62. Si no ocurre así, el sistema está condenado al fracaso o, al menos, se perderá gran parte de su impacto educativo positivo.

Finalmente, debemos recordar que la evaluación del nivel alcanzado por los residentes no es suficiente. Basándose sólo en los resultados no se pueden tomar decisiones sobre un programa63. Es necesario evaluar en qué medida y cómo el currículum está ayudando a los que «aprenden a aprender», para mejorar su diseño, planificación e implementación64, ya que mejorar el programa de la residencia de medicina de familia es el objetivo central que debe tener cualquier sistema de evaluación.

 

Bibliograf¿a
[1]
Pseudoaccountability. Ann Intern Med 2001;134:587-90.
[2]
Validity of final examination in undergraduate medical training. BMJ 2000;321:1217-9.
[3]
Assessing learners in higher education. London: Kogan Page, 1994.
[4]
Does CME work? An analysis of the effect of educational activities on physician performance or health care outcomes. Int J Psychiatry Med 1998;28:21-39.
[5]
Does continuing medical education in general practice make a difference? BMJ 1999;318:1276-9.
[6]
Evaluación de la competencia. Reto o necesidad. Documentos Semfyc nº. 18. Barcelona: EdiDe, 2001.
[7]
Evaluation of Teaching and Learning Strategies. Med Educ Online 2001;6:4. Disponible en: http://www.med-ed-online.org
[8]
Situación actual y futura de la evaluación de los residentes de medicina familiar y comunitaria. Tribuna Docente en Medicina de Familia 2001;2:9-21.
[9]
Evaluation during residency. En: Lloyd JS, Langley DG, editors. How to evaluate residents. Chicago: American Board of Medical Specialities, 1986; p. 11-30.
[10]
Techniques for Evaluating Residents and Residency Programs. Pediatrics 1996;98:1277-83.
[11]
La competencia clínica y su evaluación. En: Cots Yago JM, editor. Guía de formación médica y competencia profesional en atención primaria. Barcelona: SemFYC, 2002:143-56.
[12]
Landmark article, March 19, 1927: The care of the patient. By Francis W. Peabody. JAMA 1984;252:813-8.
[13]
Defining and assessing professsional competence. JAMA 2002;287:226-35.
[14]
Assessment of clinical competence: written and computer-based simulations. Assess Eval Higher Educ 1987;12:220-46.
[15]
The assessment of clinical skills/competence/performance. Acad Med 1990;65:S63-7.
[16]
The assessment of professional competence. Evaluation and the health professions 1992;5:163-82.
[17]
Competence based assessment. Milton Keynes: Open University, 1994.
[18]
Association between licensing examination scores and resource use and quality of care in primary care practice. JAMA 1998;280:989-96.
[19]
Use of peer-ratings to evaluate Physician Performance. JAMA 1993;269:1655-60.
[20]
Recent Developments in Assessing Medical Students. Postgrad Med J 1998;74:18-24.
[21]
Triple-jump examination as an assessment tool in the problem-based medical curriculum at the university of Hawaii. Acad Med 1993;68:366-72.
[22]
The Diagnostic Schema Questionnaire: A new tool to Assess a Specific Dimension of Clinical Competence. En: Scherpbier AJ, Van der Vleuten JJ, Rethans JJJ, Van der Steeg AF, editors. Advances in medical education. Dordrecht: Kluwer Academic Publishers, 1997; p. 354-6.
[23]
The Script Concordance test: a tool to assess the reflective clinician. Teach Learn Med 2000;12:189-95.
[24]
Chart stimulated recall, a technique to assess clinical competence and performance. Educ Gen Pract 1995;6:30-4.
[25]
Reliability and Validity of an Objective Structured Clinical Examination for assessing the clinical performance of residents 1990;150:573-7.
[26]
Assessing Clinical performance with standardised patients. JAMA 1997;278:790-1.
[27]
The Emperor's New Clothes: The OSCE Reassessed. Acad Med 1996;71:447-53.
[28]
Performance-based assessment of clinical ethics using an objective structured clinical examination. Acad Med 1995;70:889-931.
[29]
Assessing professional behaviour and medical error. Med Teach 2001,23:145-51.
[30]
Assessment of clinical competence using an objective structured clinical examination (OSCE). Med Educ 1979;13:41-54.
[31]
Validity of Final examination in undergraduate medical training. BMJ 2000;321:1217-9.
[32]
Problem solving strategies of experienced and novice physicians. J Contin Educ Health Prof 1992;12:205-13.
[33]
Psychometric Characteristics of the Objetive Structured Clinical Examination. Med Educ 1988;22:325-34.
[34]
Evaluating communication skills in the objective structured clinical examination format: reliability and generalizability. Med Educ 1996;30:38-43.
[35]
Clinical communication skills teaching: the role of cognitive schemata. Med Educ 1995;29:436-42.
[36]
Fostering and Evaluating Professionalism in Medical Education. Acad Med 2002;77:473-4.
[37]
Investing in descriptive evaluation: a vision of the future of assessment. Med Teach 2000;22:478-81.
[38]
Influence of effective communication by surgery students on their oral examination scores. Acad Med 1991;66:169-71.
[39]
Functional and dysfunctional characteristics of the prevailing model of clinical evaluation systems in North America medical Schools. Acad Med 1992:67;254-9.
[40]
Global rating scales in residency education. Acad Med 1996;71:55S-63S.
[41]
Teaching compassion and respect: attending physicians' responses to problematic behaviours. J Gen Intern Med 1999;14:49-55.
[42]
Validity of three clinical performance assessments of internal medicine clerks Acad Med 1995;70:517-22.
[43]
Use of encounter cards for evaluation of residents in obstetrics. Acad Med 1997;72:43S-4S.
[44]
Assessing how well three evaluation methods detect deficiencies in medical students' professionalism in Two Settings of an internal medicine clerkship. Acad Med 2000;75:167-73.
[45]
Comparing psychometric properties of checklist and global ratings scales for assessing performance on an OSCE-format examination. Acad Med 1998;73:993-7.
[46]
Acad Med 2001;76:105S-7S.
[47]
Using Formal Evaluation Sessions for Case-based Faculty Development during Clinical Clerkships. Acad Med 2000;75:1216-21.
[48]
Quality Assurance Data for Residents' Global Performance Ratings. Acad Med 2001,76:S102-4.
[49]
Faculty Ratings of Residents humanism predict patient satisfaction ratings in ambulatory medical clinics. J Gen Intern Med 1994;9:321-6.
[50]
Feasibility and psychometric properties of using peers, consulting physicians, co-workers, and patients to assess physicians. Acad Med 1997;72:82S-4S.
[51]
Portfolios and assessment: meeting the challenge. Med Teach 2001;23:437-40.
[52]
The University of Utah School of Medicine. Acad Med 2000;75:375S-8S.
[53]
Assessment of competence. Br J Gen Pract 1996;46:619-22.
[54]
Assessment of general practitioners by video observation of communicative and medical performance in daily practice: issues of validity, reliability and feasibility. Med Educ 1999;33:447-54.
[55]
Diversificación metodológica de la evaluación de la competencia del médico de familia. Jano 2002;42:1350-1.
[56]
Ratings Educational Quality: factors in the erosion of professional standards. Acad Med 1999;74:652-658.
[57]
Competency-based graduate medical education? Of course! But how should competency be assessed. Acad Med 2002;77:359-60.
[58]
Audit in summative assessment a criteria marked schedule. Br J Gen Pract 1995;45:607-9.
[59]
Evaluación de la competencia. Jano 2002;42:1346-7.
[60]
The educational value of an OSCE in a family practice residency. Acad Med 1997;72:722-4.
[61]
Examination for membership in the Royal College of General Practitioners. Occasional Paper 46. London: Royal College of General Practitioners, 1990.
[62]
Evaluación de la competencia profesional de los médicos. Cuadernos de Gestión 1997;3:68-75.
[63]
Problem based learning in medical education. Adv Health Sci Educ 1996;83-94.
[64]
Evaluation and improvement. En: Educational technology in curriculum development. Londres: Teachers College Pr 1986.
Descargar PDF
Opciones de artículo
es en pt

¿Es usted profesional sanitario apto para prescribir o dispensar medicamentos?

Are you a health professional able to prescribe or dispense drugs?

Você é um profissional de saúde habilitado a prescrever ou dispensar medicamentos