La evaluación del desempeño o de las competencias en la práctica clínica. 1.a Parte: principios y métodos, ventajas y desventajas

Resumen

Evaluar no consiste en aplicar métodos individuales para medir el desempeño, lo que importa es diseñar un proyecto educativo integral basado en competencias, siendo la evaluación el motor del aprendizaje, la garantía de seguridad del paciente y, en definitiva, un acto moral. Requiere obtener información cualitativa del desempeño, lo que implica un juicio profesional y un consenso de expertos. El desempeño se evalúa en situación real y no simulada. Los métodos se basan en la observación, la autoevaluación, la supervisión y la actividad asistencial, deben promover la evaluación formativa y ser de fácil aplicación. Describimos sus características, las ventajas, desventajas y errores de uso. No hay buenos o malos métodos, ya que cualquiera de ellos, usado con rigor, puede ser de utilidad. Lo que realmente importa es dar sentido a las acciones formativas, integrando un plan de evaluación como parte del proceso formativo.

Abstract

Assessment does not consist of applying individual methods to measure the performance, what matters is to design a competency-based integral educational project where assessment is the driver of learning, a guarantee of patient safety and, ultimately, a moral act. It requires qualitative information of performance, which involves professional judgment and consensus of experts. The performance is evaluated in real situation and not simulated. The methods are based on observation, self-assessment, supervision and health care activities. They should be easy to apply and promote formative assessment. We describe its features, advantages, disadvantages and usage errors. There are no good or bad methods, since any of them, rigorously used, can be useful. What really matters is to make sense of training actions, through the integration of an assessment plan as part of the teaching process.

Introducción

Estos dos artículos pretenden dar una visión global y práctica de la evaluación del profesional de la salud en formación centrada en su actuación en situación real, en su desempeño o performance (4.^o nivel de la pirámide de Miller).

En la primera parte se fundamenta la evaluación del desempeño, se exponen esquemáticamente los diferentes métodos y se analiza especialmente las ventajas, desventajas y limitaciones de su empleo.

La segunda parte trata sobre los tipos de formularios utilizados en los diferentes métodos, las claves de su diseño, los errores más habituales en su uso, cómo evitarlos y cómo minimizar la subjetividad de la evaluación. Se aborda la planificación y estrategia de implementación en nuestro contexto de la formación especializada, aplicando los principios básicos de la evaluación.

La formación y evaluación basada en competencias. Principios básicos

La formación basada en competencias

La formación basada en competencias es algo más que un programa redactado en términos de competencias. Se trata de una estrategia dirigida a formar profesionales acorde a las necesidades de los sistemas sociosanitarios y precisa dirigir las acciones formativas con una visión holística, humanizadora y global en lo social, junto a un compromiso institucional y un aprendizaje a través de situaciones o tareas.

La formación basada en competencias requiere: 1) por parte del evaluado reflexión, autoevaluación y un compromiso explícito con su propio proceso formativo; 2) del proceso de aprendizaje, documentar resultados de aprendizaje, flexibilizar el programa (individualizado), una retroalimentación frecuente y de alta calidad, y un liderazgo desde las jefaturas de las unidades docentes (servicios asistenciales), ya que fomenta el compromiso y la participación activa de todos los profesionales del equipo en el proceso formativo.

Fundamentos de la evaluación

Evaluar es un proceso que genera información a través de la valoración de las cualidades del profesional en formación, mediante criterios o parámetros estandarizados, y esta información se utiliza para formar juicios y tomar decisiones. No consiste en aplicar un método determinado por su valor psicométrico o un ejercicio de cálculos numéricos y ponderaciones. Se trata de documentar evidencias explícitas sobre el desempeño para identificar aquellas áreas competenciales desarrolladas y las que requieren ser fortalecidas. Requiere información de diferentes fuentes, un juicio profesional y una toma de decisiones por consenso de expertos.

Por tanto, no es una acción en un momento concreto, es un proceso con una estrategia bien planificada desde antes de iniciarse la formación. Comienza el primer día de la formación con el diagnóstico de partida del estudiante/residente, lo que permite planificar su proceso formativo y su desarrollo en función de la curva de aprendizaje (fig. 1). La preocupación de los gestores y responsables de las instituciones oficiales está, lógicamente, en la evaluación sumativa o certificadora. Los formadores debemos poner el énfasis en la evaluación formativa, comparando al residente A con A, y no al A con el B. Se trata de pasar de evaluar «el» aprendizaje a evaluar «para» el aprendizaje, siendo clave el feedback. La evaluación se convierte en el eje de la estrategia formativa, en el motor del aprendizaje, y el paso previo es la definición del perfil del profesional a formar (tabla 1), basando todo el proceso evaluador en dicho perfil.

Figura 1.

Proceso de la evaluación-formación.

Tabla 1.

Modelos de referencia de perfiles profesionales adoptados por diferentes instituciones

CanMEDS (Canadá)	Outcome Project (ACGME, EE. UU.)	Ser médico/profesional en el Hospital Universitario Cruces (2008)
1. Experto médico 2. Comunicador 3. Colaborador 4. Gestor 5. Consejero de salud 6. Erudito, estudioso (scholar) 7. Profesional	1. Profesionalidad 2. Habilidades interpersonales y de comunicación 3. Conocimiento médico 4. Cuidados del paciente 5. Práctica basada en el contexto del Sistema de Salud 6. Práctica basada en el aprendizaje y la mejora	1. Profesionalidad: valores profesionales, actitudes, comportamiento y ética 2. Comunicación 3. Cuidados del paciente y habilidades clínicas 4. Conocimientos médicos 5. Práctica basada en el contexto del Sistema de Salud (salud pública, sistemas sanitarios) 6. Práctica basada en el aprendizaje y la mejora (análisis crítico e investigación) 7. Manejo de la información

Modificado con permiso de: Morán-Barrios J, Ruiz de Gauna P. Reinventar la formación de médicos especialistas. Principios y retos. Nefrologia. 2010;30: 604-612.

La evaluación formativa se caracteriza por: inicio temprano y durante el programa, identificar fortalezas y debilidades, objetivar progresos e introducir medidas correctoras, desarrollar competencias y guiar y dirigir el desarrollo profesional. Tiene menor rigor en términos psicométricos. «No hay que temer basarse más a menudo en datos cualitativos y de juicio profesional, ya que la calidad global de las evaluaciones depende mucho más de un programa integral de evaluación que de instrumentos individuales» (C. Brailovsky, 2001). Lo más importante es trabajar bien el proceso formativo con sus diferentes metodologías de aprendizaje.

La evaluación sumativa es el final de un proceso de evaluación formativa, se llevaría a cabo por consenso de expertos en base a la información periódica recogida y debería expresar, en un breve informe, las competencias alcanzadas. No se trata de cálculos numéricos ni de ponderar unas competencias sobre otras, todas tienen el mismo valor para el ejercicio de la profesión. ¿Están los conocimientos y habilidades por encima de la ética?

En la práctica, lo importante de los métodos es la información que proporcionan, su impacto educativo y la modificación del desempeño. «Cualquier método, incluso los que están menos estructurados y estandarizados, puede ser de utilidad dependiendo de su uso […] No hay buenos o malos métodos, esto es relativo, ya que la evaluación implica diseñar un plan, establecer el proyecto educativo y analizar los recursos para su implementación» (Van der Vleuten, 2005).

Competencia y desempeño. Estrategias de evaluación del desempeño

Evaluar en situación real (desempeño)

Rethans et al. ya pusieron de manifiesto la diferencia entre competence y performance al comparar los resultados de la actuación en la práctica clínica real y simulada de un conjunto de médicos generales. La puntuación más baja obtenida en la situación real (performance), respecto a la simulada (competence), no fue reflejo de una pérdida de la competencia, sino que la actuación en situación real está sometida a múltiples factores externos que influyen en el comportamiento del profesional.

Por tanto, competence y performance (desempeño) son constructos diferentes. Proponemos asimilar competence con «tener competencia», posesión de recursos internos, y performance con «ser competente», mostrando esos recursos que se tienen en situación real (4.^o nivel de la pirámide de Miller), para resolver problemas o tareas integrando el saber (conocimientos), el saber hacer (habilidades y destrezas), el saber estar (actitudes y comportamientos) y el saber ser (ética y valores) (fig. 2).

Figura 2.

Diferencia entre tener competencia y ser competente (evaluable en la acción).

Ser competente equivale a un modo de saber actuar de manera pertinente en situaciones y contextos en los que las personas se enfrentan a problemas con un claro criterio de calidad, para lo cual se articulan y movilizan recursos internos (conocimientos, habilidades, destrezas, valores, experiencias de contexto, de personas, de redes de datos, etc.), estando en condiciones de dar razón de sus decisiones y actuaciones y de responsabilizarse de los efectos morales e impacto social de las mismas (Troncoso y Hawes en Ruiz de Gauna et al., 2015). Por el contrario, tener competencia es poseer los recursos necesarios para actuar con competencia, pero puede ocurrir que una persona tenga muchas competencias y no sea capaz de combinarlas y movilizarlas adecuadamente dentro de una situación laboral.

Nunca hay una situación real igual a otra, por tanto, al personal en formación hay que evaluarle en situaciones reales y no simuladas, salvo por elementales principios éticos. «La verdadera competencia será aquella que pueda evidenciarse mediante el resultado de la acción (competencia = acción), dado que los recursos internos son invisibles. Así entendido, la evaluación y la formación constituyen un binomio indisoluble» (Ruiz de Gauna et al., 2015) (fig. 3).

Figura 3.

Binomio inseparable: formación y evaluación a través de la tarea (acción) en la cual se expresan diferentes competencias a través del comportamiento observable.

Estrategias de evaluación del desempeño

El desempeño abarca desde las diferentes prácticas asistenciales a aspectos de gestión, actividades preventivas, de investigación y docentes, cooperación en equipos, atención a la familia y la comunidad, etc., y para su evaluación se precisa combinar diferentes métodos. La evaluación la podemos enfocar desde dos puntos de vista: 1) temporal: durante y después de la acción o del trabajo (tabla 2); 2) a través de la persona evaluada: autoevaluación, la valoración por otros (observación y supervisión) y por datos de actividad laboral.

Tabla 2.

Métodos de la evaluación del desempeño

Durante el trabajo Basados en la observación directa (feedback inmediato)	Después del trabajo Basados en resultados del trabajo
Por un único evaluador en una situación clínica concreta: • MiniCEX, DOPS, CbD, ACAT, PBA, etc.	Reflexión personal: • Autoevaluación • Incidentes críticos • Información biográfica • Balance de competencias
Por varios evaluadores o 360° (MSF, multiple source feedback o feedback multifuente): • del equipo de trabajo • por pacientes y familiares	Supervisión: • Valoraciones globales • Entrevistas • Informes
	Actividad asistencial
Portafolio

Modificado con permiso de: Morán-Barrios J. Evaluación del desempeño o de la práctica profesional: fundamentos y métodos. En: Millán J, Palés J, Morán-Barrios J, editores. Principios de educación médica: desde el grado hasta el desarrollo profesional. Editorial Médica Panamericana, 2015; p 569-83.

Evaluación durante el trabajo (workplace-based assessment)

Basada en la observación directa en el puesto de trabajo y en el feedback inmediato posterior.

Evaluaciones por un único observador

Fundamentos, desarrollo y condicionantes

Todos los métodos que brevemente describimos tienen el mismo fundamento: la observación o discusión sobre una actuación clínica concreta y el feedback inmediato. Como apunta Norcini (2007), algunos se desarrollaron inicialmente en Estados Unidos, como los Mini-ejercicios de evaluación clínica (MiniCEX), al objeto de paliar un déficit formativo, ya que raramente los residentes eran observados, supervisados y orientados (feedback) durante su práctica clínica.

El evaluador basa su juicio en la actuación del estudiante/residente ante una situación clínica determinada. Para ello, selecciona al paciente y el escenario clínico acorde a los objetivos del programa, se solicita permiso al paciente, se observa y se realiza el feedback, documentando las debilidades y fortalezas y las acciones de mejora acordadas. Los encuentros duran unos 20 min y el feedback entre 5 y 10 min.

Los instrumentos empleados son formularios de escala con descriptores precisos de las competencias a evaluar para minimizar la subjetividad; las escalas, de 3 a 6 niveles, son verbales combinadas o no con números (ver 2.^a parte). Las competencias que describen varían en función de las diferentes organizaciones, especialidades y contextos e incluyen datos de la situación asistencial, el tipo de problema clínico y su complejidad, la experiencia de los evaluadores, una valoración de la satisfacción del evaluado, observaciones del evaluador y, en algunos, una escala final con el nivel de desempeño o autonomía alcanzado.

La aplicación de estos métodos requiere una buena organización y planificación docente, disponibilidad de tiempo, reuniones periódicas de los evaluadores para llegar a consensos y corregir errores, además de una buena formación de los evaluadores en la técnica del feedback, ya que ésta es clave.

Métodos

Los métodos publicados son muy numerosos para diferentes contextos clínicos y especialidades. Las siglas con las que son denominados no deben confundirnos, todos ellos se rigen por el principio de la observación de un encuentro clínico. Lo que varía son las competencias descritas en el formulario adaptadas a la situación o tarea a valorar y el tipo de especialidad.

Se debe valorar la traslación directa de estos métodos a contextos laborales y culturales diferentes. Por ejemplo, si los facultativos trabajan «codo con codo» con los residentes y les conocen en el «día a día», quizás se pueden emplear otros métodos como formularios con competencias globales o global rating scales para evaluar rotaciones o actividades concretas (por ejemplo: para la consulta de preanestesia, la práctica de la hemodiálisis o la atención domiciliaria, etc.), ya que «más importante que el valor psicométrico de los métodos está su utilidad práctica unida a la calidad de la información que proporcionan en determinados contextos» (Van der Vleuten, 2005).

Entre los métodos más difundidos en el mundo anglosajón, se encuentran:

• a)

  Discusión basada en un caso clínico: Chart Stimulated Recall (CSR) y Case-based discusión (CbD) (versión británica del anterior).

• b)

  Mini-ejercicio de evaluación clínica (MiniCEX), para encuentros clínicos breves.

• c)

  Evaluación de cuidados agudos (Acute Care Assessment Tools [ACAT]), para contextos de urgencias.

• d)

  Destrezas observadas directamente (Directly Observed Procedural Skills [DOPS]), para actuaciones técnicas.

• e)

  Evaluación basada en procedimientos (Procedures-Based Assessment [PBA]), para actos quirúrgicos complejos.

• a)

  Discusión basada en un caso clínico (CbD).

  Descripción y utilidad: el residente selecciona 2 historias clínicas de pacientes vistos recientemente. El evaluador escoge uno de los 2 casos, según el interés, y analiza con el residente los aspectos más importantes. El interés del evaluador se centrará en analizar y comprender el proceso de razonamiento del residente. Se trata de una herramienta con alto valor formativo (reflexión) y buenas características psicométricas, pero exigente para los implicados. El Foundation Programme del Reino Unido recomienda 6 evaluaciones al año.

  Competencias que evalúa: juicio clínico del caso, la calidad de la historia clínica, las pruebas diagnósticas y consultas realizadas, el uso racional de recursos, seguridad del paciente, conveniencia de consultar con otros profesionales, el plan terapéutico y las recomendaciones sobre seguimiento y consultas sucesivas, aspectos de ética, de comunicación con el paciente y sus familiares, y una opinión global sobre el caso.

  Ejemplo:

  http://www.acrrm.org.au/training-towards-fellowship/reporting-and-assessments/assessment-types/case-based-discussion-assessment.

• b)

  Mini-ejercicio de evaluación clínica (MiniCEX).

  Descripción y utilidad: observación del desempeño de un estudiante/residente en un encuentro clínico habitual seguida de feedback. El evaluador observa cómo actúa el residente ante un paciente. Se trata de una herramienta muy bien estudiada, con alto valor formativo y buenas características psicométricas. Los estudios realizados en el Reino Unido —Joint Committee on Higher Medical Training (JCHMT)— indican que 8 evaluadores con 2 evaluaciones realizadas por cada uno de ellos a lo largo de un año (16 evaluaciones de diferentes situaciones clínicas) aportan buena validez y fiabilidad.

  Competencias que evalúa: habilidades en la entrevista clínica y el examen físico, comunicación, cualidades humanas y profesionales, razonamiento clínico, cuidados y educación al paciente, organización y eficiencia y la competencia clínica global.

  Ejemplos para pediatría (ePaedMiniCEX) y medicina adultos:

  http://www.rcpch.ac.uk/training-examinations-professional-development/assessment-and-examinations/assessment/paediatric-min

  http://www.abim.org/ (buscar: Mini-CEX)

• c)

  Evaluación de situaciones agudas o emergencias (ACAT).

  Descripción y utilidad: nuevo método en desarrollo en el Reino Unido para evaluar actuaciones en casos agudos y en urgencias. El fundamento, desarrollo y utilidad son semejantes al MiniCEX.

  Competencias que evalúa: calidad de la valoración clínica inicial, historia clínica, pruebas diagnósticas solicitadas, gestión del paciente acorde a su gravedad, gestión del tiempo, relación con el equipo de trabajo, liderazgo, gestión del ingreso o derivación del paciente, seguridad del paciente, uso apropiado de recursos y un juicio clínico global.

  Ejemplo: http://www.rcpch.ac.uk/system/files/protected/page/ACAT%20Guidance%202013_0.pdf

• d)

  Observación de habilidades técnicas (DOPS).

  Descripción y utilidad: el método es similar a los anteriores y permite evaluar desde procedimientos simples como una punción lumbar, un sondaje vesical, una cateterización arterial o venosa, a más complejos, como una biopsia renal o una angiografía. Es una evaluación importante, no solo en lo formativo, sino para confiar técnicas con plena responsabilidad. Estudios del Joint Committee on Higher Medical Training obtuvieron una buena validez con 3 observadores que valoraron 2 procedimientos en cada residente. El evaluador puede ser cualquier profesional, incluido enfermería.

  Competencias que evalúa: la indicación del procedimiento, la identificación de la anatomía y el procedimiento técnico en sí mismo, obtención del consentimiento informado, preparación adecuada del procedimiento, analgesia y sedación, técnicas de asepsia, habilidad en la realización de la técnica, habilidades de comunicación, seguridad del paciente, manejo de las complicaciones, solicitud de ayuda cuando se precisa, interpretación de resultados o determinados parámetros que aporta el procedimiento, profesionalismo, otros aspectos importantes del procedimiento técnico a evaluar, una valoración global de la realización de la técnica y el uso racional de los recursos.

  Ejemplo: http://www.usanz.org.au/uploads/29168/ufiles/DOPS_Form.pdf

• e)

  Evaluación de procedimientos quirúrgicos (PBA).

  Descripción y utilidad: se adoptó en 2007 en el Reino Unido como el principal método para evaluar procedimientos quirúrgicos por las especialidades integradas en el Intercollegiate Surgical Curriculum Programme (ISCP). Su validez, fiabilidad y aceptabilidad son altas. Dada la gran variabilidad en la progresión de las habilidades técnicas, no se ha descrito un número mínimo de evaluaciones. La finalidad es fundamentalmente formativa, siendo el facultativo el que decide en qué momento el residente está suficientemente capacitado. En el Reino Unido, cada especialidad quirúrgica ha desarrollado hasta una cincuentena de formularios para los diferentes procedimientos.

  Competencias que evalúa: incluyen al menos 38 competencias agrupadas en 6 dominios: 1) conocimientos, información al paciente y consentimiento; 2) planificación preoperatoria (anatomía y patología); 3) preparación del paciente y control del material quirúrgico y de otro equipamiento en el quirófano; 4) apertura y cierre del campo quirúrgico; 5) técnica quirúrgica, y 6) cuidados posquirúrgicos.

Las escalas de valoración comprenden 3 niveles: «no apropiado para su nivel, insatisfactorio y satisfactorio». Se incluyen comentarios escritos e información adicional sobre el nivel de competencia global alcanzado: 0 (no competente), 1 (incapaz de realizarlo sin supervisión directa), 2 (capaz de realizarlo con supervisión), 3 (no requiere supervisión, pero puede necesitar ayuda ocasionalmente), 4 (puede realizar el procedimiento sin supervisión directa y es capaz de resolver las complicaciones que se presenten).

Ejemplos para diferentes especialidades quirúrgicas en el Reino Unido, donde se pueden ver las competencias concretas que se evalúan: https://www.iscp.ac.uk/curriculum/surgical/assessment_pba.aspx

Evaluación por múltiples observadores

Evaluación de 360¿ (Multi-source feedback [MSF] o retroalimentación multifuente)

Descripción y utilidad: comenzó a utilizarse en 1980 para evaluar las competencias de altos ejecutivos. Los evaluadores pueden ser los superiores, compañeros o subordinados, tanto personal sanitario como no, con lo que se minimiza la subjetividad. Los pacientes y familiares pueden evaluar, especialmente, aspectos relacionados con la comunicación, el comportamiento y la ética. Numerosas publicaciones avalan el método de 360¿ en términos de validez, fiabilidad, en su valor educativo y en el impacto en la mejora del desempeño.

Precisa una amplia muestra de evaluadores, entre 8 y 10 profesionales de la salud, que precisan haber observado actuar al estudiante/residente en diferentes situaciones durante un periodo de tiempo suficiente (p.e. una rotación de 2-3 meses). En la práctica se contará con el personal disponible siempre que no sea claramente escaso y no se garantice la confidencialidad. Si se trata de pacientes y familiares, 25 o más, pero siendo prácticos, con los que pasen por una consulta diaria puede ser suficiente. Los formularios generalmente son anónimos, aunque hay excepciones, se remiten al supervisor que sintetiza las valoraciones obtenidas y lo comenta con el residente.

Competencias que evalúa: todo tipo de aspectos en función del diseño del formulario y de quienes serán los evaluadores. Buenas prácticas clínicas, cuidados del paciente, seguridad del paciente, gestión y organización, docencia, profesionalidad, comunicación, relaciones interpersonales, aplicación del conocimiento, etc. Es importante adaptar las competencias a evaluar a la cultura propia, sobre todo en el caso de comportamientos.

• a)

  Evaluación por profesionales sanitarios y no sanitarios del entorno laboral.

  Existen tantos métodos como equipos de evaluadores decidan qué evaluar. A modo de ejemplo se exponen 2 modelos, el Team Assessment Behaviour (TAB) y el Peer Assessment Tools (Mini-PAT) diseñados por 2 equipos diferentes de investigadores.

  • •

    TAB. Aplicado en el Reino Unido. Las competencias a evaluar se agrupan en 4 dominios: el mantenimiento de la confianza/relación profesional con los pacientes, las habilidades de comunicación verbal, el trabajo en equipo y con sus colegas y la accesibilidad. Ejemplo: http://www.westmidlandsdeanery.nhs.uk/Portals/0/Paediatrics/360%20Tab%20Form%20Jan%202010%20Version.pdf?ver=2015-07-02-213006-327

  • •

    PAT o Mini-PAT. Diseñado para el primer año troncal del Foundation Programme de Reino Unido. Se evalúan 15-16 competencias agrupadas en 4 dominios: la calidad de los cuidados clínicos, el mantenimiento de buenas prácticas clínicas, el autoaprendizaje y la enseñanza, la relación con los pacientes y colegas y una valoración global.

    Ejemplo: https://www.iscp.ac.uk/static/public/msf_assessor_form.pdf

• b)

  Evaluación por pacientes.

  Descripción y utilidad: los pacientes pueden colaborar valorando competencias relacionadas con la comunicación, las relaciones interpersonales, el profesionalismo y determinados aspectos de los cuidados recibidos, como los consejos de salud y los relacionados con la coordinación entre niveles asistenciales. Evaluar estos aspectos es importante, ya que la comunicación y el comportamiento son la clave de la relación de confianza entre médico/profesional y paciente y tienen efectos positivos en los cuidados de salud. La capacidad del paciente para evaluar al profesional en comunicación y relaciones interpersonales es obviamente superior a la de un observador externo, quien no puede ponerse en la piel del paciente y deducir sus sentimientos y percepciones.

  Según el American Board of Internal Medicine son necesarios entre 20 y 40 pacientes para obtener altos valores de fiabilidad. La mayor fiabilidad se obtiene con formularios del tipo de listas de cotejo con 2 o 3 niveles de respuesta: «sí, no, a veces». También se emplean formularios de escala. La viabilidad es total ya que el paciente no precisa más de 5 min. Se pueden utilizar formularios ya diseñados o diseñarlos a través de grupos focales incluyendo pacientes, teniendo en cuenta las necesidades de la organización y el nivel cultural de los pacientes. Las dificultades radican en un formulario con lenguaje poco claro o pacientes con problemas de alfabetización.

  Competencias que se pueden evaluar: aquellas relacionadas con la generación de confianza, la empatía, la comunicación, la ética, el respeto, la calidad de cuidados, la accesibilidad, etc.

  Ejemplos: el Patient Satisfaction Questionnaire (PSQ) editado por el Royal College of General Practitioner: http://www.rcgp.org.uk/training-exams/mrcgp-workplace-based-assessment-wpba/∼/media/Files/GP-training-and-exams/WPBA/PSQ.ashx

Ventajas, desventajas y errores más frecuentes en la evaluación por observación directa

• 1.

  Impacto educativo positivo (evaluación formativa) y mejora del desempeño. MiniCEX, DOPS, CbD, y 360¿ tienen impacto educativo positivo y una buena satisfacción de discentes y docentes; la insatisfacción va ligada a una escasa calidad del feedback. El impacto en el desempeño no está aclarado definitivamente.

• 2.

  Dudosa utilización como evaluación sumativa. La clave de estos métodos está en evaluar «para» aprender, por tanto, emplearlos para evaluar «el» aprendizaje es cuestionable. Cuando hay mucho en juego hay tendencia a una evaluación benevolente, lo que pone en duda el empleo de la observación directa como evaluación sumativa. Muchos factores no controlables hacen que los casos evaluados, aun dentro de la misma especialidad, no sean comparables entre centros. Entre esos factores está la diferente complejidad de los pacientes, si se trata de centros de referencia o no, o los diferentes tipos de organización y gestión de los centros.

• 3.

  La evaluación de diferentes situaciones clínicas es una clara ventaja, precisando formularios diseñados al efecto.

• 4.

  Situación forzada y oportunista y errores en el desarrollo de los encuentros.

  • a)

    Desventajas: el residente y el evaluador deben interrumpir su actividad clínica normal y pedir permiso al paciente, esto fuerza la situación y hace que ninguno de los «actores» tengan un comportamiento normal. El residente/estudiante sabe que se le está evaluando.

  • b)

    Errores:

    • -

      A veces, el paciente se dirige al evaluador y no al residente, por lo que hay que explicar claramente al paciente en qué consiste este encuentro.

    • -

      El evaluador debe distanciarse lo suficiente, si el espacio físico lo permite, para no interferir con el evaluado, evitando estar a la vista o interrumpir con gestos la entrevista.

    • -

      Si no se respeta el tiempo asignado al encuentro se pierde la característica de ser un encuentro real, transformándose en una situación ficticia.

• 5.

  Dificultad del caso. La diferente dificultad de los casos puede ser fuente de error si se está evaluando y comparando a residentes del mismo nivel de experiencia. Es preciso seleccionar bien los casos en función de su dificultad.

• 6.

  Sesgo de actuaciones previas. La ventaja de las observaciones únicas es que el evaluador se centra en juzgar una sola actuación, evitando este sesgo. La desventaja es que la evaluación es solo atribuible a un caso o tarea específica y este desempeño no predice el siguiente, de aquí la necesidad de realizar varias observaciones al año (entre 6 y 16 según autores). Esto puede limitar la viabilidad.

• 7.

  Evaluación 360¿. Su ventaja radica en que el juicio se emite sobre la actuación en diferentes situaciones clínicas, lo que reduce la especificidad del caso, y en que rellenar el formulario no supone más de 5 min. La desventaja estriba en que el evaluador puede emitir juicios sobre aspectos que no ha observado con claridad o no recuerda bien. Los juicios emitidos por diferentes evaluadores, de distintos perfiles profesionales, así como su entrenamiento, minimizarán este problema. Pero el problema fundamental es su viabilidad, ya que la aplicación choca con las resistencias culturales a que otros evalúen nuestros comportamientos. Se requiere un trabajo adicional con el equipo.

• 8.

  Validez y fiabilidad. La validez para el MiniCEX es alta. En la fiabilidad lo que más influye es el número de observaciones y de evaluadores. Un adecuado entrenamiento reduce la variabilidad interobservadores, ganando ellos mismos confianza en el uso de estos métodos. Es preciso tener en cuenta:

  • a)

    La experiencia clínica de los evaluadores. Es la mayor fuente de errores. Evaluadores muy experimentados clínicamente tienen opiniones diferentes sobre la actuación en un mismo caso, pudiendo valorar la menor o mayor dificultad de los casos en función de esa experiencia. Por ello es importante incluir varios evaluadores entrenados.

  • b)

    La especificidad de caso. Las observaciones aisladas no predicen la siguiente ni representan el conjunto de la actuación del residente. Se necesitan varias observaciones con diferentes pacientes, lo que supone tiempo y facultativos entrenados. Además, en estas observaciones se pueden detectar otras competencias deficitarias que precisan una evaluación con otros métodos.

  • c)

    Aspectos a evaluar. Para ganar en fiabilidad es importante desglosar la tarea a evaluar en diferentes dimensiones (competencias); generalmente entre 5 y 10 es suficiente, unido a una buena descripción de las mismas. Un error es transformar un encuentro clínico en un interrogatorio sobre conceptos de la patología. Los métodos por un solo observador se deben ceñir a evaluar destrezas clínicas y no el conocimiento. Para esto existen otros instrumentos.

  • d)

    Equivalencia entre unos y otros evaluados. A veces no está claro si la diferencia de resultados entre los residentes puede deberse a su diferente nivel de competencia, a la dificultad de los casos, o a los diferentes criterios de los evaluadores, ya que, ni todos los evaluadores tienen el mismo rigor o formación docente, ni todos los casos la misma complejidad. Esto es un problema relativo dentro de un mismo centro o rotación concreta donde no varían la complejidad de los casos, y si el fin es solo formativo, si bien exige consenso, formación y reuniones periódicas entre facultativos. Pero es un serio problema cuando el fin es sumativo y si se pretende comparar entre centros (centros de salud, hospitales comarcales o de alta especialización). La diferencia entre evaluadores y la complejidad de las situaciones clínicas no aconsejan la comparación de resultados entre centros y, como se ha dicho, genera dudas para el uso con fines sumativos.

  • e)

    La Influencia de la relación personal con el evaluador puede ser fuente de sesgos negativos o positivos y en ocasiones los residentes tienden a escoger como evaluadores a amigos o personas afines, en vez de aquellos más imparciales. Por ello es preciso observaciones llevadas a cabo por diferentes personas.

• 9.

  Viabilidad. Una de las mayores dificultades de estos métodos consiste en la aplicación en el «día a día» en contextos laborales complejos como el hospitalario. Las limitaciones se centran en: la disponibilidad de otros facultativos, pues la evaluación no es únicamente una función del tutor o supervisor sino del profesional que trabaja con el residente, la competencia de los facultativos para evaluar todos los aspectos del desempeño (cognitivos, habilidades, comunicación, profesionalidad, etc.), la falta de tiempo, la escasa calidad de la retroalimentación o la gestión de múltiple documentación.

  Si se quiere implantar los métodos tipo MiniCEX o similares es preciso analizar bien su viabilidad en base a recursos humanos bien formados en metodología evaluadora, disponibilidad de tiempo y recursos administrativos e informáticos, en definitiva, una buena organización docente.

Evaluación después del trabajo (work-based assessment)

Se trata de evaluación retrospectiva del trabajo realizado mediante autoevaluación, reflexión, supervisión y análisis de datos de actividad. Métodos:

• a)

  Basados en la reflexión personal.

  • •

    Autoevaluaciones.

  • •

    Incidentes críticos.

  • •

    Información biográfica.

  • •

    Balance de competencias.

• b)

  Basados en la supervisión.

  • •

    Valoración global de competencias (global rating scales).

  • •

    Entrevistas con el supervisor.

  • •

    Informes periódicos de los supervisores.

• c)

  Basados en la actividad clínica.

  • •

    Registros de práctica clínica.

  • •

    Datos de gestión sanitaria.

  • •

    Auditorías: externas, internas.

• d)

  Portafolios.

Descripción de los métodos

• a)

  Basados en la reflexión personal. La reflexión personal documentada es la base de la formación basada en competencias.

  • •

    Autoevaluación. Se trata de identificar logros en el desempeño, déficits, necesidades formativas y establecer compromisos utilizando cualquier formulario empleado en los métodos de observación y en la supervisión. Las videograbaciones son una particularidad para analizar entrevistas clínicas. Ejemplo de autoevaluación con un formulario para 360¿: Ejemplos en: http://www.im.org/p/cm/ld/fid=701 (ver Milestone-Based Self Evaluation Forms)

  • •

    Incidentes críticos. En palabras de A. Costa y C. Almendros, los incidentes críticos son aquellos sucesos de la práctica profesional que nos causan perplejidad, han creado dudas, han producido sorpresa o nos han molestado, inquietado o impactado por su falta de coherencia o por haber presentado resultados inesperados buenos o malos y motivan o provocan una reflexión. No necesariamente son situaciones de gravedad extrema o de riesgo vital. Generalmente provocan dilemas morales. Los incidentes críticos son una herramienta idónea para aprender de los errores y mejorar la calidad asistencial y para reflexionar sobre valores o actitudes profesionales. La reflexión estructurada permite analizar y trabajar todo tipo de competencias, desde el conocimiento a la gestión de recursos y, sobre todo, el profesionalismo. El supervisor los puede trabajar de manera individual o colectiva. Ver A. Costa y C. Almendros en: http://www.fisterra.com/formacion/bioetica/incidentes.asp

  • •

    Información biográfica. Se trata de registros personales de la práctica mediante diarios o memorias, cuyos modelos pueden ser muy diversos, donde se recogen experiencias y reflexiones formativas y laborales, lo que unido a un registro de actividades constituyen un portafolio o Libro del Residente en España (ver más adelante).

  • •

    Balance de competencias. Técnica basada en la autoevaluación en la que el tutor o supervisor guía a la persona para que identifique, seleccione y se comprometa con aquellas opciones profesionales más acordes con sus competencias. Permite tomar conciencia de las propias competencias y motivaciones. Esta técnica está muy poco desarrollada en el entorno educativo sanitario, donde otras competencias o capacidades no suelen ser explícitamente valoradas, como la capacidad de dirección y gestión de equipos, liderazgo, capacidad docente, etc.

• b)

  Basados en la supervision. La supervisión tiene 3 funciones: 1) educar, aportando oportunidades de aprendizaje; 2) monitorizar, identificando debilidades y áreas de mejora, y 3) apoyar, permitiendo espacios para analizar las fortalezas y debilidades y establecer planes de aprendizaje.

  • •

    Evaluación global de competencias, de rotaciones o tareas, mediante formularios de escala (global rating scales o global assessment form).

    Es un método sencillo basado en la información que el facultativo obtiene al trabajar conjuntamente con el residente durante un amplio periodo (por ejemplo, una rotación de 2 o 3 meses) y no solo la ligada exclusivamente a un acto clínico concreto (métodos de observación directa). El facultativo adquiere una visión bastante amplia de los comportamientos del residente en las diferentes situaciones que se dan en la práctica diaria.

    Los formularios se pueden diseñar de muy diferentes formas, incluyendo una amplia muestra de competencias agrupadas en varios dominios acordes al perfil general del profesional definido, como los casos de CanMEDS de Canadá, Outcome Project del ACGME en EE. UU. o Good Medical Practice en el Reino Unido (tabla 1), o adaptados a cada contexto, al contenido del trabajo o tarea, a la rotación o periodo formativo (por ejemplo, realizar una ecografía cardiaca o para una rotación por neurología). Lo importante de estos formularios es mantener siempre el diseño estructurado de los dominios competenciales. Lo que varía son las competencias descritas en cada dominio en función de la rotación, especialidad o tarea a evaluar Ejemplo: http://www.hospitalcruces.com/documentos/actividadDocente/FORMULARIO%20EVALUACION%20ROTACIONES.pdf?a=1467028302237

    En Canadá denominan esta evaluación «In-training evaluation» (ITE) (https://www.umanitoba.ca/faculties/health_sciences/medicine/units/family_medicine/media/ITER-Orthopedic_Surgery_Eval_Criteria__final.pdf). El ejemplo que se aporta para la rotación de médicos de familia por cirugía ortopédica es un formulario global con 32 competencias agrupadas en los 7 dominios competenciales del modelo canadiense.

    La forma de aplicar estos formularios es muy variada y dependerá del contexto. El evaluador puede ser solo la persona que ha trabajado con el residente, puede completar la información con la proveniente de otros métodos, de los propios registros clínicos, del contraste o consenso con otros colegas que también han visto trabajar al residente, o el formulario se puede entregar a estos y lo trasformamos en una evaluación 360¿. La finalidad es tanto formativa como sumativa. Ejemplos en: http://www.acgme.org/Portals/0/PFAssets/ProgramResources/999_GlobalResidencyCompetencyForm.pdf

    http://meded.ucsf.edu/gme/gme-evaluation-assessment-tools (ver Global Assessments).

  • •

    Entrevistas. Son un método fundamental de demostrada utilidad en el mundo laboral. Se trata de encuentros programados entre supervisores y evaluados, documentados en formularios concretos, donde se reflejan los logros alcanzados o los déficits de aprendizaje, y en los que se pactan acciones concretas de mejora, con un cronograma y un compromiso documentado de formación y autoevaluación.

  • •

    Informes anuales o finales de tutoría. Pueden redactarse libremente, pero mejor sobre documentos estructurados que incluyan todas las dimensiones del perfil profesional (profesionalidad, comunicación y habilidades interpersonales, conocimiento, cuidados del paciente, práctica basada en el aprendizaje y la mejora, práctica basada en el contexto sanitario, manejo de la información).

• c)

  Basados en datos de actividad clínica: registros de práctica clínica, datos de gestión asistencial y auditoría externas. La evaluación de procesos y resultados clínicos precisa de buenos indicadores de práctica clínica. Posibles indicadores:

  • •

    Volumen de pacientes atendidos y de actividad quirúrgica, tasa de reingresos, datos de prescripción farmacéutica.

  • •

    Calidad de la historia clínica, implantación de buenas prácticas clínicas, resultados de morbimortalidad, resultados intermedios (p.e. tasa de hipertensos controlados, etc.). Calidad de los informes de radiología o anatomía patológica, actividades en programas de prevención, etc.

  • •

    Indicadores de auditoría externa: aspectos educativos, normativos, médicos legales, de gestión de calidad y aspectos económicos.

• d)

  Portafolios. Constituyen una colección individual, más o menos sistemática, de evidencias de aprendizaje y nivel de competencia alcanzado durante un periodo de tiempo, acorde a unos objetivos preestablecidos, acompañado de un proceso de reflexión. En la literatura se dice que hay tantos portafolios como imaginación, pudiendo contener todo tipo de documentos como: datos de actividad asistencial, docente, investigadora, de gestión, resultados de evaluaciones e informes del supervisor, planes de autoaprendizaje, etc., y reflexiones personales sobre diversas áreas de competencias. El grupo de expertos de la asociación AREDA (https://sefse-areda.com/), que trabajó para el Ministerio de Sanidad español en las recomendaciones de evaluación, adoptó el acuerdo de mantener el término Libro del Residente, dado que es el que aparece en las normativas legales (Real Decreto 183/2008).

  Lo importante de un portafolio/libro del residente, no es exclusivamente evaluar, sino desarrollar competencias como: comunicar por escrito el proceso formativo, compromiso, responsabilidad y autonomía, rendición de cuentas a la institución y a la sociedad, planificación del autoaprendizaje, pensamiento crítico y creativo, y reflexiones sobre las acciones realizadas y su significado en la globalidad del proceso formativo desde el punto de vista práctico y moral (profesionalismo). Exige un feedback periódico del tutor.

Ventajas y desventajas de los métodos de evaluación del trabajo realizado

• 1.

  Los métodos basados en la reflexión personal son esenciales como evaluación formativa y desarrollo profesional. Son relativamente sencillos de realizar, pero para ser efectivos deben estar guiados y seguidos de feedback. La reflexión desarrolla el entendimiento de uno mismo y permite adoptar acciones de mejora. Problemas:

  • a)

    Escaso compromiso por la reflexión que depende de la motivación y la habilidad para llevarla a cabo. Hay que hacer ver al estudiante/residente la utilidad de la reflexión, facilitarla, apoyarla e integrarla en el proceso de enseñanza y aprendizaje.

  • b)

    Dificultades motivadas por una retroalimentación inadecuada, las propias emociones que despierta el suceso en el discente o el sentido de culpa.

• 2.

  Las valoraciones globales (global rating scales, global assessment form). Es un método barato, flexible y eficiente (consumen solo unos minutos en su cumplimentación), siendo una ventaja sobre la observación directa cuyo consumo de tiempo es mayor. Proporcionan una amplia variedad de información sobre diferentes competencias con la precisión que se requiera, ya que podemos tener tantos formularios como situaciones (tareas o rotaciones) podamos o necesitemos evaluar. Al exigir poco tiempo de cumplimentación la colaboración de los facultativos/personal sanitario es mayor, aunque también requiere de consensos. La desventaja estriba en la subjetividad y en que depende de la memoria del/de los evaluador/es y del sesgo halo (ver 2.^a parte). Estos aspectos se minimizan con múltiples evaluaciones (suma de múltiples subjetividades) y el contraste y el consenso con otros profesionales que han trabajado con el residente. Si la rotación es larga, se pueden evaluar momentos intermedios con este u otros métodos de observación.

• 3.

  Las entrevistas, los informes periódicos y finales requieren tiempo, pero son absolutamente esenciales, pues tanto evaluador como evaluado reflexionan sobre el proceso de aprendizaje, se establecen compromisos y planes de mejora.

• 4.

  Los métodos basados en el análisis de los procesos y resultados de la actividad laboral tienen la ventaja que permiten valorar si se ha completado un volumen suficiente de actividad y si la misma es de calidad. Resulta relativamente sencillo recoger datos mediante sistemas informatizados, aunque un análisis cuidadoso de la calidad exige tiempo y metodología. Limitaciones:

  • a)

    La variabilidad de la práctica clínica, la cronicidad de las enfermedades y la dificultad de atribuir un resultado a un profesional en exclusiva, ya que los pacientes son atendidos por equipos.

  • b)

    La complejidad de los casos clínicos, las comorbilidades, la colaboración del paciente, su situación social y familiar, el cumplimiento terapéutico, o sus hábitos de vida, etc. hacen que los resultados no sean atribuibles exclusivamente a la intervención del profesional.

  • c)

    Salvo en consultorios con estabilidad en su personal o pacientes ingresados con pocas comorbilidades, la mayoría de los pacientes son atendidos por un equipo de profesionales, siendo muy difícil atribuir a un solo profesional las actuaciones llevadas a cabo durante el proceso y sus resultados.

  • d)

    La prevalencia de las enfermedades limita la evaluación de resultados a aquellas más frecuentes.

  • e)

    Los registros clínicos pueden estar incompletos o no reflejar lo que realmente se hizo en la práctica. Su evaluación es laboriosa y costosa.

Recuerda

• 1.

  Evaluar es un proceso planificado que genera información, a través de la recolección de evidencias sobre el desempeño profesional, con el propósito de formarse un juicio para identificar aquellas áreas del desempeño que han sido desarrolladas y aquellas que requieren ser fortalecidas, siendo clave la toma de decisiones por consenso de expertos.

• 2.

  Requiere evidenciar competencias mediante la observación y el análisis del resultado de la acción (competencia = acción), dado que los recursos internos son invisibles.

• 3.

  Debemos pasar de evaluar «el» aprendizaje a evaluar «para» aprender, siendo clave un buen feedback, trabajando con rigor el proceso formativo.

• 4.

  La información que aportan los diferentes métodos en diferentes contextos es probablemente más importante que sus propiedades psicométricas. No se trata de cálculos numéricos ni de ponderar unas competencias sobre otras, todas son igual de importantes.

• 5.

  Seleccionar los métodos que proporcionen la mejor información posible de las competencias a adquirir y que fomenten la formación.

• 6.

  Seleccionar los métodos más eficientes y viables en términos de organización y gestión para no sobrecargar a los evaluadores ni gestores docentes.

• 7.

  Es recomendable diseñar métodos propios de evaluación acorde a las necesidades de los diferentes contextos y culturas.

• 8.

  La combinación de métodos permite obtener una información amplia del desempeño.

• 9.

  La evaluación es un proceso planificado, motor del aprendizaje, garantía de seguridad del paciente y, por tanto, un acto moral.