Como se anunciaba en los años 19901, la competencia de los profesionales sanitarios (y el modo en que ésta puede y debe ser evaluada) se encuentra ya en los foros médicos de discusión. Diversas iniciativas institucionales, legislativas y científicas han puesto de relevancia que nuestro entorno no es ajeno al debate que sobre el profesionalismo se está produciendo en todo el mundo. En consecuencia, el número de proyectos que en nuestro país pretenden evaluar la competencia clínica de los médicos es cada vez mayor y más relevante.
El excelente artículo sobre el que se basa este comentario editorial ilustra perfectamente este fenómeno. Y lo hace en un doble sentido: por un lado, refleja el rigor metodológico que debemos exigir a cualquier proyecto de evaluación de la competencia profesional (ECP) y, por otro, muestra los límites, paradojas y núcleos de progreso propios de la ECP, temas que, a continuación, pretendemos esbozar.
Estableciendo la bases estratégicas
Todo proyecto evaluativo debe establecer inequívocamente sus bases estratégicas. Ello supone especificar a quién va dirigida la prueba, qué nivel de exigencia tendrá y, por encima de todo, cuál es la finalidad de la evaluación. De las respuestas dependerán la estructura y los contenidos evaluativos.
El complejo constructo que es la competencia profesional precisa un formato evaluativo distinto según la ideología de cada proyecto2. Y cada formato evaluativo tiene sus indicaciones específicas. Una evaluación clínica objetiva y estructurada (ECOE) no sirve para cualquier intención evaluativa.
Evaluación formativa frente a evaluación sumativa
Lo antedicho se hace especialmente patente cuando la disyuntiva se plantea entre una evaluación que pretende certificar la competencia (sumativa) o cuando pretende orientar la formación de los individuos (formativa).
Cuando la voluntad es sumativa, la fiabilidad de la prueba, así como su validez predictiva y de constructo, son ítems absolutamente cruciales. Cuando la voluntad es formativa, es en el impacto educativo del formato, así como en su validez de contenidos, donde deben centrarse los esfuerzos de verificación.
Una ECOE de sólo 10 estaciones podría ser un buen instrumento de certificación sumativa pero, por fiable que sea, está limitada para dar un feedback formativo de calidad (entendiendo como «de calidad» el feedback que es cierto, completo y útil para el individuo).
Interpretando adecuadamente los parámetros psicométricos
Uno de los riesgos de la ECP es la banalización de los aspectos estadísticos relacionados. Con frecuencia, la fiabilidad (entendida como la consistencia interna y medida mediante el valor del alfa de Cronbach) constituye el núcleo argumental de la bondad métrica de una evaluación. Si bien la fiabilidad es un ítem crucial en proyectos de voluntad certificadora, permítannos una serie de breves comentarios a este respecto:
1. Con cierta frecuencia, especialmente en proyectos con un número reducido de participantes, el valor del parámetro alfa está artefactado y resulta falsamente alto. De ser así, de una prueba en apariencia fiable podrían derivarse decisiones injustas.
2. Tan importante como la fiabilidad es la validez. Extraer conclusiones, especialmente sumativas sin haber validado el prototipo evaluativo es, con toda seguridad, incorrecto e injusto para los profesionales evaluados.
3. Cuando la intención es proveer feedback a los evaluados según su perfil competencial es necesario saber hasta qué punto los componentes competenciales se comportan también de modo fiable y, en general, ello no sucede en una ECOE de pequeño formato.
Para qué sirve una ECOE
La ECOE es un formato evaluativo más. Uno más entre las posibles, adecuadas combinaciones de instrumentos evaluativos. A pesar de ser la ECOE el paradigma de la evaluación de la práctica clínica en entornos de simulación, en absoluto es una estructura omnipotencial.
La ECOE es un excelente medio para certificar la competencia de los profesionales (sobre todo para detectar a aquellos cuya práctica es claramente inadecuada). También tiene capacidad para proveer cierto feedback competencial del colectivo evaluado.
Pero, en general, su capacidad para dar feedback formativo a los individuos se reduce a los resultados globales («como estoy de nota global en relación al grupo»), y es insuficiente para caracterizar el perfil de práctica de los individuos evaluados. Como feedback formativo, es mucho más poderosa la reflexión sobre «qué he sentido mientras se pasaba la ECOE» que «qué notas he sacado en cada componente competencial».
La competencia del profesional experto
La competencia es un fenómeno dinámico3 que cambia y se expresa de modo muy distinto a medida que los profesionales adquieren experiencia. Dos profesionales experimentados pueden ser igual de competentes y tomar decisiones igualmente correctas ante una determinada situación, utilizando caminos del todo diferentes.
La competencia profesional, además, va más allá de la pericia clínica. El mundo afectivo y moral, así como aspectos relacionados con las actitudes profesionales, representan componentes competenciales mayores en el profesional experto.
Por ello, la evaluación del profesional experimentado es mucho más compleja que la del médico júnior y exige una combinación mayor y más refinada de instrumentos evaluativos.
La evaluación a profesionales sólo cobra sentido cuando ésta es cierta, justa y útil en términos de toma de decisiones competenciales, de reflexión individual y de motivación para mejorar. Nada puede ser más contrario a este fin que la utilización inadecuada de los instrumentos de evaluación.
En un entorno de creciente presencia de estos instrumentos, esforcémonos en darles un buen uso. Por el bien de la profesión.
Puntos clave
* El actual debate sobre el profesionalismo conlleva la generalización de modelos de evaluación de la competencia de los profesionales.
* La ECOE ha demostrado ser un excelente método de certificación de competencia, pero su capacidad de generar feedback formativo es limitada.
* Es peor evaluar mal que no evaluar.
