Introducción
En esta tercera y última parte de la serie sobre el sistema de acreditación de actividades de formación continuada (SaAP), desarrollaremos dos aspectos que consideramos cruciales para establecer una garantía de efectividad de cualquier actividad formativa: evaluación prevista de la propia actividad y criterios de auditoría de calidad de la propia actividad acreditadora. El SaAP ha concedido una gran importancia a estos dos elementos, con el resultado de unos criterios contrastados en la práctica acreditadora de más de 6 años. Éstos son los criterios que a continuación se discuten.
Además, se incluye el criterio de accesibilidad de la actividad formativa que caracteriza a la misma y constituye un factor relevante en toda planificación de programas de formación continuada.
Finalmente, por su gran desarrollo en los últimos años y la gran potencialidad que tiene, se dedica un espacio a una reflexión en mayor profundidad de las características que debe reunir una actividad formativa a distancia. Se trata de establecer criterios que permitan identificar aquellas actividades formativas, diferenciándolas claramente de aquellas otras meramente informativas.
Evaluación de la actividad
Toda actividad acreditada debe tener previsto un sistema de evaluación, tanto de los docentes (profesores) como de los discentes (alumnos).
Evaluación de los docentes (por discentes)
Se refiere a aquella realizada por los alumnos, orientada a evaluar a las personas que han llevado a cabo tareas docentes.
Se tienen en cuenta 2 niveles:
Nivel mínimo. Para ser acreditada una actividad, al menos, debe contar con una «encuesta de satisfacción», de forma global y en relación con el programa desarrollado. El SaAP dispone de una encuesta «tipo» que se facilita a aquellos que así lo solicitan (fig. 1)
Figura 1. Encuesta «tipo» de satisfacción de los discentes.
Nivel máximo. Se considera alcanzado este nivel cuando se realiza una encuesta que valora a cada docente, de forma individualizada, que participa en el programa en relación con los objetivos alcanzados, la metodología docente, el material didáctico, la capacidad docente...
Evaluación de los discentes (por docentes)
Aun conociendo que, quizás, la mejor forma de evaluación de los alumnos es la aplicación en su tarea diaria de las competencias adquiridas en el curso (conocimientos, habilidades y actitudes) y medir, no sólo el incremento de éstas, sino el desarrollo de las mismas a fin de ofrecer mejores servicios al ciudadano, no pudiendo ser exhaustivos, por el momento, en este tipo de evaluación, vamos a definir los criterios de evaluación a utilizar por los discentes.
Las actividades formativas se agrupan en dos tipos: actividades con asistencia y actividades autoformativas, y para cada tipo de actividad se definen dos niveles de exigencia, como en el apartado anterior (mínimo y máximo).
Para acreditar la actividad docente es necesario alcanzar el nivel mínimo de exigencia.
Actividades con asistencia presencial
Nivel mínimo:
Asistencia controlada al 80% de la actividad.
Test objetivo que mida conocimientos teóricos y prácticos (dependiendo del curso).
Nivel máximo (además de la presencia física):
Pretest y postest, que mida los cambios obtenidos.
Evaluación práctica de habilidades adquiridas.
Prueba de conocimientos, en lo que se define el porcentaje mínimo de respuestas acertadas para obtener el certificado de haber realizado la actividad.
Actividades autoformativas (cursos a distancia)
Nivel mínimo. Prueba de conocimientos (test), en el que es recomendable que las respuestas positivas sean entre el 70 y el 80% de las preguntas realizadas.
Nivel máximo (además de la prueba de conocimiento). Prueba externa, de presencia física, de conocimientos en la que se solicita un porcentaje mínimo de respuestas acertadas para acceder a la certificación de haber realizado la actividad.
La adecuación del sistema de evaluación a los objetivos y la metodología de la actividad será evaluadas por la comisión, pero en cualquier caso los instrumentos (encuestas, test, etc.) deben adjuntarse a la solicitud de la acreditación.
Accesibilidad
Se analizarán los siguientes criterios de accesibilidad:
1. Geográfico (lugar).
2. Número de participantes.
3. Selección de participantes.
4. Económico (cuota de inscripción).
5. Horario.
Cada criterio se cuantificará de 1 a 3 puntos según se considere poco accesible, medianamente accesible o muy accesible.
La accesibilidad global se valorará en los siguientes términos:
Máxima:
Puntuación entre 14 y 15.
De fácil acceso geográfico y horario.
Sin limitación en la asistencia, tanto por el número como por los criterios de selección de los participantes, ya sea per se o por repetición periódica de la actividad.
Asequible económicamente.
Actividades de autoformación asistida, programas de formación a distancia.
Media:
Puntuación entre 11 y 13.
Puede plantear dificultades de acceso físico, ya sea por su limitación geográfica u horaria.
No debe presentar grandes limitaciones por razones de número o selección de participantes.
Mínima:
Puntuación entre 8 y 10.
Plantea dificultades de acceso físico, ya sea por sus limitaciones geográficas u horarias.
Presenta grandes limitaciones debido a número o criterios de selección de participantes.
No accesible:
Puntuación igual o inferior a 7.
Criterios de auditoría de actividades acreditadas
¿A quién o quiénes vamos a auditar?
Actividades con posible reacreditación, o bien que así lo hagan constar en su solicitud.
Actividades que se repiten en más de una ocasión en el mismo año, aun repitiendo el mismo esquema.
Actividades a distancia.
Actividades en las que se posea información de alteraciones en su desarrollo, respecto al protocolo acreditado en esa edición o en ediciones anteriores que se hayan realizado.
Actividades en cuya valoración se planteen «dudas razonables» respecto a la factibilidad de la propuesta realizada:
* Actividades que se adapten de manera «demasiado perfecta» a lo solicitado.
* Actividades con objetivos docentes muy ambiciosos.
* Actividades con importante parte práctica (más de un 60%) en el programa.
* Actividades que planteen dudas en la metodología (por defecto), o bien ésta sea tan explícita y concreta que plantee problemas en su consecución.
* Actividades acreditadas con «modificaciones» que deben aportar, para evitar que realicen una adaptación de la actividad sólo en el documento que presentan y no en la actividad que realizan.
¿Qué se va a evaluar de cada actividad?
Evaluar la concordancia entre la actividad acreditada y la que se ha realizado: de qué forma se lleva a cabo lo que tiene previsto en la documentación que aporta y cómo se ajusta a lo propuesto.
Evaluar la coincidencia o no de fechas, horarios, número de asistentes, horas reales, etc.
Evaluar la metodología pedagógica congruente con los objetivos previstos, así como la consecución de éstos.
Evaluar el tipo de evaluación realizada a discentes y docentes y si se ajusta a la presentada en los documentos evaluados de la actividad docente.
Es muy importante, aunque sea subjetiva, la valoración global del auditor a modo de comentario final, en que se valoren sus impresiones frente al curso, tanto si son positivas como si son negativas.
¿Cómo vamos a evaluar estas actividades?
A través de la cumplimentación de una hoja de evaluación diseñada a tal efecto por la comisión para detectar las posibles congruencias e incongruencias entre lo acreditado y lo realizado.
Solicitando un informe-resumen de la actividad realizada, donde se haga constar el número de inscritos, cuántos han finalizado la actividad, el porcentaje de discentes que la han superado mediante la evaluación y los datos globales de la evaluación de docentes y discentes.
Actividades a distancia
La lectura de libros y revistas científicas es una práctica habitual de los profesionales para buscar información que ayude a resolver problemas del trabajo diario. Sin embargo, se dispone de pocos datos sobre su efectividad como método de aprendizaje.
Las actividades autoformativas a distancia van más allá; son una lectura estructurada y con unas reglas específicas. Suponen una metodología docente encaminada a la consecución de unos objetivos docentes explícitos conocidos por los alumnos al comienzo de la actividad.
La tendencia a la descentralización en las actividades de FMC, junto con los avances tecnológicos producidos, auguran un aumento de este tipo de actividades. En los últimos años hemos observado la diversificación de los formatos utilizados que, además, abren nuevas posibilidades formativas.
Tienen como ventaja permitir un aprendizaje autodirigido, en el que cada alumno avanza según sus propias necesidades.
El principal inconveniente es la no interacción directa con el docente y con otros discentes, si bien las nuevas técnicas disponibles pueden paliar este déficit.
Objetivos docentes
Los objetivos generales deben constar claramente en la presentación de la actividad. Asimismo, se incluirán los objetivos específicos de cada una de las unidades en el material docente que se entrega al alumno, de forma que orienten al mismo sobre los resultados que se esperan alcanzar.
Metodología
El formato en el que se presenta el material de la actividad puede ser diverso: papel, CD, Internet...
Los nuevos avances tecnológicos permiten que la transmisión del material sea más rápida y eficaz. Se han diseñado cursos en los que el alumno accede a una página web en la que dispone del material docente.
El cronograma de la actividad debe ser claro y conocido por el alumno al inicio de la actividad.
Las entregas del material se realizarán periódicamente (cada mes), sin dilatarse excesivamente en el tiempo (máximo cada 2 meses).
El número y el contenido de las mismas debe facilitar su seguimiento y mantener la coherencia con las horas totales de la actividad. De forma orientativa, podría establecerse del modo siguiente:
< 20 h, una entrega.
20-50 h, 2 entregas.
50-100 h, 3 entregas.
> 100 h, 5 entregas, correspondientes al 20%.
Resulta imprescindible la existencia de una tutorización, bien a través de correo postal, vía telefónica, o a través del correo electrónico, de forma que el alumno pueda despejar las dudas que puedan surgir. Existe también la posibilidad de crear foros de discusión en Internet sobre aspectos concretos de la actividad.
Horas lectivas
Es difícil determinar con exactitud el número de horas lectivas de una actividad a distancia. Actualmente, suele calcularse en función del tiempo medio empleado para la lectura del material docente; sin embargo, en algunas ocasiones éste se plantea más como material de consulta que como actividad propiamente docente. Tampoco es fácil establecer un método fiable de comprobación de dicha lectura.
Se ha sugerido la sustitución del tiempo dedicado por créditos basados en la superación del programa por medio de evaluaciones bien diseñadas. Otra posibilidad es asignar créditos fijos para determinadas actividades, independientemente de las horas involucradas.
En la evaluación de la acreditación es indispensable disponer al menos de una unidad didáctica que permita evaluar cómo se abordan los contenidos y su complejidad, así como realizar un cálculo del tiempo necesario para su realización. A menudo, dicha valoración se realiza sobre materiales no definitivos, por lo que una vez se disponga de éstos debe comprobarse la concordancia con el material evaluado.
Contenido teórico
La presentación debe realizarse de forma práctica y amena, con esquemas y algoritmos que faciliten el seguimiento.
En este sentido, es especialmente interesante el desarrollo a partir de supuestos prácticos concretos o motivos de consulta, de forma similar a como se abordan los problemas en la consulta habitual.
Es también útil la inclusión en los distintos capítulos de puntos de resumen que destaquen las ideas principales.
Contenido práctico
Todos los módulos o unidades didácticas deben incluir un contenido práctico en forma de casos clínicos de la práctica cotidiana, con preguntas y respuestas razonadas. La estructura de los mismos debe ser tal que no constituyan una mera lectura, sino que faciliten al alumno la reflexión y la integración de los nuevos conocimientos.
En el caso de CD-ROM o Internet es fácil incorporar casos clínicos interactivos.
El número de casos con las correspondientes preguntas dependerá de su complejidad y debe ser congruente con la duración en horas lectivas.
Evaluación
El número de preguntas de la prueba de evaluación debe estar en relación con las horas docentes totales, considerándose un mínimo adecuado una relación de 2 preguntas/hora.
El criterio mínimo para la superación de la actividad suele establecerse exigiendo un porcentaje mínimo de respuestas, variable según la complejidad de las preguntas.
En actividades de larga duración, deben establecerse evaluaciones intermedias que faciliten el seguimiento de la actividad. En este caso, deberá exigirse un mínimo de respuestas en cada una de ellas para la superación final de la actividad.
Deben evitarse las preguntas poco inteligibles o que se presten a confusión. Es útil utilizar evaluaciones con respuesta de elección múltiple o casos clínicos sencillos para resolver (con una respuesta posible clara para que la evaluación sea más objetiva). Hay que evitar las evaluaciones de «comprobación de lectura».
Es importante la diferenciación clara entre proveedor y financiador, de manera que los circuitos de recogida y análisis de las evaluaciones sean realizados únicamente por el proveedor o una entidad independiente.
Encuesta de satisfacción
En toda actividad de formación continuada se considera indispensable la realización de una encuesta que informe del grado de satisfacción con la actividad realizada y su adecuación con la actividad propuesta. Permite también corregir los déficit detectados, lo que redunda en beneficio de la actividad.
En las actividades a distancia, al no existir una interacción directa entre alumno y docente, y dado el gran número de alumnos implicados, la encuesta de satisfacción tiene un papel especialmente relevante. En ella se valorarán los aspectos organizativos (puntualidad en recepción del material), de contenidos (calidad, extensión, abordaje, utilidad, contenido práctico), el tiempo empleado en la realización y la utilidad de la actividad para la práctica profesional habitual.
Correspondencia: Pilar Gayoso. SemFYC. C/ Portaferrissa, 8. 08002 Barcelona. España. Correo electrónico: pgayosod@papps.org
Bibliografía general
Análisis y perspectivas de la formación postgraduada. XIV Congreso de la Sociedad Española de Educación Médica. Disponible en: www.sedem.org/congresso
Baca-García E, Castejón M, Díaz-Sastre C, Baca E. Nuevas perspectivas en formación médica continuada: el empleo de las nuevas tecnologías de telecomunicaciones. Med Clin (Barc) 2000; 114:704-11.
Cantillon P, Jones R. Does continuing medical education in general practice make a difference? BMJ 1999;318:1276-9.
Davis DA. Global health, global learning. BMJ 1998;316:385-9.
Davis DA, Thomson MA, Freemantle N, Wolf FM, Mazmanian P, Taylor-Vaisey A. Impacto de la formación médica continuada. JAMA (ed. esp.) 2000;9.
Davis DA, Thomson MA, Oxman AD, Haynes RB. Changing physician performance: a systematic review of continuing medical education strategies. JAMA 1995;274:700-5.
From CME to CPD: getting better at getting better? BMJ 2000; 320:393-4.
Gayoso P, De la Cal A. Criterios de acreditación de actividades de formación continuada. FMC 1999;6:141-2.
Holm HA. Quality issues in continuing medical education. BMJ 1998;316:621-4.
Macintosch M, Chard T. Pelvic manikins as learning aids. Med Educ 1977;31:194-6.
Pardell H. ¿Qué podemos esperar de la formación médica continuada? Mitos y realidades. Med Clin (Barc) 2000;114:419-30.
Peck C, McCall M, McLearen B, Rotem T. Continuing medical education and continuing professional development: international comparisons. BMJ 2000;320:432-5.
Sistema de Acreditación de Actividades de Formación Continuada en Atención Primaria (semFYC-SEMERGEN). Disponible en: www.semfyc.es/Nueva/Acreditación/Información
Towle A. Changes in health care and continuing medical education for the 21st century. BMJ 1998;316:301-4.
