covid
Buscar en
Revista de Calidad Asistencial
Toda la web
Inicio Revista de Calidad Asistencial Evolución de la producción científica en calidad. Análisis y mejora del proc...
Información de la revista
Vol. 23. Núm. 2.
Páginas 65-71 (marzo 2008)
Compartir
Compartir
Descargar PDF
Más opciones de artículo
Visitas
6324
Vol. 23. Núm. 2.
Páginas 65-71 (marzo 2008)
Originales
Acceso a texto completo
Evolución de la producción científica en calidad. Análisis y mejora del proceso de evaluación en el XXIV Congreso de la Sociedad Española de Calidad Asistencial
Visitas
6324
Pedro Parraa,*, Julio J. López-Picazob, Teresa Ramónc, Rafael Gomisd
a Presidente del Comité Científico del XXIV Congreso SECA
b Secretario del Comité Científico del XXIV Congreso SECA
c Vocal del Comité Científico del XXIV Congreso SECA
d Coordinador General del Comité Organizador del XXIV Congreso SECA
Este artículo ha recibido
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Figuras (6)
Mostrar másMostrar menos
Tablas (1)
Tabla 1. Distribución de las comunicaciones aceptadas por áreas temáticas: propuesta inicial y reclasificación
Resumen
Objetivo

Analizar el proceso de evaluación de comunicaciones presentadas al Congreso de SECA celebrado en 2006 para contribuir a su mejora continua y presentar sus resultados científicos.

Material y métodos

Diseño: estudio descriptivo. Evaluación de las comunicaciones por 11 parejas de evaluadores mediante criterios explícitos puntuables y cuestionario estructurado. Población: todas las comunicaciones recibidas. Proceso: selección de comunicaciones según decisión concordante de las parejas de evaluadores. Las discrepancias fueron reevaluadas por una terna de evaluadores. Para la adjudicación de premios todos los evaluadores reevaluaron las comunicaciones propuestas que no mostrasen discrepancias de puntuación mayores de 25 puntos. La presentación de las comunicaciones seleccionadas fue revisada por un jurado seleccionado al efecto que contaba con una guía de evaluación expresamente diseñada. La satisfacción de los congresistas fue evaluada mediante cuestionario anónimo.

Resultados

Se recibieron 849 comunicaciones. Cada evaluador evaluó una media de 79 (puntuación media, 56 puntos). Fueron aceptadas 762 (89,7%), el 56,8% en formato póster. En números absolutos, el mayor número de comunicaciones procedió de Madrid (133) y Cataluña (124). Ajustado por millón de habitantes, destacan Cantabria y Murcia.

Conclusiones

La evaluación de comunicaciones es un proceso metodológicamente complejo y, a pesar de las medidas correctoras introducidas en los últimos años, continúa siendo mejorable, condicionado por la necesidad de limitar la extensión de las comunicaciones a evaluar y de compatibilizar con la gestión de tiempos en la organización del Congreso. Las aportaciones científicas al Congreso mantienen la tendencia ascendente; su sede representa una oportunidad territorial para impulsar trabajos de calidad.

Palabras clave:
Calidad asistencial
Sociedades científicas
Evaluación
Abstract
Objective

To analyze the process of evaluating abstracts in the 2006 National Quality in Healthcare Conference in order to contribute to its continuous improvement, and to present its main scientific results.

Material and methods

Design: descriptive study. 11 pairs of reviewers using explicit criteria evaluated abstracts. Population: all the abstracts received. Process: abstracts were accepted/rejected according to reviewers’ concordant decisions. Disagreements were re-evaluated by 3 reviewers. Accepted abstracts were organized and distributed in the Conference according to the following criteria: total amount, available room and time, number of reviewers. The abstracts nominated for awards and which did not have discrepancies higher than 25 points were re-evaluated by all the reviewers. Their presentations in the Conference were also reviewed by a panel of judges created for this purpose, according to an evaluation guide.

Results

849 communications were received. Each reviewer evaluated a mean of 79 communications, obtaining an average score of 56 points. 762 communications were accepted (89.7%), 56.8% of them as a poster. Madrid (133) and Catalonia (124) had the highest amount of presentations in the Conference, but Cantabria and Murcia obtained the highest rates per million inhabitants.

Conclusions

Despite the recently introduced changes, evaluating abstracts is a complex methodological process that still can be improved. It is conditioned by the need for limiting the extension of oral presentations and Conference time management. The scientific contribution to the Conference keeps rising. Its venue represents a geographic opportunity to encourage quality works.

Key words:
Healthcare quality
Scientific societies
Evaluation
Texto completo
Introducción

Desde la constitución de la Sociedad Española de Calidad Asistencial (SECA), y tras una experiencia de 23 reuniones científicas, se ha avanzado en madurez y capacidad de convocatoria, como lo demuestra el hecho de los casi 1.000 congresistas que han acudido a su última edición. Paralelamente, las expectativas y necesidades de sus asistentes también han progresado para demandar, tal y como indican los resultados de las encuestas de satisfacción recogidas, máxima calidad científica y eficacia organizativa.

Analizar, revisar y evaluar los procesos implicados en la organización de una reunión científica es una fuente de incalculable valor para su mejora continua y un excelente y necesario punto de partida para rediseñar el proceso con vista a sus futuras ediciones. Esto es precisamente lo que la SECA ha venido haciendo desde hace años1-6.

El diseño del programa científico es responsabilidad del Comité Científico del Congreso y, sin duda, una de las actividades estrella a la hora de juzgar el éxito obtenido. Asimismo, tiene un proceso, el de la gestión de las comunicaciones remitidas, con un componente de máxima trascendencia: la relación directa entre un cliente que solicita un modo de participación activa en el evento con el necesario papel evaluador de un comité, que tiene que juzgar la calidad e idoneidad de un trabajo que representa el esfuerzo de un buen número de profesionales y de recursos. Engloba, entre otras actividades, la recepción, la evaluación y la decisión sobre su aceptación y modo de exposición, así como la valoración de las merecedoras de premios del congreso, lo que exige la máxima transparencia, objetividad, fiabilidad y rigor metodológico.

Con este estudio se pretende describir y analizar estas actividades con el fin de contribuir a la mejora continua de este proceso, así como presentar los resultados científicos del Congreso de SECA celebrado en Toledo en octubre de 2006.

Material y métodos

Estudio descriptivo del proceso seguido para la definición del programa científico, así como para la evaluación de las comunicaciones remitidas para su presentación en el Congreso SECA 2006; se utilizó, como fuentes, la base de datos oficial de comunicaciones del Comité Científico y los formularios de evaluación remitidos por sus 21 miembros. La figura 1 muestra el flujograma general del proceso.

Figura 1.

Flujograma general del proceso de evaluación de comunicaciones.

(0.16MB).

Para la definición del programa científico se tomó como base su organización temporal, que consiste en 4 días de duración con una distribución de talleres, conferencias, sesiones plenarias, sesiones de comunicaciones orales y defensa de póster.

Para el diseño del programa científico y con el objetivo de hacer partícipe a todo el comité, se solicitó a los miembros del Comité Científico sugerencias sobre los temas a incluir, en sucesivas rondas, mediante correo electrónico. El proceso se inició con la constitución del Comité en Cádiz durante la celebración del XXIII Congreso; el programa quedó elaborado en el primer trimestre de 2006, y conformado con 7 talleres, 2 conferencias y 5 sesiones plenarias, con 15 ponencias y 4 comunicaciones elevadas a mejores experiencias.

Recepción y evaluación de los trabajos científicos

Los 21 miembros del Comité Científico se agruparon en parejas de evaluadores, de los que un miembro debía ser un profesional de reconocida experiencia en el desempeño de estas tareas (haber participado en el Comité Científico en anteriores ediciones del congreso, ser revisor de la Revista de Calidad Asistencial o pertenecer a la Junta Directiva de SECA).

Los resúmenes de las comunicaciones, sin los datos de los autores y centros de trabajo para garantizar el anonimato, fueron distribuidos y asignados a las diferentes parejas de evaluadores, procurando que ninguna comunicación enviada desde una determinada comunidad autónoma fuera evaluada por ningún equipo en que uno de sus miembros residiera en esa misma comunidad. Si esto sucedía, el secretario del Comité Científico permutaba la asignación con el equipo inmediatamente posterior hasta que se cumpliera esta condición de asignación. No obstante, y además de tomar esta precaución, los evaluadores debían avisar a la secretaría del comité y abstenerse de evaluar una determinada comunicación en la que existiera conflicto de intereses.

Con el fin de agilizar el proceso y dar repuesta a las incidencias surgidas, se realizó un total de 4 envíos de comunicaciones a las parejas de evaluadores entre el 31 de mayo y el 15 de junio. Para evaluar las comunicaciones se definieron los siguientes criterios:

  • Diseño. Objetivos explícitos y claramente definidos.

  • Metodología. Incluye la descripción precisa del método de trabajo y si es adecuada a los objetivos.

  • Resultados. Claros y precisos, relacionados con los objetivos y el método.

  • Conclusiones. Claras y derivadas de los resultados.

  • Valoración global. Es un trabajo original y aporta conocimientos nuevos, que genera debate y estimula la discusión.

Cada uno de estos criterios recibe una valoración de entre 0 y 20 puntos (puntuación máxima posible, 100). Además, cada comunicación fue calificada como: aceptada-rechazada-incierta, presentación oral-póster y si era propuesta por el evaluador para ponencia-premio.

Las comunicaciones preseleccionadas por los evaluadores como candidatas a ponencia (mesa de mejores comunicaciones) o a premio del congreso fueron reenviadas a todos los demás evaluadores para su reevaluación. Además, un grupo formado por 3 miembros del Comité Científico reevaluó todos los resúmenes cuyas evaluaciones fueron discordantes entre la pareja de evaluadores en cuanto a aceptación o rechazo y en cuanto a la forma de presentación.

Criterios para organizar y distribuir en tiempo y espacio las mesas de comunicaciones y sesiones de defensa de póster

En las comunicaciones a póster se han tenido en cuenta los siguientes criterios: número total de póster, número de sesiones de defensa (6) y su tiempo de duración (60, 90 o 120 min), número de evaluadores (5) y minutos disponibles para exposición (6). Asimismo, se han identificado las comunicaciones de un mismo autor para que no coincidiera su presentación en tiempo y se ha procurado que no coincidieran áreas temáticas de orales y póster en las mismas sesiones.

Para las comunicaciones orales: número total de comunicaciones orales, tiempo disponible por sesión plenaria (60, 90 o 120 min), número de salas disponibles (6) y el tiempo disponible para la exposición (8 min). Se han agrupado por salas las comunicaciones de una misma área temática y se han identificado las comunicaciones de un mismo autor para que no coincidiera su presentación en tiempo.

Procedimiento seguido para la adjudicación de premio a las mejores comunicaciones y experiencias

En una primera fase se analizaron todas las propuestas de premio realizadas por los evaluadores y se descartaron aquellas en las que la diferencia de puntuación entre los dos evaluadores era mayor de 25 puntos. Las comunicaciones seleccionadas fueron remitidas nuevamente a todos los miembros del Comité Científico para su reevaluación. Tras esta segunda evaluación y priorización, se seleccionaron las comunicaciones con mayor puntuación.

Se diseñó una guía de ayuda a los evaluadores para la valoración de comunicaciones (oral o póster) que optaban a premios en el Congreso, teniendo en cuenta tanto el contenido de la comunicación como la valoración de la forma en que es presentada en el Congreso. Se designó un jurado de miembros del Comité Científico que asistieron a la presentación de todas la comunicaciones orales propuestas a premio y visitaron todos los póster seleccionados por los miembros del Comité Científico que moderaron las correspondientes sesiones de defensa. En cuanto al premio a la mejor experiencia, se hizo por votación de todo el Comité Científico al finalizar la mesa donde se expusieron.

Evaluación de las encuestas de satisfacción

Para conocer la valoración de los congresistas se utilizaron dos cuestionarios, uno para los talleres y otro para el Congreso. Los cuestionarios eran anónimos con preguntas tipo Likert (5 opciones de respuestas) y abiertas.

ResultadosEvaluación de los trabajos científicos

Una vez finalizado el proceso, los 21 evaluadores valoraron una media de 76 comunicaciones (mediana, 82; máximo, 96; mínimo, 24). Las puntuaciones otorgadas oscilaron entre 100 y 2 puntos (rango, 98) con una media ± desviación estándar de 56 ± 18. La mediana fue de 55 puntos, el percentil (P25) de 44 y el percentil (P75) de 69 puntos. La variación del evaluador y entre los evaluadores se recoge en la figura 2, que refleja los datos para cada evaluador en forma de gráfico de cajas y bigotes.

Figura 2.

Variación del evaluador y entre evaluadores.

(0.08MB).

De las 849 comunicaciones recibidas fueron aceptadas 762 (89,7%). El modo de presentación más solicitado fue el oral (512 comunicaciones, 60,3%) seguido del formato póster con 234, así como 140 de presentación indistinta. Finalmente, el formato más frecuentemente aprobado por el Comité fue como póster (433 comunicaciones, 56,8%), lo que implicó que en 137 (18%) ocasiones una comunicación aceptada hubo de ser presentada en forma distinta de la solicitada inicialmente. En la figura 3 se resume el proceso de aceptación y modo de presentación de las comunicaciones.

Figura 3.

Comunicaciones recibidas y aceptadas y modo de presentación.

(0.09MB).

Respecto a la distribución por áreas temáticas, los autores adscribían las comunicaciones que presentaban a una de las 14 áreas temáticas del congreso. Tras el proceso de evaluación, el Comité Científico realizó una reclasificación con el fin de facilitar la organización de su exposición en el congreso, teniendo en cuenta los intereses de los asistentes y las áreas de las comunicaciones aceptadas (tabla 1).

Tabla 1.

Distribución de las comunicaciones aceptadas por áreas temáticas: propuesta inicial y reclasificación

Áreas temáticas: propuestas iniciales  Comunicaciones recibidas  Reclasíficación  Comunicaciones aceptadas 
Accesibilidad y equidad  44  Accesibilidad  30 
Acreditación y normalización  45  Gestión de calidad  111 
Asistencia basada en evidencia  27     
Calidad científico-técnica {CT)  101  CT: atención primaria  37 
    CT: urgencias emergencias  26 
    CT: vías clínicas  25 
    CT: dolor 
    CT: servicios centrales  19 
    CT: sistemas de registro  25 
Continuidad asistencial  50  Continuidad asistencial  37 
Gestión por procesos  108  Procesos clínicos  105 
Gestión de competencias  12     
Satisfacción de profesionales  34  Gestión de personas  73 
Seguridad  91  Seguridad  90 
Sistemas de información  82  Técnica de la información  65 
Voz del paciente  82  Voz del paciente  98 
Proceso de atención en enfermería  36  Proceso de atención en enfermería  14 
Resultados en salud  32     
Otros  105     
Total  849    762 

Como se recoge en las figuras 4 y 5, el mayor volumen de comunicaciones aceptadas procedía de la Comunidad Autónoma de Madrid (133) y de Cataluña (124), aunque, tras el cálculo de la tasa por millón de habitantes, Cantabria (78) y Murcia (62) obtuvieron las cifras más elevadas. La comunidad sede del congreso, Castilla-La Mancha, con 85 comunicaciones, obtuvo una tasa de 45 por millón, muy superior a la de los últimos años.

Figura 4.

Distribución de comunicaciones aceptadas por comunidades autónomas. Frecuencia absoluta.

(0.1MB).
Figura 5.

Distribución de comunicaciones aceptadas por comunidades autónomas.

(0.09MB).

La evolución del número de comunicaciones aceptadas en los congresos de la Sociedad Española de Calidad Asistencial desde 1989 hasta 2006 se muestra en la figura 6. Estos datos están influidos por la alta variación de los grados de rechazo en los diferentes congresos.

Figura 6.

Evolución del número de comunicaciones aceptadas en los congresos de la SECA (1989-2006).

(0.12MB).
Adjudicación de premio a las mejores comunicaciones y experiencias

En una primera fase se seleccionaron 24 comunicaciones para su reevaluación. Tras ésta se priorizaron las 11 con mayor puntuación, de las que las 4 primeras fueron propuestas para la sesión de mejores experiencias, y las 7 restantes quedaron como candidatas al premio a la mejor comunicación oral.

Evaluación de las encuestas de satisfacción

Talleres: se cumplimentaron 52 cuestionarios. Entre los aspectos mejor valorados destacan la experiencia y la calidad de los ponentes, así como la documentación entregada y la metodología utilizada. Entre las áreas a mejorar destaca la falta de tiempo para los contenidos del taller, así como la necesidad de hacerlo más práctico y con mayor número de ejercicios.

Congreso: tras el análisis de las 95 encuestas que se recogieron cumplimentadas, cabe destacar como cuestiones bien valoradas la organización de las mesas de comunicaciones y el contenido de las conferencias y sesiones plenarias. Entre los aspectos a mejorar se demanda una selección más rigurosa de las comunicaciones orales y de los póster, así como avanzar hacia la acreditación de horas docentes.

Discusión

Con este trabajo se ha pretendido hacer explícito el proceso y los criterios utilizados para organizar los aspectos científicos del Congreso de Calidad Asistencial y, específicamente, los utilizados para adoptar las decisiones sobre la participación de los trabajos externos recibidos en forma de comunicaciones.

El número de comunicaciones remitidas a los congresos de la Sociedad Española de Calidad Asistencial mantiene un incremento a lo largo de su historia, con un salto importante con el Congreso de 2000, desde el que se mantiene con escasas variaciones hasta que en 2005 se alcanza el techo actual de 808 comunicaciones aceptadas. Los datos están referidos al número de comunicaciones aceptadas, ya que no se dispone de la serie completa del porcentaje de comunicaciones rechazadas en cada uno de los congresos. De las 849 comunicaciones recibidas para el Congreso de Toledo, se ha rechazado un 10%, con un total de 762 comunicaciones aceptadas.

La evaluación de las comunicaciones es un procedimiento metodológicamente complejo y, desde nuestro punto de vista y a pesar de los cambios introducidos en los últimos años, continúa siendo un proceso mejorable. Las medidas correctoras introducidas en relación con el anonimato de los evaluadores, la transparencia de las puntuaciones, la utilización de criterios explícitos y la mejora en participación y democratización de la toma de decisiones no han terminado de resolver los problemas inherentes a este tipo de evaluación. Así, las limitaciones debidas al número máximo de caracteres impuesto a los autores para la elaboración del resumen genera que, con frecuencia, un gran número de ellos no lleguen a contener los elementos suficientes que permitan a un evaluador externo valorar la dimensión real del trabajo. Una buena prueba de las oportunidades que tenemos se desprende de la variación de los resultados en la aplicación de los criterios por los evaluadores del Comité Científico.

Por otra parte, las diferentes etapas del proceso de organización del congreso, desde la finalización del plazo de presentación de comunicaciones, con la necesaria información a los interesados sobre la aceptación o el rechazo de las comunicaciones y la gestión de los tiempos de impresión del Libro de Ponencias y Comunicaciones, suponen nuevos obstáculos añadidos para establecer planes de mejora en el proceso.

Otro aspecto en el que es necesario avanzar es en la definición del subproceso de premios. Las dificultades mencionadas para evaluar las comunicaciones son compartidas en el momento de preseleccionar las que pueden optar a alguno de los premios del Congreso. Las incertidumbres en la selección de las mejores experiencias se intenta controlarlas mediante el contacto directo con los autores y, cuando es posible, con la solicitud de ampliación de información. Esta medida, sin embargo, no es posible ponerla en marcha para los demás candidatos a otros premios, por los problemas de tiempos ya mencionados.

También se ha ido realizando un esfuerzo progresivo para organizar la presentación de las comunicaciones orales agrupadas de forma temática para facilitar a los congresistas la posibilidad de asistir al mayor número posible que sean de su interés. Para esta organización la principal dificultad está relacionada con la disponibilidad de salas y espacios temporales dentro del cada vez más apretado programa del Congreso. La defensa de los póster también es un asunto no bien resuelto, porque no hay un procedimiento explícito, consensuado y conocido para realizarla, lo que genera una importante variación que, unido a la dificultad organizativa de asignar horas específicas para la defensa del póster dentro del horario de la sesión prevista, contribuye a un bajo grado de satisfacción de los congresistas con esta actividad. La conveniencia de defender el póster es obvia, pero necesitamos mejorar la forma de llevarla adelante.

Otro tema importante, como se ha visto en esta y en anteriores ediciones del Congreso, es la oportunidad territorial de la organización del Congreso para impulsar los trabajos de calidad. El espectacular incremento de los trabajos presentados por la comunidad autónoma organizadora debe ser un elemento de incentivación para las comunidades que perciban la necesidad de potenciar las políticas de calidad.

Finalmente, los instrumentos con los que debemos evaluar las impresiones de nuestro cliente se han demostrado insuficientes y sujetos a un necesario e inaplazable estudio de mejora. Los elementos y las dimensiones a evaluar deben ser establecidos de forma que permitan identificar oportunidades de mejora y cuantificar sus grados de satisfacción con mucha mayor concreción y fiabilidad que los actualmente utilizados.

Que la participación en el Congreso de la Sociedad Española de Calidad Asistencial mantiene una tendencia ascendente se ve confirmada con los resultados expuestos. Ha pasado a la mayoría de edad por su complejidad organizativa, pero paralelamente debemos exigirnos el máximo nivel en su vertiente científica. Sobre todo porque es donde nuestro cliente se siente como verdadero protagonista.

Bibliografía
[1.]
L. Nualart, J.M. Carbonell, J. Guix, J. Serra, R. Delgado.
El XV Congreso de la SECA en cifras: unos datos para la reflexión.
Rev Calidad Asistencial, 12 (1997), pp. 419-424
[2.]
E. Sánchez, J. Mozota, L. Ansorena, S. Lorenzo.
XVI Congreso de la SECA, Santander, 13-16 de octubre de 1998.
Rev Calidad Asistencial, 13 (1998), pp. 468-472
[3.]
P. Parra, L. Hernando, R. Gomis, P.J. Saturno, A. Más, T. Ramón, et al.
El Congreso de Murcia: análisis de resultados.
Rev Calidad Asistencial, 17 (2002), pp. 43-49
[4.]
I. Rodrigo, K. Ayerdi, J.J. Viñes, V. Calleja, A. Muru, C. Urdin, et al.
Congreso de la Sociedad Española de Calidad Asistencial. Cuatro días de calidad en Navarra.
Rev Calidad Asistencial, 18 (2003), pp. 178-184
[5.]
S. Lorenzo, S. Cañibano, J.M. Carbonell, J.J. Mira, S. Peiró, S. Fernández-León, et al.
La gestión del Comité Científico del XXI Congreso de la Sociedad Española de Calidad Asistencial.
Rev Calidad Asistencial, 19 (2004), pp. 27-33
[6.]
R. Hernández, M.D. Machado, J.J. Mira, A. Jiménez.
La investigación en calidad en España. Análisis de la I+D a partir de las comunicaciones presentadas en el XXII Congreso de la SECA.
Rev Calidad Asistencial, 20 (2005), pp. 131-139
Copyright © 2008. Sociedad Española de Calidad Asistencial
Opciones de artículo
es en pt

¿Es usted profesional sanitario apto para prescribir o dispensar medicamentos?

Are you a health professional able to prescribe or dispense drugs?

Você é um profissional de saúde habilitado a prescrever ou dispensar medicamentos