Introducción
El XXII Congreso de la Sociedad Española de Calidad Asistencial (SECA) puede ser un buen termómetro para pulsar la vitalidad de la investigación en calidad asistencial en España. Especialmente cuando se considera que no toda la investigación y la capacidad de innovación y desarrollo que se lleva a cabo en los centros sanitarios de España termina publicado en revistas especializadas, y que las reuniones científicas, como el Congreso de la SECA, aglutinan un buen número de profesionales de la práctica totalidad de territorios de España y sirven para dar a conocer resultados de la investigación y la innovación que se llevan a cabo en los centros sanitarios.
El volumen de trabajos que concurre a esta reunión anual supera, desde hace varios años, la cifra de 400 y el número de participantes (tanto de congresistas como de centros asistenciales o instituciones representadas) ha alcanzado su plena madurez, y se ha superado la cifra de 500 congresistas en los últimos congresos celebrados.
De las 71 comunicaciones orales y los 5 pósters, presentados en el Congreso de 1989, a las 538 comunicaciones y 300 pósters del XXI Congreso de la SECA, en 20031, han transcurrido muchos años, y tanto la reunión anual de la Sociedad como la Revista de Calidad Asistencial2,3 han experimentado una evolución que cabe considerar positiva.
En cifras absolutas, la mayoría de las comunicaciones que habitualmente se presentan procede de4-8: Cataluña, Madrid, Murcia, Andalucía y el País Vasco (representan tradicionalmente más de la mitad del total de las comunicaciones aceptadas). Sin embargo, cuando este mismo análisis se realiza teniendo en cuenta la población censada de cada una de las comunidades autónomas, las comunidades más productivas, al menos en la celebración del XXI Congreso Nacional de la SECA celebrado en Asturias, fueron por este orden: Asturias, Aragón, Murcia y Cataluña.
Por temáticas, la tendencia se viene repitiendo, los estudios sobre gestión de procesos son muy frecuentes, junto a los estudios sobre satisfacción del paciente u orientación al "cliente" de la atención sanitaria, sistemas de información y, en general, los estudios que cabe considerar en el apartado de innovación y mejora de la calidad.
El objetivo de este trabajo es describir el estado de la investigación en calidad asistencial a partir de las comunicaciones orales y los pósters presentados en el XXII Congreso Nacional de la SECA celebrado en Gran Canaria en octubre de 2004, siguiendo una tradición iniciada en 1997.
Material y método
Estudio descriptivo en el que se analizan las 542 propuestas de comunicaciones orales o póster enviadas a la secretaría técnica del XXII Congreso de la SECA. Los análisis tienen en cuenta el volumen de comunicaciones aceptadas (valoración por los evaluadores, su procedencia y su temática).
Al menos, 2 miembros del Comité Científico o del Comité Organizador (que voluntariamente participaron asistiendo al primero, dado el volumen de comunicaciones que había que valorar y el reducido tiempo para hacerlo) evaluaron las comunicaciones. El grado de concordancia entre evaluadores se estimó mediante el coeficiente de Kendall.
Las comunicaciones fueron evaluadas en cuanto a: aplicabilidad, conclusiones, diseño, imagen, resumen, originalidad, relevancia, resultados y técnica de análisis. Se incluía adicionalmente una valoración global de la comunicación. Las puntuaciones que se podían otorgar oscilaban entre 1 y 5 puntos, excepto la valoración global que oscilaba entre 1
y 10. La puntuación final asignada a cada comunicación se calculaba mediante el promedio de los 8 criterios de valoración de las comunicaciones y la valoración global. Este método fue similar al utilizado en la anterior edición del Congreso de la SECA.
El porcentaje de comunicaciones se ha analizado considerando tanto el total de comunicaciones aceptadas como el porcentaje corregido en función de la población censada en la comunidad autónoma (se ha tomado como referencia el censo de 2001). Para determinar diferencias en las proporciones o en las medias, se ha calculado el estadístico *2 y la U de Mann-Whitney y se ha adoptado el criterio de considerar que hay significación estadística cuando p < 0,05.
Los datos se comparan cualitativamente con los resultados de anteriores congresos de la SECA a fin de identificar posibles tendencias.
Resultados
En total se recibieron en la secretaría técnica 542 propuestas. De éstas, el Comité Científico aceptó 536 (cumplían el requisito de alcanzar una puntuación superior a 2). El porcentaje de comunicaciones aceptadas fue del 98,8%.
De un total de 343 propuestas de comunicaciones orales, se aceptaron 227 (66% de aceptaciones; un 43% de las comunicaciones defendidas en el XXII Congreso). La puntuación de corte para las comunicaciones orales se estableció en 5,31 de su valoración final. Se defendieron un total de 309 como pósters (57% del total de comunicaciones defendidas en el XXII Congreso).
La puntuación media final de las comunicaciones presentadas (tanto orales como póster) fue de 5,7 puntos. La puntuación media final de las comunicaciones orales fue de 6,6 puntos y de los pósters 5,1. Las valoraciones cruzadas de los evaluadores de las propuestas de comunicaciones fueron homogéneas (p = 0,156). Entre los evaluadores hubo pleno acuerdo (índice de Kendall) en el 59,3% de las comunicaciones (orales y pósters) evaluadas.
Las comunicaciones firmadas por autores procedentes de Iberoamérica supusieron el 1,7% del total en el Congreso de Navarra, el 1,4% en Asturias y el 1,1% en Canarias.
La figura 1 recoge la evolución del volumen de trabajos a lo largo de los distintos congresos de la SECA celebrados hasta ahora. El salto de mayor envergadura se produjo en el Congreso de 2000, que supuso un cambio importante en el volumen de trabajos que, con leves oscilaciones, se aproxima a 500 comunicaciones, de las que unas 336 son comunicaciones tipo póster.
Figura 1. Evolución del número de comunicaciones aceptadas en los congresos de la SECA.
No obstante, el número de comunicaciones, por sí solo, no es un indicio de calidad de la actividad investigadora. Si atendemos a las valoraciones de los evaluadores de los comités científicos de los 2 últimos congresos (que por su similar estructura permiten mejor las comparaciones), la tendencia de los datos (tabla 1) es, más o menos, estable en torno a una valoración global de 5,5 (escala de 1 a 10), incluyendo tanto comunicaciones orales como pósters. Por criterios de evaluación, las cifras se mantienen sin sobresaltos entre los
2 congresos.
Los datos del XXII Congreso (tabla 1), por otro lado, sugieren que la calidad de contenidos y método de las comunicaciones orales es mayor que la de las comunicaciones póster y se hallan diferencias significativas en los diferentes criterios (p < 0,01).
Las comunicaciones defendidas durante el XXII Congreso de la SECA (tabla 2) provenían de todas las comunidades autónomas (excepto Ceuta y Melilla) y de países de Iberoamérica. La mayoría de las comunicaciones que se presentaron procedía de Cataluña, Madrid, Murcia, el País Vasco y Andalucía (entre ellas suponen un 56,0% del total de comunicaciones). En cifras absolutas son Cataluña y Madrid las comunidades que más comunicaciones presentaron (94 y 81, respectivamente). Sin embargo, cuando se toma en consideración la tasa de aceptación de comunicaciones por millón de habitantes, el porcentaje mayor corresponde a La Rioja (50,5%), Cantabria y Navarra (48,5%).
La tabla 2 permite realizar comparaciones con los datos del 2003. El mayor incremento en la producción de trabajos en términos absolutos corresponde a Canarias (donde se celebró el congreso), Navarra, la Comunidad Valenciana y La Rioja. Si tenemos en cuenta el número de habitantes censados en cada comunidad, este mayor incremento en el volumen de trabajos corresponde a: Canarias, Cantabria, Navarra y La Rioja. Si incluimos en este análisis comparativo los datos del Congreso de 2002, observamos una sensible disminución en el número de comunicaciones realizadas por profesionales de centros de Cataluña y Navarra y una ligera disminución de trabajos de Madrid. En cambio, se aprecia un incremento en el número de trabajos firmados por profesionales de La Rioja, el País Vasco, Cantabria, Castilla-La Mancha y Asturias.
El área temática donde se englobó la mayoría de las comunicaciones en este último congreso de la SECA fue la de "Orientación al cliente", que trataba sobre cualquier tema relacionado con la medida de la satisfacción del paciente, las mejoras en la atención y las actuaciones para defender los derechos del paciente (31,9% que prácticamente duplica el número de trabajos de la siguiente categoría), seguido por las englobadas bajo la categoría de "Aprendizaje, innovación y mejora continua", sistemas de información, modelos de gestión y gestión de procesos (tabla 3). Si se comparan estas cifras con las del anterior congreso se aprecian diferencias significativas en las frecuencias de presentación de trabajos en las mesas (p < 0,05).
Si analizamos las temáticas en función de dónde radican los grupos de trabajo (tabla 4), observamos que en algunas comunidades ha coincidido en el XXII Congreso de la SECA una concentración de trabajos en un área temática, mientras que en otras comunidades ha habido una mayor distribución de los trabajos en las diferentes mesas. Así, por ejemplo, casi la mitad de los trabajos presentados desde Andalucía se centran en la categoría de "Orientación al cliente" mientras que la mayoría de los trabajos de Castilla y León versaron sobre la implicación de las personas y la mitad de los de Castilla-La Mancha se orientaron hacia la mesa de "Aprendizaje, innovación y mejora continua". Otras comunidades, como es el caso de Murcia, Cataluña, la Comunidad Valenciana o La Rioja, distribuyeron más sus trabajos entre diferentes mesas.
En la tabla 4 se presentan también los datos del volumen de trabajos por áreas de investigación a fin de identificar si alguna comunidad autónoma destaca en su interés por un tema concreto sobre el resto. El País Vasco y Madrid dedican un importante esfuerzo a estudios sobre la implicación de las personas (clima laboral, satisfacción laboral, estrés, etc.). Murcia destaca por el volumen de trabajos sobre desarrollo de alianzas y sobre el binomio ética-calidad. En cuanto al número de trabajos, Cataluña lidera las investigaciones sobre sistemas de información y modelos de gestión. Madrid destaca por el volumen de estudios en el ámbito de la orientación al cliente, y Cataluña y Madrid comparten el liderazgo en el volumen de estudios sobre procesos.
En la tabla 5 se presentan las valoraciones que los miembros del Comité Científico realizaron de las distintas comunicaciones presentadas. Estas valoraciones se realizaron a partir de los resúmenes que se presentaron inicialmente y no tienen en cuenta su defensa pública durante el congreso.
Cuando se consideran las comunicaciones orales, apenas si hay diferencias en las valoraciones de la calidad de las distintas comunicaciones en función de la mesa temática a la que iban dirigidas. Entre comunidades autónomas el rango es también estrecho, aunque se identifican valores extremos entre 4,9 y 7,6. Las valoraciones de los pósters siguen la misma tendencia. Cuando se consideran los datos del conjunto de comunicaciones presentadas al XXII Congreso de la SECA se aprecia una mayor calidad de los trabajos sobre la impli-
cación de personas (6,1 puntos). Cantabria (media de 6,2) muestra una valoración de sus comunicaciones sensiblemente más alta al resto.
Hay que destacar, seguidamente, la selección de las comunicaciones orales que se presentaron en la mesa de "mejores comunicaciones":
"Treinta mil diagnósticos de enfermería en un área de salud. La medida del cuidado en Atención Primaria".
Autores: Pérez FJ, Soto I, Santamaría JM, López S, García M y Beamud M. Comunidad Autónoma de Madrid. Categoría 4.1: Orientación al cliente.
"Hospital sin dolor: segundo año de un programa para el dolor postoperatorio".
Autores: Pérez-Blanco V, Valentín B, Herreras J, Sastre N, Muñoz JM, García-Caballero J. Comunidad Autónoma de Madrid. Categoría 1.3: Aprendizaje, innovación y mejora continua.
"El modelo Mappa-Horizonte: una estrategia para mejorar los resultados en salud".
Autores: Rodrigo I, Montes Y y Gabilondo L. Comunidad Autónoma de Navarra. Categoría 4.1: Orientación al cliente.
Finalmente, los trabajos premiados en el XXII Congreso de la SECA fueron:
1.er Premio de Comunicación Oral. Categoría 4.1: Orientación al cliente. Madrid.
Autores: Mena JM, Albéniz C, Brezmes A y Lobete M.
"Utilización del QFD para mejorar la atención a inmigrantes en riesgo de exclusión social en un área de atención primaria."
2.º Premio de Comunicación Oral. Categoría 1.1: Gestión por procesos. La Rioja.
Autores: Emparán C, Cuesta S, Basoco E y Sorano P.
"Aplicación proactiva de sistemas de gestión de cuadro de mandos integral en listas de espera quirúrgicas."
Premio a la mejor comunicación canaria. Categoría 1.3: Aprendizaje, innovación y mejora continua. Canarias.
Autores: Núñez S, Martín A, Álvarez A y Aguirre A.
"Influencia de los errores asistenciales en el retorno inesperado al servicio de urgencias,"
1.er Premio a póster. Categoría 4.1: Orientación al cliente. Navarra.
Autores: Lizárraga J y Rodrigo I.
"¿Cómo detectar áreas de mejora en la variabilidad clínica? Monitorización de altas revisables."
2.º Premio a póster. Categoría 1.2: Sistemas de información. Andalucía.
Autores: Jiménez A, García MA, García T, García JA, Lara A y Pérez E.
"Implantación de un cuadro de mando de procesos asistenciales en atención especializada".
Premio al póster más original. Categoría 1.3: Aprendizaje, innovación y mejora continua. Cataluña.
Autores: Gallart A, Gallardo M, Vélez M, Martínez E, Barcia D y Roig S.
"Programa de detección de errores de medicación. Puesta en marcha incidencia y resultados."
Discusión
Como se aprecia en los datos de las propuestas presentadas, la comunidad autónoma que organiza el congreso experimenta un avance en el número de trabajos realizados. En el caso de Asturias o de Navarra, después de sus respectivos congresos y pese a una disminución en el volumen de trabajos, los que estas comunidades presentan en la siguiente reunión de la Sociedad es mayor que el volumen de comunicaciones presentadas con anterioridad al momento de celebrar "su congreso". Si esta tendencia se confirma, podríamos afirmar que la celebración de la reunión anual de la SECA sí sirve al objetivo de impulsar trabajos de I+D en el ámbito de la calidad asistencial.
Otro aspecto que parece que sugieren los datos es que el lema del congreso tiene su efecto a la hora de orientar los trabajos que se realizan y que se presentan. En la última edición del congreso de la SECA, la investigación en las áreas de orientación al paciente y ética se han visto incrementadas, mientras que, con respecto al año anterior, los estudios sobre gestión por procesos ha experimentado una notable disminución. No obstante, hay que considerar otras posibilidades. Por ejemplo, como los autores dirigen sus propuestas a una mesa determinada, podría darse también el hecho de que en función de la temática del congreso se pensara que hay más probabilidades de que se acepte la comunicación en una mesa más acorde con el lema del congreso.
Las comunidades autónomas más productivas, lógicamente, también abarcan en sus trabajos de investigación una variedad más amplia de objetivos. Cataluña, Madrid, Andalucía, el País Vasco y Murcia suelen presentar algo más del 50% del total de comunicaciones. Atendiendo al censo poblacional y, por tanto, de forma indirecta al número de profesionales que trabajan en el sistema de salud de las distintas comunidades, vemos que La Rioja, Navarra y Cantabria son las más productivas. Cabe preguntarse las razones de esta mayor productividad. ¿Hay más apoyo institucional, más tradición, más oportunidades para ir al congreso, mayor interés por la I+D, mayor número de estructuras de apoyo, o más recursos económicos?
Se da la tendencia en algunas sociedades científicas a incrementar la presentación de estudios mediante la modalidad de póster, para promocionar la presentación de trabajos científicos. Este hecho ha sido comentado en las reuniones de la Sociedad y es una duda presente en todos los congresos. Los datos de este análisis ponen de relieve que la calidad de los trabajos, considerados globalmente, que optan por esta modalidad de presentación es sensiblemente inferior al de las comunicaciones orales. Muy probablemente, los criterios de selección deben analizarse a la luz de estos datos y deberían definirse previamente los límites de puntuación de las evaluaciones cruzadas por debajo de las cuales no se admite ninguna comunicación. Es evidente que es difícil reconciliar la "búsqueda" de congresistas (ya que de otro modo no es posible económicamente hacer frente a la organización del congreso) con un alto nivel de exigencia de calidad de los trabajos que se presentan, pero no cabe duda de que los congresistas son cada vez más exigentes y aprecian un trabajo sólido metodológicamente, amén de una cuidada presentación.
En términos de valoración de las propuestas presentadas como resúmenes, los niveles de calidad no son, en sí mismos, un criterio definitivo de la calidad real de los trabajos realizados. Son muchos los factores que pueden incidir. Es posible, por ejemplo, que aunque el grado de calidad de los trabajos de un congreso a otro se incremente, las puntuaciones de los evaluadores tiendan a mantenerse más o menos estables, en razón de una tendencia natural hacia unas determinadas puntuaciones (entre 6 y 8). Ahora bien, si somos conscientes de las limitaciones, pueden ayudarnos a identificar sobre qué aspectos incidir. En este caso, en el XXII Congreso, las técnicas de análisis de los datos han sido el punto más débil en los trabajos presentados cuando, a priori, es el más sencillo de abordar. Por el contrario, la aplicación o utilidad percibida del trabajo presentado es uno de los mejores aspectos, lo que, sin duda, es sumamente positivo y denota esa clara orientación hacia la investigación aplicada que caracteriza los congresos de la SECA.
Pese a algunas limitaciones a la hora de interpretar los datos, el hecho de que las puntuaciones otorgadas a las diferentes comunicaciones, bien por áreas temáticas, o bien por comunidades autónomas, sea muy similar, sugiere que el grado de la I+D, entendida globalmente, que se presenta al congreso de la SECA es bastante homogéneo.
Es evidente que no podemos concluir que la investigación en calidad asistencial que se realiza en España sea sólo el resultado de los trabajos presentados en los congresos de la SECA, aunque cabe esperar que de una forma u otra quienes trabajan en este ámbito presenten los resultados de sus trabajos en este foro. El análisis realizado se basa en datos parciales sin que se disponga de otros indicios de calidad de la investigación, como por ejemplo el número de autores que firman los trabajos, cuántas de estas comunicaciones se transforman en artículos en revistas con sistemas de revisión por pares, con un factor de impacto (tan de moda), si dan lugar a reconocimientos o premios, etc. Aunque el mejor índice sería conocer en qué medida toda esta ingente labor tiene una repercusión positiva en los grados de calidad asistencial que los pacientes reciben y conocer en qué medida los debates o las ideas que vemos durante el congreso suscitan, a su vez, mejoras, nuevas ideas y nuevos proyectos. Y en definitiva, en qué medida tiene sentido que cada año se celebre el congreso de la SECA.
En el comentario de "Escepticemia"9 del número 275 de 30 de julio de 2004, se cuenta la anécdota de Richard Smith, editor durante muchos años de la revista BMJ, que afirmaba de sí mismo que tardó bastante tiempo en darse cuenta del escaso impacto que tienen las publicaciones en las revistas científicas, y añadía, con bastante sorna: "...y menos mal que no la tienen, dada la cantidad de basura que publican las revistas...". Puede que su afirmación sea exagerada o no, pero en cualquier caso hagamos todo lo posible para que no pueda decirse que la ventaja de los congresos de la SECA es no tener mucha repercusión prác-
tica.
Agradecimientos
Olga Tomás nos ha ayudado en la confección de las bases de datos, en la realización de cálculos y ha sido esencial para mantener la comunicación entre los miembros del Comité Científico durante las fases de evaluación de las propuestas. Ana Román confeccionó la base de datos que ha permitido una mayor facilidad en la gestión del Comité Científico de este XXII Congreso de la SECA. Nuestro agradecimiento también a los congresistas que acudieron al Congreso de Gran Canaria y a todos los que participaron con sus trabajos, a quienes los defendieron y a quienes activamente hicieron de los debates una oportunidad de mejora para todos.
*Relación de miembros de los comités Científico y Organizador:
Comité Científico: Hortensia Aguado, Julián Alcaraz, Jesús Aranaz, Nuria Bañón, María José Berenguer, Joan Miquel Carbonell, Genís Carrasco, Mercedes Cueto, Juan García-Aísa, Rafael Gomis, Mikel Latorre, Rafael Lledó, Andreu Martín, José Manuel Martín-Vázquez, Ana Miquel, Emma Navarro, Fernando Palacio, Pedro Parra, María Ángeles Prieto, Rosa Rosado, Rosa Suñol, Elena Sánchez, Elena Seral y Carmen Silvestre.
Comité Organizador: Gloria Almeida, Jesús Benítez-del Rosario, Emilio Ignacio-García, Óscar Moracho, Paloma Fernández-Muñoz, Susana Lorenzo, Dora Medina, Antonio Ojeda, Antonio Otero, Hilda Sánchez, Carmen Varela y Alberto Fernández León.
