Informar sobre los logros alcanzados es un ejercicio de responsabilidad que define y diferencia aquellas organizaciones que apuestan por la rendición de cuentas1,2. La rendición de cuentas (accountability), es un concepto ético que nace en los años 60 en Estados Unidos y en los 70 llega a Europa y que presenta un amplio desarrollo en los últimos años, no solo en el ámbito académico sino en el plano de las agencias internacionales o los gobiernos de distintas partes del mundo.

La rendición de cuentas es importante porque al aportar transparencia a la gestión, en relación con las acciones y resultados alcanzados, contribuye a generar confianza entre los destinatarios de dicha información y, permite formular con mayor credibilidad, recomendaciones para mejorar la gestión de los procesos analizados.

En los últimos años, la Sociedad Española de Calidad Asistencial (SECA) ha analizado, revisado y evaluado algunos de los congresos celebrados con el propósito de su mejora continua y de aportar nuevos elementos que permitan rediseñar futuras ediciones3–12. Continuando con este compromiso, la finalidad de este artículo es incrementar la transparencia de las acciones de los Comités Organizador y Científico del 27 Congreso de la SECA para que se puedan evaluar y juzgar la actuación de estos órganos, que toman las decisiones.

Pero este objetivo explícito de evaluar con posterioridad los objetivos del Congreso, para valorar su grado de cumplimiento y, por tanto, la eficacia de la gestión de los Comités Organizador y Científico, tiene sobre todo un elemento de mejora intrínseco, el deseo de conocer, evaluar, aprender y corregir para que, no solo desde el esquema PDCA (Plan-Do-Check-Act) o ciclo de mejora continua, sino desde un compromiso ético mejorar los resultados de próximos congresos.

Tipo de estudio descriptivo y retrospectivo, sobre el procedimiento de evaluación comunicaciones enviadas al Congreso, los resultados en relación a las comunicaciones aceptadas y la satisfacción respecto a talleres y al congreso en general.

Fuentes de información utilizadas: 1) Base de datos administrativa de la Secretaría Técnica del Congreso para el registro de las inscripciones y 2) Base de datos de los Comités Organizador y Científico para la gestión y control del 27 Congreso Sociedad Española de Calidad Asistencial.

El Comité Científico redactó un Manual para los Revisores de las comunicaciones enviadas al Congreso, de tal modo que todo el proceso de evaluación de comunicaciones se gestionara electrónicamente.

Cada uno de los 36 revisores de comunicaciones recibió por correo electrónico su código de evaluador y, posteriormente, un segundo correo electrónico que contenía: 1) un archivo pdf con las comunicaciones identificadas numéricamente y anonimizadas respecto a autores e institución de origen, 2) las normas de evaluación y 3) una hoja de de registro de evaluaciones en formato Excel, personalizada a las comunicaciones que le habían sido asignadas.

Respecto al procedimiento de evaluación es importante reseñar las siguientes consideraciones:

• (1)

  Todas las comunicaciones han sido evaluadas por al menos 2 revisores, miembros del Comité Científico o del Comité Organizador. El grado de concordancia entre evaluadores se estimó mediante el coeficiente de Kendall.

• (2)

  La lectura preliminar de las comunicaciones asignadas a cada revisor, sirvió para identificar si existía conflicto de intereses entre el revisor y alguna de las comunicaciones que le hubieran sido asignadas aleatoriamente. Se produjo conflicto de intereses en el 1,48% de las comunicaciones asignadas inicialmente, siendo estas reasignadas a un nuevo revisor.

• (3)

  Las comunicaciones fueron evaluadas en cuanto a los siguientes criterios: relevancia, contexto de partida, descripción del problema, desarrollo del proyecto y soluciones aportadas, resultados obtenidos, lecciones aprendidas, innovación y orientación práctica. Las puntuaciones que se podían otorgar oscilaban entre 1–10 puntos.

  Los criterios de evaluación, la ponderación de cada criterio respecto de la puntuación total y los aspectos de mayor importancia que evalúa cada uno de ellos se exponen en la tabla 1.

  Tabla 1.

  Criterios de evaluación de comunicaciones

  Criterios de evaluación	Ponderación	Aspectos considerados en la evaluación del criterio
  Relevancia	[10%]	Se trata de un tema importante para que la asistencia sea de calidad
  Contexto de partida	[10%]	Se define claramente el contexto:
  		¿Dónde se realizó el trabajo?
  		¿En qué tipo de organización o departamento?
  		¿Qué profesionales o grupos estuvieron implicados?
  Descripción del problema	[10%]	¿Sobre qué necesidades o problemáticas pretendía actuar el proyecto?
  		¿Qué consecuencias tuvo en la atención a los pacientes?
  		¿Cómo se analizaron las causas de esos problemas?
  		¿Cómo se cuantificó el problema?
  Desarrollo del proyecto y soluciones	[20%]	¿Cómo se llevó a cabo el proyecto?
  		¿Qué profesionales o grupos estuvieron implicados en esas soluciones?
  		¿Cómo se difundió el proyecto entre los grupos de interés?
  		¿Qué fases temporales tuvo el proyecto?
  Resultados obtenidos	[10%]	¿Cuáles fueron los efectos del proyecto, y cómo se midieron?
  		¿Hasta qué punto las soluciones aportadas resolvieron el problema?
  		¿Surgieron nuevas necesidades o problemas?
  Lecciones aprendidas	[10%]	¿Qué lecciones se han extraído del proyecto o experiencia?
  		¿Qué se haría de manera diferente la próxima vez?
  		¿Qué mensaje práctico se podría transmitir a otros?
  Innovación	[10%]	Se trata de un trabajo innovador o con un enfoque no estudiado por otros grupos.
  Orientación práctica	[20%]	El trabajo o sus conclusiones son aplicables en niveles asistenciales o centros de similares características.

  Cada criterio se valora entre 1–10 puntos.
• (4)

  Un grupo formado por 3 miembros (el Presidente del Comité Organizador, el Presidente del Comité Científico y el Coordinador entre ambos Comités) reevaluó todas las comunicaciones cuyas evaluaciones presentaron una diferencia ≥2,5 puntos entre los 2 revisores. La puntuación final de estas comunicaciones reevaluadas se calculó por la media de puntuaciones de este grupo de 3 miembros.

• (5)

  Este mismo grupo asignó las comunicaciones previamente evaluadas por los revisores y, según su nota de corte, en las modalidades de presentación: comunicaciones electrónicas o experiencias.

• (6)

  Las 5 comunicaciones con mayor puntuación dentro de cada área temática fueron preseleccionadas para los premios. Para decidir la mejor comunicación por área temática a la que se le adjudicaba el premio, fueron reevaluadas por cinco miembros del Comité Científico, otorgándose a aquella que obtuvo la mayor puntuación media en esta segunda evaluación.

En el 27 Congreso de la SECA celebrado en Sevilla en octubre de 2009 fueron aceptadas por el Comité Científico un total de 1213 comunicaciones, de las 1.231 recibidas. El porcentaje de rechazo fue el 1,48% de las comunicaciones recibidas. La nota de corte para su aceptación fue 4 puntos sobre 10.

La puntuación media del total de comunicaciones aceptadas fue de 6,38±0,95 puntos. Las experiencias tienen una puntuación media de 7,55±0,41 puntos, mientras que las comunicaciones electrónicas tienen una puntuación media de 6,26±0,9 puntos. Entre las puntuaciones de los revisores hubo una asociación relativamente débil, 0,517 en el índice de Kendall.

Respecto a la distribución de comunicaciones por área temática y por modalidad de presentación, se muestra en la tabla 2, correspondiendo el 40,3% de las comunicaciones al ámbito de la «Seguridad de los pacientes», el 25,7% a «Modelos de Gestión Clínica», el 16% a «Evaluación del desempeño y acreditación», el 11% a «Decisiones compartidas y responsabilidad del ciudadano» y el 7% a comunicaciones de «Responsabilidad Social Corporativa». La asignación de comunicaciones entre experiencias y comunicaciones electrónicas mantiene la misma distribución porcentual.

Las comunicaciones firmadas por autores procedentes de Andalucía supusieron el 45,9%; el 11,5% de Cataluña, el 10,8% de la Comunidad de Madrid y el 9% de la Región de Murcia. Únicamente el 0,3% de las comunicaciones aceptadas fueron de procedencia internacional. En cifras absolutas son Andalucía y Cataluña las comunidades autónomas que más comunicaciones presentaron (557 y 140, respectivamente) aunque, tras el cálculo de la tasa por millón de habitantes, la Región de Murcia (76,43) y Andalucía (67,91) obtuvieron las cifras más elevadas.

La figura 1 recoge la evolución creciente del número de comunicaciones aceptadas en los congresos de la SECA (1989–2009).

Figura 1.

Evolución del número de comunicaciones aceptadas en los congresos de la SECA (1989–2009).

(0.15MB).

La figura 2 muestra la representación del incremento interanual en el número de comunicaciones aceptadas en los congresos de la SECA (1989–2009).

Figura 2.

Representación del incremento interanual de comunicaciones aceptadas en los congresos de la SECA (1989–2009).

(0.15MB).

La tabla 3 muestra los datos correspondientes a la encuesta de satisfacción de los 10 talleres precongreso. (Las denominaciones de los talleres se incluyen en el pie de tabla).

Se recogieron un total de 146 encuestas de satisfacción (12,1% de los asistentes). Los aspectos relacionados con la parte científica del Congreso se valoran de forma muy positiva, especialmente la conferencia inaugural (7,2±1,4) y las ponencias de la Mesa Seguridad del Paciente (6,8±1,6). Los aspectos peor valorados por los congresistas corresponden a ítems vinculados con elementos de infraestructura: servicios de hostelería (4,7±2,4) y salas de comunicaciones (4,5±2,0). Por último, el aspecto peor valorado corresponde a los actos sociales (4,1±2,4) (ver tabla 4).

Con este trabajo se pretende difundir determinados aspectos operativos utilizados durante la fase organización del Congreso de Calidad Asistencial del 2009, así como, resultados relevantes derivados del desarrollo del mismo.

Haciendo historia, recordaremos que los Congresos de SECA comenzaron en 1983 en Barcelona, para continuar en Madrid (1984), Málaga (1985), Oviedo (1986), Valencia (1987), Madrid (1988), Segovia (1989), Lisboa (1990), La Coruña (1991), Zaragoza (1992), Barcelona (1993), San Sebastián (1994), Marbella (1995), Salamanca (1996), Reus (1997), Santander (1998), Palma de Mallorca (1999), Granada (2000), Murcia (2001), Pamplona (2002), Oviedo (2003), Las Palmas de Gran Canaria (2004), Cádiz (2005), Toledo (2006), Barcelona (2007), Zaragoza (2008) y el último celebrado hasta la fecha en Sevilla (2009)13.

El número de comunicaciones remitidas a los sucesivos congresos de la SECA muestra un incremento a lo largo de su historia. Una primera fase corresponde a la primera década, desde su inicio en 1989 al 1999. El año 2000 supone un punto de inflexión respecto al número de comunicaciones aceptadas (500 comunicaciones), manteniéndose dicha cifra con pequeñas variaciones hasta 2004. El congreso del año 2005 representa un cambio cuantitativo importante al superar las 800 comunicaciones aceptadas. El congreso de Zaragoza en 2008, destaca por superar por primera vez en sus 26 ediciones, el millar de comunicaciones aceptadas. Por último, Sevilla en 2009 representa el congreso con mayor número de comunicaciones aceptadas hasta la fecha en un congreso de SECA, 1.213 comunicaciones.

La reflexión a plantear sería si este modelo de crecimiento es el adecuado para una Sociedad que se llama de Calidad. No cabe duda que a los diversos comités que han trabajado en las diferentes ediciones celebradas, les debe suponer un cierto grado de satisfacción ver como cada edición crece respecto a las anteriores. Pero, dado que el número de días dedicados al congreso no suele variar, que el número de salas disponibles para mesas simultáneas tiene un límite dependiente de la oferta hotelera de cada ciudad y, que las expectativas de los asistentes deberían garantizarse por la posibilidad de asistir únicamente a mesas con comunicaciones que hayan pasado por una nota de corte elevada; parece que los elementos para una discusión sosegada están enunciados.

Por otro lado, el uso de un criterio explícito de calidad para definir las comunicaciones aceptadas, como es la nota de corte durante la fase de revisión por el Comité Científico, habitualmente no es conocida y, eso se traduce en que no se dispone de la serie completa del porcentaje de comunicaciones rechazadas en cada uno de los congresos celebrados hasta la fecha. Tan sólo existen referencias esporádicas: fueron rechazadas el 15% de las comunicaciones presentadas en Murcia (2001)7, el 10% en Toledo (2006)11 y el 1,48% en el Congreso de Sevilla (2009).

En el análisis de resultados del congreso de Murcia (2001)7 se concluía respecto al número de comunicaciones aceptadas, que la SECA debía decidir entre potenciar la calidad (menor participación, pero en un ámbito de referencia nacional) o la cantidad (propiciando la inclusión en el Programa Científico de un número alto de comunicaciones metodológicamente débiles). Parece evidente que la pregunta formulada hace años sigue sin respuesta.

La encuesta de satisfacción fue cumplimentada en el Congreso de Sevilla por el 12,1% de los asistentes, en la media de otras cifras publicadas (5,01% Pamplona (2002)8 y 16,7% Barcelona (2007)12) presentando los ítems relacionados con la parte científica una valoración muy positiva y siendo los aspectos peor valorados por los congresistas los que corresponden a ítems vinculados con elementos de infraestructura, servicios de hostelería y salas de comunicaciones.

Relacionada con la reflexión anterior es importante detenerse en otro aspecto, las aportaciones de los congresistas en el campo observaciones de la encuesta de satisfacción. Los comentarios y sugerencias de los congresistas son un aspecto a considerar, por el valor que aportan como elemento de mejora. Excluyendo dos elementos criticados y que se vinculan esencialmente con la oferta hotelera con la que cuenta la ciudad que organiza el Congreso, como son la comida y el tamaño de las salas, hay también otros aspectos organizativos importantes, como son la «atención al congresista» o los «actos sociales». En todos estos elementos organizativos, el Comité Organizador tiene una influencia relativa, dependiente de la mejor oferta disponible a la que puede optar en la ciudad anfitriona con el presupuesto que maneja. Por ello, sin menospreciar los aspectos organizativos, es necesario focalizar la atención sobre los comentarios relacionados con los aspectos científicos del Congreso. Debería llevar a la reflexión del Comité Científico que el 22,6% de los comentarios incluidos en la encuesta de satisfacción están relacionados con un escaso tiempo asignado para la exposición de las comunicaciones. Por otro lado, el 33% de los comentarios destacan el excesivo número de comunicaciones aceptadas, criticando especialmente que se haya primado la cantidad sobre la calidad. Sobre esta idea, un número importante de congresistas plantean la necesidad de redefinir la implicación del Comité Científico, exigiéndole que diseñe un congreso con un horario no tan extenso, con mayor rigor científico metodológico en los criterios de aceptación de comunicaciones y, mayor nivel en los contenidos. Tal como dice de manera taxativa un comentario «no todo vale».

Otra idea esencial, es la apuesta del Congreso de Sevilla por nuevas modalidades de presentación de comunicaciones: las experiencias y las comunicaciones electrónicas, destacándose por el Comité Científico aquellas comunicaciones con una alta orientación a la presentación de resultados extraídos en contextos reales de trabajo. Por eso, en esta edición hubo 2 modalidades de presentación para los autores: las comunicaciones electrónicas y las experiencias.

Las comunicaciones electrónicas fueron defendidas por sus autores en salas específicas destinadas a tal fin agrupadas por áreas temáticas. Los autores disponían de un tiempo máximo de exposición de 8min para las mismas. Al mismo tiempo, todas las Comunicaciones Electrónicas pudieron ser consultadas durante todo el congreso a través de monitores de plasma.

La segunda modalidad de presentación en el Congreso de Sevilla 2009 fueron las Experiencias. Se incluyeron dentro de esta modalidad, las comunicaciones seleccionadas por el Comité Científico, que a su juicio, eran presentadas por grupos con una línea continuada de trabajo dentro de los ejes temáticos del congreso y, con un marcado enfoque práctico. Las experiencias eran expuestas en las diferentes Mesas Simultáneas del Congreso, en función de la temática abordada, con un tiempo máximo de exposición de 20min por experiencia. Cada mesa disponía de un moderador para posibilitar el debate e intercambio de ideas entre los asistentes, más allá de la mera exposición de cada autor.

El 8,33% de las comunicaciones del Congreso de Sevilla 2009 fueron incluidas en la modalidad experiencias y el 91,67% fueron presentadas bajo la modalidad comunicaciones electrónicas. La nota de corte para la presentación de una comunicación bajo la modalidad experiencias fue 7 puntos (sobre 10) y, 4 puntos (sobre 10) para las incluidas bajo la modalidad comunicaciones electrónicas.

Respecto a los 10 talleres realizados, se diseñó ad hoc una encuesta de satisfacción y se analizaron un total de 112 cuestionarios cumplimentados, con una valoración promedio de 4,2±0,3 (puntuación en base 5). La selección de la temática de los talleres se hizo analizando las necesidades expresadas por los socios a través de miembros de los Comités Científico y Organizador. Se diseñaron 4 talleres sobre diferentes aspectos de acreditación (de centros, de competencias profesionales, de páginas Web y de formación continuada), 3 talleres sobre seguridad («AMFE», «Seguridad en el ámbito quirúrgico» y «¿Dónde están los pacientes y las prácticas de riesgo en el ámbito de la Atención Primaria?»), 2 talleres vinculados a la producción científica («Diseño de búsqueda documental» y «Cómo escribir un artículo científico») y un taller sobre evaluación cualitativa.

Haciendo un ejercicio de autocrítica, el Comité Director del Congreso de SECA en Sevilla, quiere centrar el foco en 2 ideas. En primer lugar, señalar que el debate entre cantidad y calidad a la hora de enjuiciar un congreso no está resuelto, ya que en el caso de SECA, un congreso con un gran número de participantes y un no suficiente apoyo financiero por parte de las administraciones sanitarias y de la industria farmacéutica, es necesario asegurar tanto la sostenibilidad económica como los intereses científicos. En segundo lugar, uno de los objetivos explícitos del congreso, ha sido dar oportunidad a todos aquellos grupos que deseaban compartir su trabajo dotándoles de un espacio para difundirlo, a través de las comunicaciones electrónicas. Tal vez, un elemento de distorsión haya sido permitir que todas las comunicaciones electrónicas, además de en las pantallas específicas para ello, fueran defendidas por sus autores en mesas específicas. Quizás, hubiera sido más operativo, seleccionar entre todas las comunicaciones electrónicas un número limitado de las mismas para su defensa oral.

Como conclusión, se puede reseñar que el aprendizaje organizativo derivado de la evaluación del 27 Congreso de la SECA corresponde a un ejercicio ético de rendición de cuentas de los Comités Organizador y Científico de esta edición, con el propósito, de que el conocimiento adquirido sirva para mejorar los contenidos científicos de los congresos en los próximos años y, por ende, el valor de Sociedad Española de Calidad Asistencial, como referente nacional de la calidad asistencial.

Comité organizador: Antonio Torres, Joseba Barroeta, Alberto Colina, Susana del Rio, Laureano Fernández, Enrique Fernández, Eloísa Fernández, José Manuel Galiana, Emilio Ignacio, Reyes León, Ramón Linares, Salustiano Luque, Mariano Marín, José Manuel Martín, Álvaro Nieto, Gregorio Ortega, Concepción Padilla, José María Páez, Pedro Parra, Juan José Pérez, Enrique Pérez, Jesús Luis Rodríguez, Miguel Sanz, Pilar Serrano, Javier Terol, Fracisco Torrubia.

Comité científico: Gonzalo Suárez, Antonio Almuedo, Reyes Alvarez, Jesús Aranaz, Esperanza Arriaga, Pilar Astier, José Ignacio Barrasa, María José Berenguer, Pilar Brea, José Carlos Canca, Genis Carrasco, María Isabel Carrascosa, Marta del Nozal, M Isabel Dotor, Carlos Emparan, Elvira Fernández, Juan Fernández, Rafael Gomis, Vicente Herranz, Antonio Jiménez, Alvaro Juárez, Rafael Lledó, Lidia López, Susana Lorenzo, José Joaquín Mira, Dolors Montserrat, Ana Mora, Diego Núñez, Fernando Palacio, Víctor Reyes, Maite Periáñez, Alberto Ruiz, Vicente Santana, Manel Santiña, Elena Seral, Martín Tejedor, Angélica Tejedor.