Analizar la utilización de los ejes transversales (EETT) del modelo EFQM en la autoevaluación de las organizaciones de servicios en una comunidad autónoma, y describir el resultado de la autoevaluación para el conjunto del sistema sanitario público (SSP).
Material y métodosEstudio descriptivo en dos etapas: 1) evaluación del uso del modelo EFQM en el SSP, y 2) análisis de la metodología de trabajo mediante EETT. En la primera fase se analizó el 100% de los informes de autoevaluación (37 gerencias) de Atención Primaria (AP) y Especializada (AE) (2007). Se realizó un análisis cuantitativo de la distribución de puntos fuertes (PF) y áreas de mejora (AM), según nivel asistencial, centro sanitario y su agrupación en criterios y EETT del Modelo.
ResultadosLa utilización del modelo EFQM en el conjunto del SSP alcanza el 84% de las gerencias (32/37) y el 94% despliegan planes de mejora (30/32). Se describen 3.543 PF y 3.573 AM, para el SSP. Del total de PF, los criterios agentes suponen un 67,6%.
Los resultados por EETT resaltan la dominancia de los ejes de gestión de la organización, personas, clientes, proceso y comunicación.
Las dificultades para su aplicación derivan del liderazgo de la organización en gestión de la calidad, de las estrategias formativas para su despliegue, del carácter novedoso que supone la herramienta en determinados entornos, y de la potencial carga de trabajo generada.
ConclusionesLos EETT se perciben como un método de trabajo factible para la agrupación y síntesis de las AM, precisando una formación adecuada para optimizar su utilización.
To analyse the use of transversal axes (TA) of the EFQM Model in the self- assessment of the service organisations in an Autonomous Community and to describe the self assessment results for the health care system (HCS) as a whole.
Material and methodsDescriptive study divided in two phases: 1) evaluation of the use of the EFQM model in the HCS, and 2) analysis of the methodology using TA. All (37) of the self-assessment reports corresponding to Primary Care and Hospitals in 2007 were analysed. A quantitative analysis was performed on the strengths (S) and areas of improvement (AI) identified, stratifying them according to level of care, centre and EFQM criteria and TA.
ResultsThe use of the EFQM in the HCS reaches 84% of the organizations (32/37), and 94% deploy improvement plans (30/32). A total of 3543 S and 3573 AI were described for the HCS as a whole. From the total identified S, enablers reach 67.66%.
Results according to TA the organization management axes are the dominant ones: people, clients, process and communication.
Application difficulties derive from the organizations’ leadership in quality management, the training strategies for deployment, the innovation character of the model in certain settings and the potential workload generated.
ConclusionsTA are perceived as a feasible work method to gather and synthesize AI. However it requires appropriate training to optimize its use.
El modelo de excelencia de la Fundación Europea para Gestión de la Calidad (conocido por su acrónimo en inglés EFQM) permite realizar un examen global y sistemático de las actividades y resultados de una organización, proporcionando un enfoque objetivo y estructurado para el diagnóstico e impulso de la mejora continua1. El modelo EFQM permite identificar de forma equilibrada las fortalezas y las áreas de mejora (AM) más relevantes, si bien la autoevaluación no supone una mejora per se, ya que requiere el despliegue de las medidas correctoras y los planes de acción efectivos2. Sin duda, resulta improbable que una organización pueda abordar de forma simultánea toda oportunidad de mejora detectada, siendo razonable utilizar criterios para la gestión y priorización de las intervenciones a desarrollar.
En la periódica actualización del modelo EFQM (2003) se incluyó la idoneidad de los ejes transversales (EETT) distribuidos en 11 categorías, para facilitar la recogida de información y la lectura del modelo con carácter transversal (fig. 1). Los EETT contribuyen de forma complementaria a una mejor comprensión del modelo, facilitando la integración de los diferentes procesos y la gestión de las medidas correctoras, actuando de forma sistemática y con mayor certidumbre en los diferentes criterios y subcriterios de forma simultánea3 De forma pragmática, permiten interpretar el comportamiento de la institución, recogiendo y agrupando las AM detectadas en la autoevaluación, incrementando las posibilidades de actuación para el desarrollo de los planes de mejora que fuesen precisos.
En el ámbito de la Comunidad de Madrid, la Dirección General de Calidad, Acreditación, Evaluación e Inspección (DGCAE) de la Consejería de Sanidad y Consumo, definió su modelo de calidad, tomando como referencia el modelo EFQM de excelencia4. En los contratos de gestión (2006/07) con las respectivas gerencias de Atención Primaria (AP) y Atención Especializada (AE) se incluyó como objetivo de calidad el «[…] realizar una autoevaluación de acuerdo al modelo de calidad del Sistema Sanitario madrileño» y «[…] elaborar planes de mejora para áreas priorizadas en la autoevaluación». El propio modelo de calidad hace una explícita referencia a «[…] identificar las áreas de mejora comunes a los distintos centros sanitarios […] dichas áreas podrían estar clasificadas en torno a los ejes transversales del modelo, que impactan en más de un subcriterio».
La aplicación del modelo EFQM en estructuras sanitarias públicas en Europa tiene una solidez contrastada, siendo en la actualidad el modelo de gestión de calidad preferentemente adoptado por las administraciones sanitarias5–9. No obstante, el recurso de los EETT todavía requiere una mayor experiencia en este campo para estimar sus ventajas y limitaciones de forma práctica.
El objetivo de este estudio fue analizar la aplicabilidad y grado de utilización de los EETT del modelo EFQM en la autoevaluación de las organizaciones de servicios en una comunidad autónoma, y describir el resultado de la autoevaluación EFQM para el conjunto del sistema sanitario público (SSP).
MétodoEl trabajo se desarrolló de forma estructurada en dos etapas:
- 1)
Análisis de la autoevaluación EFQM del sistema sanitario. Todo el proceso tuvo la responsabilidad institucional de la DGCAE, mediante un grupo de trabajo evaluador formado por 2 coordinadores de calidad (AP y AE) y 2 técnicos de la DGCAE. Se utilizó el 100% de todos los informes de autoevaluación remitidos por AP y AE, y posteriormente se procedió al análisis cuantitativo de la distribución de puntos fuertes (PF) y AM, segmentando por nivel asistencial y centro sanitario, y agrupándose finalmente en función de los criterios EFQM y los propios EETT. Se realizó un análisis cualitativo de las AM identificando las categorías por afinidad de contenidos que responderían a cada EETT planteado en el Modelo, segmentando toda la información por eje transversal, nivel asistencial y centro sanitario.
- 2)
Análisis de los limitantes metodológicos para la aplicación de los EETT en el sistema sanitario (tabla 1). Se diferenciaron tres líneas de trabajo específicas: a) análisis causa efecto (ACE) sobre la dificultad de uso de los EETT; b) análisis DAFO (debilidades, amenazas, fortalezas y oportunidades) de los EETT como estrategia, y c) valoración cualitativa de la aplicabilidad de los EETT en el ámbito sanitario.
Tabla 1.Metodología: análisis de los ejes transversales del modelo EFQM
Análisis causa efecto de la dificultad de aplicación de los ejes transversales en las áreas de mejora Análisis DAFO de los ejes transversales como estrategia de uso Análisis cualitativo de la aplicabilidad de los ejes transversales en el ámbito del sistema sanitario Diagrama causa efecto o espina de Ishikawa Método DAFO: debilidades, amenazas, fortalezas y oportunidades Encuesta sobre la utilidad de los ejes transversales Grupo evaluador en la subdirección general calidad Grupo evaluador+subdirección general calidad Grupo de expertos en EFQM Fuente: elaboración propia.
Para el ACE y el método DAFO se recurrió al grupo evaluador constituido en la primera fase, incluyendo en el mismo a un miembro de la DGCAE.
En el ACE, se identificaron las causas principales y posibles causas secundarias en cada rama, tomando como propuesta de análisis el problema de la «dificultad de aplicación de los EETT del Modelo EFQM para el análisis de las autoevaluaciones del sistema sanitario».
Con el análisis DAFO se identifican los factores internos y externos de la organización que afecten de forma negativa (D-A) y positiva (F-O) a la efectividad del servicio o proceso. Consecuentemente, debieran plantearse las estrategias susceptibles de intervención, cruzando los factores de análisis, para visualizar el potencial mapa de actuaciones y enfocar la estrategia futura del proyecto. Toda la información, tanto para los factores de análisis como para las estrategias de cruce secundarias, fue clasificada por orden relativo y ponderación para establecer la jerarquía correspondiente.
De forma específica, se diseñó una encuesta para valorar la percepción de un grupo de expertos en el modelo EFQM sobre la potencial utilidad de los EETT en los procedimientos de autoevaluación del sistema sanitario (fig. 2). Los expertos debían tener experiencia relevante en EFQM, con responsabilidad técnica y/o directiva en las instituciones sanitarias o universitarias, participar de estructuras oficiales de autoevaluación del modelo EFQM y con diferente adscripción geográfica del estado español. La encuesta semiestructurada y anónima, comprendía diferentes ítems que abordaban las características de uso de los EETT, estimación de las potenciales utilidades y limitaciones, y una revisión de la relación de categorías agrupadas en cada eje transversal.
Resultados
Para cada etapa mencionada, los resultados fueron los siguientes:
- A)
Aplicación del modelo EFQM
a.1) Por criterios del Modelo:
El 84% de gerencias de AP y AE de la Comunidad de Madrid (32/37) realizaron la autoevalución EFQM, llegando hasta la fase de priorización de las AM y la definición de planes de acción específicos en un 94% (30/32) (tabla 2).
Tabla 2.Desarrollo de la autoevaluación EFQM
Proceso de autoevaluación EFQM N.o total de gerencias No iniciado En desarrollo Realizado Con Priorización Con Planes de acción Atención Primaria* 12 0 1 11 10 10 Atención Especializada** 25 2 2 21 20 20 Total 37 2 3 32 30 30 Fuente: elaboración propia. Adaptado del informe de resultados del modelo de autoevaluación y mejora. DGCAE.
Para el conjunto de organizaciones del SSP se describen un total de 3.543 PF, observando el mayor registro en los criterios facilitadores, con un ligero predominio del criterio 4 (16,2% del total) sobre el resto (tabla 3). La información desagregada por nivel asistencial muestra que en AE los criterios agentes alcanzan el 70,1% del total de PF, superando el criterio 4 (alianzas y recursos) el 15%. En AP se mantiene la relevancia del conjunto de los criterios agentes, excepto en el caso del criterio 2 (política y estrategia) en favor del criterio 9 (10,7%), destacando igualmente como en AE el criterio 4 (18%) sobre el resto. Por otro lado, el menor registro tanto en el conjunto del sistema sanitario como en AE se centra en el criterio 7 (resultados en personas), mientras que en AP es el criterio 8 (resultados en sociedad) el de menor apunte. La lectura aislada del global de los criterios resultados muestra que el criterio 9 (resultados clave) suma el principal registro en ambos niveles asistenciales y en el conjunto del sistema sanitario (fig. 3).
Tabla 3.Detección de puntos fuertes
Áreas Atención Primaria/ SUMMA 112 Hospitales Atención Especializada Total Sistema Sanitario % Número % Número % Número Liderazgo 14,9 208 15,08 324 15,0 532 Política y estrategia 9,2 129 11,54 248 10,6 377 Personas 13,4 188 15,08 324 14,4 512 Alianzas y recursos 17,9 250 15,17 326 16,2 576 Procesos 12,7 178 13,31 286 13,1 464 Resultados en clientes 7,4 104 8,66 186 8,1 290 Resultados en personas 6,9 97 5,21 112 5,9 209 Resultados en la sociedad 6,4 90 7,07 152 6,8 242 Resultados clave 10,7 150 8,89 191 9,6 341 Total 100 1.394 100 2.149 100 3.543 Fuente: elaboración propia. Adaptado del informe de resultados del modelo de autoevaluación y mejora. DGCAE.
Respecto de las AM, se describen un total de 3.573 AM para el conjunto del sistema, siendo el patrón de registro similar al perfil ofrecido en los PF (tabla 4). En AP se sitúan de forma preferente los cinco criterios agentes (67,8%) mientras que en AE y el conjunto del sistema, son los criterios 1–5 y 9 los más registrados (68%). Atendiendo a los criterios de menor registro, en AP el criterio con un menor apunte resulta el criterio 8, mientras que en AE y el sistema sanitario en su conjunto corresponde al criterio 7 (fig. 4).
Tabla 4.Detección de áreas de mejora
Áreas Atención Primaria/SUMMA 112 Hospitales Atención Especializada Total Sistema Sanitario % Número % Número % Número Liderazgo 12,9 190 11,3 238 11,9 428 Política y estrategia 11,0 163 9,6 202 10,2 365 Personas 14,4 212 14,3 301 14,3 513 Alianzas y recursos 16,7 247 16,7 351 16,7 598 Procesos 12,6 186 15,5 327 14,3 513 Resultados en clientes 7,7 114 8,7 183 8,3 297 Resultados en personas 8,0 119 5,0 106 6,3 225 Resultados en la sociedad 5,7 84 7,9 167 7,0 251 Resultados clave 10,6 157 10,7 226 10,7 383 Total 100 1.472 100 2.101 100 3.573 Fuente: elaboración propia. Adaptado del informe de resultados del modelo de autoevaluación y mejora. DGCAE.
a.2) Por EETT del modelo:
El grupo de trabajo, mediante técnica cualitativa por afinidad de contenidos, clasificó el 100% de las AM detectadas (3.572) para el SSP en 95 categorías de análisis en el seno de los 11 EETT del modelo EFQM 2003, obteniéndose mediante agrupación por similitud de las características mencionadas de las AM señaladas por los diferentes centros sanitarios, respetando el mismo método y criterios para ambos niveles asistenciales.
Los datos globales por EETT para las AM detectadas (tabla 5), reflejan el predominio de las categorías vinculadas a los ejes de gestión de la organización, personas, clientes, proceso y comunicación, sumando cinco ejes un 72% del total de AM señaladas por los centros sanitarios. Por el contrario, los ejes referidos al conocimiento, creatividad/innovación, responsabilidad social, alianzas, entorno y sostenibilidad suman el 28% restante. Como compromiso del contrato de gestión, los centros sanitarios debían plantear una relación de planes de acción sobre las AM priorizadas. En concreto los EETT de comunicación, gestión de la organización, personas, procesos y clientes, suponen un 83,3% del total de AM priorizadas, alcanzando con tan solo la comunicación y la gestión de la organización el 43,1% de las propuestas de los centros.
Tabla 5.Distribución de las áreas de mejora según ejes transversales del modelo EFQM
Total Sistema Sanitario (Atención Primaria y Especializada) Ejes transversales Áreas de mejora detectadas (%) Áreas de mejora priorizadas (%) Ejes transversales Gestión de la organización 19,9 22,6 Comunicación Personas 18,0 20,5 Gestión organización Clientes 12,2 14,7 Personas Procesos 11,3 14,7 Procesos Comunicación 10,7 10,8 Clientes Sostenibilidad 7,5 6,8 Entorno Entorno 6,6 3,2 Alianzas Alianzas 5,1 2,6 Sostenibilidad Responsabilidad social 3,8 1,8 Creatividad/innovación Creatividad/innovación 2,6 1,6 Responsabilidad social Conocimiento 2,3 0,5 Conocimiento Fuente: elaboración propia. Adaptado del informe de resultados del modelo de autoevaluación y mejora. DGCA.
Por otro lado, se obtiene una extensa relación de AM descritas para el conjunto del sistema sanitario y con segmentación por nivel asistencial. La descripción de las AM más utilizadas en el conjunto del sistema sanitario respondió a las categorías de: a) desarrollo de estrategias de comunicación interna ascendente y descendente, b) planificación estratégica, y c) desarrollo, revisión y mejora del cuadro de mando y los sistemas de información
- B)
Análisis de los EETT como metodología de trabajo
b.1) Análisis causal:
Estimando como problema la dificultad de implantación de los EETT en la autoevaluación EFQM en el sistema sanitario, se identificaron las causas derivadas de la innovación de la utilización de la herramienta y su propuesta inicial como formato evaluador (fig. 5), así como la falta de experiencia en la aplicación del modelo, el desconocimiento de las utilidades específicas de los EETT, los condicionantes en cultura de calidad y liderazgo de la organización, las estrategias formativas e informativas precisas para su despliegue, la potencial carga de trabajo al aplicarse de forma simultánea con otros formatos de evaluación, la carencia de soportes informatizados, y específicamente en estas primeras experiencias, los potenciales limitantes de validez y reproducibilidad de las categorías seleccionadas.
b.2) Análisis DAFO:
Teniendo en cuenta la información que derivaba de cada factor de análisis, como estrategias de supervivencia (cruce debilidades-amenazas) fueron sugeridas líneas de acción sobre la normativa de aplicación del modelo, fortaleciendo la competencia de los evaluadores y profundizando en la revisión y validación de la propuesta vigente. En el caso de las estrategias de reorientación (cruce debilidades-oportunidades) sería recomendable atender a liderazgos compartidos, utilizando figuras clave de la organización o alianzas institucionales además de la revisión de los formatos utilizados en la autoevaluación. Las potenciales estrategias defensivas (cruce fortalezas-amenazas) inciden en el carácter de norma de la autoevaluación y los condicionantes formativos orientados tanto hacia los evaluadores como al conjunto de la organización como ventaja competitiva de la cultura de calidad. Las estrategias ofensivas (cruce fortalezas-oportunidades) promueven la utilización de los EETT en sucesivas autoevaluaciones del sistema incorporándose más detalladamente en el seguimiento de los planes de acción y mejora de las gerencias (fig. 6)
b.3) Encuesta:
Existió consenso para los diferentes ítems de la encuesta (fig. 5), destacando las afirmaciones de la potencial utilidad y aplicabilidad de los EETT para la agrupación y síntesis de las AM, la constatación por parte de los expertos encuestados de la carencia de experiencias similares en nuestro entorno publicadas o conocidas con la suficiente madurez que sirvan de aprendizaje, y que potencialmente suponían, como valor añadido, la aportación de una visión complementaria a la autoevaluación clásica según los criterios EFQM. Por otro lado, existían dificultades como la heterogeneidad en la interpretación y aplicación del modelo mediante EETT, ya fuera por los criterios utilizados en este estudio (agrupación de categorías por afinidad, potencial riesgo de confusión y/o interpretación de algunos ítems), la variabilidad interevaluador en el proceso, como al necesario desarrollo de criterios de comprensión y aplicabilidad para su utilización más práctica por parte de las organizaciones que se evalúan.
Este trabajo se centra en la aplicación del modelo EFQM en el en el conjunto de las organizaciones del SSP de la Comunidad de Madrid, tanto de AP como de AE, a partir de sus informes de autoevaluación. Aporta las características de los centros sobre los potenciales PF y AM registrados, tanto por criterios como por EETT. Si bien los EETT se formulan explícitamente por el modelo EFQM desde 2003 y algunas organizaciones pueden haber incorporado su uso desde entonces, no hemos encontrado referencias en la literatura sobre el uso de EETT que permitan compartir su conocimiento, por lo que consideramos oportuno en nuestro caso analizar la utilización de los mismos.
La utilización del modelo EFQM ha alcanzado un elevado despliegue, tanto para la fase de evaluación como para las consecutivas etapas de priorización y delimitación de los planes de acción. La identificación de PF y AM prácticamente centran su énfasis sobre los criterios agentes, ya sea para el conjunto del sistema sanitario como de forma segmentada por cada nivel asistencial10. Esto traduce una valoración positiva, al facilitar un abordaje muy pragmático debido al alto volumen de información utilizado, y permite un diagnóstico del conjunto de la organización sanitaria11.
Así mismo, el conjunto del proyecto y el extenso proceso autoevaluador se caracteriza por la riqueza de dicha información sobre los PF y AM identificados en todos los centros sanitarios y objetivar el diferente desarrollo institucional de los planes de acción propuestos. De tal modo, una adecuada comunicación y difusión de los resultados permite avanzar de una manera más homogénea en el conjunto del sistema, compartiendo las experiencias y conocimientos aplicados como potencial herramienta de benchmarking.
Sin duda, también adolece de ciertas limitaciones ya que los resultados derivan de las técnicas y formato de trabajo diseñados al efecto, requiriendo cautela al sugerir la extrapolación de sus conclusiones a otros entornos. Por otro lado, si bien se encuentra identificada la relación de EETT del modelo, no puede decirse lo mismo del contenido y alcance de cada EETT en la práctica, siendo una cuestión todavía no resuelta en la literatura. Por ello nos encontramos en las primeras etapas de su potencial aplicabilidad y este trabajo pretende incidir en dicha consideración. La relación de categorías y códigos de análisis utilizados para interpretar los EETT en este trabajo ha supuesto un exhaustivo ejercicio de síntesis a partir del total de informes de autoevaluación del SSP. Con seguridad, en posteriores acercamientos al uso de los EETT se podrá ir delimitando más estrechamente el marco de trabajo de cada EETT dentro del modelo.
Ciertamente de la información obtenida, las AM con mayor citación en el conjunto del sistema sanitario responden a las categorías de comunicación interna ascendente y descendente, planificación estratégica, así como el diseño y despliegue de los cuadros de mando y sistemas de información disponibles, además de las limitaciones en la aplicación y medición de los resultados clave en organizaciones de servicios sanitarios. Los resultados por EETT reflejan de modo similar, el predominio de los ejes de gestión de la organización, personas, clientes, proceso y comunicación, centrándose la priorización sobre la comunicación y la gestión de la organización para el conjunto del sistema. Esto debe sugerirnos la reflexión de las verdaderas necesidades en el entorno de trabajo de los profesionales y centros sanitarios, y por tanto las actuaciones prioritarias que son realmente demandadas.
Asumiendo el problema de la utilización de los EETT para el análisis de las autoevaluaciones del sistema sanitario, se han objetivado un número de causas coherentes con la bisoñez de la utilización de la herramienta, los condicionantes en cultura de calidad y liderazgo de la organización y de modo más específico para esa intervención los atributos de validez y reproducibilidad de las categorías seleccionadas como objeto de análisis. El análisis estratégico mediante el DAFO resulta especialmente atractivo en cuanto a que considera la perspectiva actual y sugiere determinadas estrategias de intervención al cruzar los factores internos y externos. Si la utilización de los EETT termina siendo una característica de las autoevaluaciones EFQM en nuestro ámbito, no es menos importante anticipar qué factores pueden ser más interesantes para hacer efectiva su implantación. Este análisis DAFO resume las condiciones vigentes de nuestro entorno sanitario, lo que no debe considerarse como norma para otros ámbitos que precisan de su correspondiente adaptación.
Resultaba de especial importancia, la valoración cualitativa de los expertos sobre las características y continuidad de los EETT en las autoevaluaciones. Existe un apreciable consenso para la mayoría de ítems de la encuesta, y se subrayan las dudas razonables sobre la complejidad de la herramienta y la verdadera efectividad de su aplicación. Sin duda, una mayor experiencia con los EETT determinaría otras consideraciones, pero en este momento permite aproximarse a las percepciones que sugiere su aplicación, no en vano cualquier sistema y técnica requiere de personas, que en definitiva son el verdadero capital del éxito de cualquier intervención.
En conclusión, la autoevaluación mediante el modelo EFQM, aplicando los EETT como herramienta de lectura horizontal, precisa de una mayor capacitación de los evaluadores y del propio sistema para utilizar los EETT de forma apropiada, observándose en el momento actual, una expectativa favorable ya que sistematiza las acciones correctoras que inciden con mayor certidumbre en diferentes criterios y subcriterios simultáneamente del modelo EFQM.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
Especialmente al grupo de expertos, sin cuya amplia experiencia y conocimiento no hubiese sido posible obtener la profundidad de este trabajo: Andoni Arcelay Salazar, Alberto Fernández León, Marbella García Urbaneja, José María Mena Mateo, José Joaquín Mira Solves, Fernando Palacio Lapuente, Alberto Rodríguez Balo, Pedro Ruiz López, Paz Sánchez Aznar.
