Analizar las reclamaciones de un área de atención primaria mediante técnicas de control estadístico de procesos, y compararlas con técnicas multivariables en cuanto a sus resultados y su factibilidad de aplicación en este medio.
Material y métodoEstudio descriptivo con análisis agregado de las reclamaciones administrativas. Período del estudio: reclamaciones recibidas desde enero de 2005 a agosto de 2008. Fuente de datos: la Unidad de Gestión de Usuarios de la Gerencia de Atención Primaria Área 3, Servicio Madrileño de Salud registra las reclamaciones en el programa Itrack, utilizado en toda la Comunidad de Madrid. Mediciones principales: número total de reclamaciones, reclamaciones por motivo y por equipo de atención primaria, número de consultas totales (incluye consultas a demanda, concertadas y domicilio) y consultas por EAP, mes y año. Análisis estadístico: aplicación de técnicas multivariables y gráficos de control.
ResultadosSerie temporal de 44 meses con una mediana de 76 reclamaciones/mes, una tendencia incremental en los primeros 3 años y descensos durante el verano. La regresión de Poisson permite detectar un exceso de reclamaciones en 8 de los 44 meses de la serie. El gráfico de control identifica los mismos puntos y 2 adicionales.
ConclusionesEl control estadístico de procesos puede resultar útil para detectar excesos de reclamaciones en un área de salud y comparar entre unidades asistenciales. Su fácil aplicación permite realizar una monitorización continua de la calidad percibida por los usuarios.
To analyze patient complaints in a Primary Health Care District (PHCD) using statistical process control methods compared to multivariate methods, as regards their results and feasibility of application in this context.
Material and methodDescriptive study based on an aggregate analysis of administrative complaints. Setting: Complaints received between January 2005 and August 2008 in the Customer Management Department in the 3rd PHCD Management Office, Madrid Health Services. Complaints are registered through Itrack, a computer software tool used throughout the whole Community of Madrid. Main variables: Total number of complaints, complaints sorted by Reason and Primary Health Care Team (PHCT), total number of patient visits (including visits on demand, appointment visits and home visits) and visits by PHCT and per month and year. Statistical analysis: Multivariate analysis and control charts were used.
Results44-month time series with a mean of 76 complaints per month, an increasing trend in the first three years and decreasing during summer months. Poisson regression detected an excess of complaints in 8 out of the 44 months in the series. The control chart detected the same 8 months plus two additional ones.
ConclusionsStatistical process control can be useful for detecting an excess of complaints in a PHCD and enables comparisons to be made between different PHC teams. As it is a simple technique, it can be used for ongoing monitoring of customer perceived quality.
El plan estratégico de las organizaciones sanitarias debe estar centrado en la satisfacción del usuario. La orientación al cliente es uno de los aspectos fundamentales del modelo de excelencia EFQM (European Foundation for Quality Management), y la valoración de su opinión es básica para la gestión de la calidad total. En este sentido, las unidades de atención al paciente se crean para facilitar la participación directa del usuario a través del circuito de reclamaciones, quejas y sugerencias1, lo que permite analizar las expectativas y necesidades no cubiertas de la población atendida.
Es bien conocido que las reclamaciones suponen una forma parcial de aproximación a la opinión de los usuarios2. Sin embargo, proporcionan una información complementaria3,4 y tienen la ventaja de contener información de fácil acceso que queda registrada por escrito5, lo que permite un análisis retrospectivo de los datos. Habitualmente se excluyen las reclamaciones patrimoniales, y se analizan únicamente las de tipo administrativo.
Las reclamaciones permiten conocer el impacto que los cambios estructurales y organizativos tienen en los usuarios6. El Plan de Calidad del Sistema Nacional de Salud (SNS) destaca la utilidad de analizar las reclamaciones para detectar oportunidades de mejora e impulsar cambios en la organización. Para ello son fundamentales la evaluación y la comunicación interna de resultados7.
En los últimos años se observa un incremento de reclamaciones tanto en el SNS7 como en las comunidades autónomas, con un análisis de reclamaciones suficientemente detallado8,9. Aproximadamente un tercio corresponde a atención primaria (AP), con características diferentes de las de atención especializada (AE), que recibe mayor número y por distintos motivos principales (lista de espera en AE y desacuerdo con la organización y las normas en AP)7-10.
Un aspecto clave en la mejora continua es la medida, el análisis y la interpretación de la variación en los procesos11. El fenómeno de las reclamaciones, como la mayoría de los procesos, tiene una cierta "variabilidad natural" que es inherente a él. Junto con ella, hay una variabilidad "no natural", explicada por causas especiales, como cambios en los responsables, en el personal técnico, cambios en los usuarios o alteraciones de otro tipo. Relacionado con estos conceptos está el de "control estadístico", que se refiere a la estabilidad y la previsibilidad de un proceso a lo largo del tiempo, así como el concepto de "fuera de control" referido a una variabilidad "no natural"12. Habitualmente es difícil determinar de manera intuitiva si la variabilidad observada en un proceso puede considerarse "natural", por lo que puede ser interesante fijar unos límites objetivos, llamados "límites de control", a modo de umbrales de alerta.
En este contexto, el control estadístico de procesos ofrece un conjunto de herramientas estadísticas para establecer estos mecanismos de alerta. Éstas complementan los métodos tradicionales con la información de la evolución del proceso en el tiempo12, lo que ayuda a identificar de manera objetiva las áreas que se beneficiarían de una mayor atención13. Los gráficos de control han sido una de las primeras herramientas utilizadas en el control de calidad y mejora de procesos12,13.
Las herramientas estadísticas habituales para detectar una variabilidad fuera de lo normal en procesos que dependen de una multitud de factores pasarían por la construcción de modelos multivariables. Sin embargo, ésta es una herramienta técnicamente compleja y, por experiencia, en este contexto, es poco habitual su uso.
El objetivo de este estudio es analizar las reclamaciones de un área de atención primaria mediante técnicas de control estadístico de procesos, y compararlas con técnicas multivariables en cuanto a sus resultados y su factibilidad de aplicación en este medio.
Material y métodosDiseño: estudio descriptivo con análisis agregado de las reclamaciones administrativas.
Periodo del estudio: reclamaciones recibidas desde enero de 2005 a agosto de 2008.
Emplazamiento: Atención Primaria del Área 3, Servicio Madrileño de Salud.
Fuente de datos: la Unidad de Gestión de Usuarios de la Gerencia registra las reclamaciones en el programa Itrack, utilizado en toda la Comunidad de Madrid.
Se construyó una base de datos utilizando como registros cada uno de los meses de la serie temporal. Las variables registradas mensualmente fueron: número total de reclamaciones, reclamaciones por motivo y por equipo de atención primaria (EAP), número de consultas totales (incluye consultas a demanda, concertadas y domicilio) y consultas por EAP, mes y año.
Análisis estadísticoAnálisis multivariable: tras un análisis univariable con la prueba de Kruskal-Wallis en caso de variable politómica (motivo, EAP, año y meses) y rho de Spearman en variables continuas (número de consultas en el mismo mes y en el mes anterior), se estimó la tendencia de la serie y se calculó un modelo de Poisson explicativo, donde la variable dependiente fue el número de reclamaciones mensual, y las variables explicativas se seleccionaron en función del test de razón de verosimilitud (LRT), con ajuste por tendencia y periodicidad. Se calculó el IRR (incidence rate ratio) como medida de asociación o de riesgo de que se registren reclamaciones. Para comprobar el ajuste del modelo se calcularon los residuos de Pearson, con ajuste final por términos autorregresivos14 y cálculo del límite superior de confianza del 95% del modelo (son los límites fijados para cada punto del modelo, a partir de los cuales consideramos que el número de reclamaciones es significativamente mayor de lo esperado).
Análisis mediante gráficos de control: dado que el resultado reclamación o no de cada consulta es un evento dicotómico y que el número de observaciones puede cambiar durante el seguimiento, el tipo de gráfico de control más apropiado es el tipo p (plot sample fraction)13. Se analizó la tasa de reclamaciones por total de consultas de cada mes, y se construyeron gráficos estabilizados que representan las unidades de desviaciones estándar (DE) de la tasa mensual, con lo que se elimina la variabilidad en los límites, que se representan como una línea recta.
En cuanto al análisis de los motivos de reclamación, la selección de los motivos más frecuentes se realizó con el método de Pareto aplicado a los últimos 12 meses. Se calcularon los gráficos de control p estabilizados para cada motivo seleccionado. Se construyeron también gráficos de control para cada EAP. En ellos se identifican las variaciones relevantes según las siguientes reglas: superación de umbrales de aviso (> 2 DE) o de control (> 3 DE), desplazamientos (más de 7 puntos consecutivos por encima/debajo de la media), y diferencias extremas (definidas por nosotros como > 5 DE respecto a la media)13.
La comparación de reclamaciones en el último año entre EAP se realizó por medio de un gráfico de embudo. Se trata de un gráfico de control que se utiliza para analizar datos transversales.
Para el análisis de datos se utilizó el paquete estadístico Stata 9.1, y una hoja de cálculo Excel desarrollada por Information Services Division del National Services Scotland13.
ResultadosLa serie temporal consta de 44 meses, con un total de 3.744 reclamaciones. La distribución de reclamaciones mensuales se diferencia significativamente de una normal (p = 0,014), con una mediana de 76 (rango intercuartílico, 60-108) y una media ± DE de 86 ± 33 reclamaciones/mes. El número de reclamaciones muestra diferencias por año (Kruskal-Wallis, p = 0,008) y por mes (p = 0,058). En la figura 1 se aprecia una tendencia incremental en los primeros 3 años, con descensos importantes en el número de reclamaciones durante los meses de verano.
Las consultas realizadas desde enero de 2005 a agosto de 2008 fueron 11.356.465, de las que 2.083.505 corresponden a los primeros 8 meses de 2008, con una media mensual de 258.102 ± 31.308 consultas. La distribución no se diferencia significativamente de una normal (p = 0,26). No se aprecian diferencias entre años (p = 0,88), aunque sí entre meses (p = 0,001).
Hay una asociación (p = 0,6; p < 0,0001) entre las reclamaciones mensuales y las consultas del mismo mes, pero no del mes anterior p = 0,18; p = 0,25). La razón de reclamaciones por cada 10.000 consultas es 3,3 en la serie completa: 2,6 en 2005, 3,2 en 2006 y 4 en 2007.
Análisis multivariableCon la regresión de Poisson se analizó la asociación entre las reclamaciones mensuales, las del mes anterior y el número de consultas el mismo mes, y añadimos un ajuste por tendencia y estacionalidad. Se eliminaron las variables no significativas para la verosimilitud del modelo (periodicidades menores de 1 año) y se obtuvo un modelo globalmente significativo (p < 0,001) que explica un 52% de la variabilidad, e indica un cambio en IRR del 5,8% por cada 10.000 consultas en el mismo mes (intervalo de confianza [IC] del 95%, 4,5-7,2; p < 0,001) y del 0,3% por cada reclamación el mes anterior (IC del 95%, 0,10,4; p < 0,001). El análisis de los residuos de Pearson indica un buen ajuste del modelo. La regresión de Poisson permite detectar un número de reclamaciones por encima del límite de confianza en 8 de los 44 meses de la serie.
Análisis mediante gráficos de controlEn los gráficos de control p estabilizados se representa la tasa mensual de reclamaciones por consulta, con límites calculados según la DE de cada punto (fig. 2). Se consideran significativas las observaciones por encima de la línea de 3 DE, y cercanas al límite las superiores a 2 DE. El gráfico de control identifica 10 meses con incremento de reclamaciones: 9 significativos (> 3 DE) y uno cercano al límite (> 2 DE). No hay pérdida de sensibilidad respecto a la regresión de Poisson (detecta los mismos puntos) y, además, permite identificar 2 puntos adicionales.
En abscisas figura el mes de la serie temporal (total, 44 meses) y en ordenadas, la desviación desde la media en unidades de desviación estándar (llamados valores estabilizados). Los límites de significación (líneas horizontales superior e inferior) están fijados en 3 desviaciones por encima o por debajo de la media de la serie. Gráfico de control p estabilizado de las reclamaciones registradas cada mes en el Área 3 de Atención Primaria entre 2005 y agosto de 2008.
El gráfico de Pareto (fig. 3) de los últimos 12 meses permite seleccionar 9 motivos, que suponen el 84,4% de las reclamaciones en el Área 3. Para cada motivo de los seleccionados se genera un gráfico de control p. Los resultados de las observaciones en estos gráficos por motivo de reclamación se resumen en la figura 4. Para el análisis de cada EAP se utilizó un procedimiento similar (fig. 5).
En sombreado figuran las series de más de 7 meses consecutivos por encima de la media. En la última columna figura la razón de reclamaciones por cada 10.000 consultas de cada equipo. Resumen de las observaciones en los gráficos de control p de cada equipo (entre 2006 y agosto de 2008).
Para realizar un análisis comparativo de la tasa de reclamaciones entre los distintos EAP, se utiliza un gráfico de embudo (fig. 6). Se observa que en los últimos 12 meses hay 5 EAP que presentan una razón de reclamaciones significativamente mayor que los demás (EAP 12, 13, 16, 18, y especialmente el 14), y 4 claramente menor que el resto (EAP 1, 6, 9 y 10).
En abscisas figura el total anual de consultas de cada EAP y en ordenadas su razón de reclamaciones/consulta. Cada punto representa un EAP. Se considera que la razón de reclamaciones es significativamente alta si el punto se encuentra por encima de la línea superior (límite superior de control) y significativamente baja si el punto está por debajo de la línea inferior (límite inferior de control). Reclamaciones por equipos de atención primaria (EAP): gráfico de embudo con los datos de los últimos 12 meses.
Las reclamaciones de la serie presentada siguen una tendencia ascendente. Esto coincide con lo observado en atención primaria en otras comunidades autónomas8-10, y tiene relación con un aumento de la exigencia de los usuarios, además de una mejor información sobre las reclamaciones y la confianza en su utilidad7.
Los motivos principales son similares a los descritos en el SNS para atención primaria, aunque destaca un volumen muy inferior de reclamaciones por trato personal (segundo motivo más importante en el SNS y octavo en el Área 3) (fig. 3). Esto es importante al ser las variables de relación paciente-profesional sanitario determinantes en la opinión del usuario15.
El análisis multivariable permitió clasificar 8 de los 44 meses de la serie como fuera de control. El análisis mediante gráficos de control identificó 2 puntos de alerta adicionales. Asimismo, permitió detectar 5 EAP que recibieron significativamente más reclamaciones de lo esperable y los momentos en que cada uno de ellos superó los umbrales de alerta. También esta metodología permitió detectar motivos fuera de control en determinados puntos en el tiempo.
Al igual que en otros estudios, los límites de control en los gráficos p se han fijado en 3 DE por encima de la media. Esto permite minimizar el número de falsos positivos13, por lo que se mantiene una buena sensibilidad a los cambios sin generar una cantidad excesiva de falsas alarmas. Para incrementar la sensibilidad pueden tomarse en consideración los puntos próximos a las 3 DE y las series de puntos consecutivos por encima de la media16. Con todo ello, se consigue una sensibilidad igual o mayor que en el análisis multivariable, sin un incremento excesivo de alertas.
La metodología de los gráficos de control requiere un número mínimo de consultas mensuales, que es mayor cuanto menor es la razón de reclamaciones. Estas condiciones no se cumplen bien en EAP pequeños y en motivos infrecuentes17. Debido a esta limitación, no se ha llevado a cabo el análisis de submotivos que, aunque podría incrementar la información obtenida, generaría un número excesivo de subgrupos y nos proporcionaría una información poco operativa.
El Plan de Calidad del SNS recalca la importancia de la evaluación interna, la identificación de puntos de mejora y las actividades divulgativas y de comunicación, con la necesidad de establecer protocolos para estas actividades en las unidades de atención al paciente. Los gráficos de control resultan una herramienta útil en este sentido.
Se trata de técnicas que pueden utilizarse para la comparación transversal de unidades asistenciales o instituciones, el análisis continuo de datos longitudinales y el rediseño de procesos17. Su estructura permite tanto un análisis por separado de cada factor como la representación de los resultados combinados en matrices para facilitar la detección de patrones y tendencias18. La selección del tipo de gráfico permite hacer ajustes por el grado de actividad en distintos momentos y EAP, lo que facilita y hace más precisa la interpretación al tener en cuenta la influencia de los cambios estacionales u organizativos y la carga asistencial.
Sus ventajas son la facilidad de aplicación e interpretación, una base estadística válida y rigurosa y la posibilidad de utilizar herramientas gráficas que agilizan extraordinariamente el análisis de datos16. Esto facilita la comunicación de resultados a los profesionales y los directivos y el análisis de los cambios en el momento en que se producen.
Los gráficos de control indican que muchos de los incrementos extremos de reclamaciones van precedidos de valores fuera de control o por encima de 2 DE, por lo que un análisis mensual podría anticipar los efectos de un cambio y permitiría emprender acciones para minimizar sus efectos en la calidad percibida por los usuarios.
Sin embargo, el control estadístico de procesos nos muestra situaciones de alerta, pero no nos habla de las causas subyacentes. Para completar el conocimiento del fenómeno en el ámbito de la gestión sanitaria, este tipo de análisis debe complementarse con una investigación de dichas causas. Por ejemplo, se observa entre octubre y diciembre de 2007 un incremento muy significativo de las reclamaciones por recursos humanos que, si se analiza su contenido, se debe fundamentalmente a la reorganización de facultativos a consecuencia de una oferta pública de empleo extraordinaria. En marzo y abril de 2008, se observa un incremento significativo de las reclamaciones por suspensión de actos asistenciales, debido a huelgas intermitentes de los facultativos. Un último ejemplo es la variación importante que se observa en el gráfico de control del EAP 14 a partir de septiembre de 2007 que, muy posiblemente, se relaciona con un cambio en la dirección de dicho EAP.
El control estadístico de procesos aplicado al análisis de reclamaciones en un área de salud puede resultar útil para realizar una identificación rápida y eficiente de posibles fallos, detectar excesos de reclamaciones y comparar entre unidades asistenciales. Los resultados gráficos que ofrece este conjunto de técnicas son de fácil interpretación para los profesionales y su fácil aplicación permite realizar una monitorización continua de la calidad percibida por los usuarios.
AgradecimientosAl Departamento de Informática y Sistemas de Información del Área 3, especialmente a Lourdes Fernández Rincón por el tratamiento de los datos de actividad asistencial.
