Objective. To identify the strong and weak points of Palmer's Quality Method as it applies to Primary Care (PC), and determine the areas of quality assurance to which it is most suited.
Design. Delphi Study.
Setting. Primary Care-related professionals, homogeneously distributed throughout the different autonomous communities.
Participants. 52 assurance experts selected on the basis of their publications, and from lists provided by well known, prestigious experts.
Method. Each expert was first contacted by phone to request participation in the study. The first questionnaire that was sent asked the participants to respond to the following questions: «Which are, in your judgement, the positive aspects (strong points) and negative aspects (weak points) of Palmer's Quality Method with regard to PC?» and «In which quality assurance area do you think its use is most effective?»
Results. Respondents to the first questionnaire (35 experts) listed 125 strong points, 111 weak points and 52 areas. After similar responses were grouped together, the resulting totals were 67 strong points, 40 weak points and 11 areas. The second questionnaire was rated by 32 experts. The third questionnaire was then created using the 7 highest-scoring answers, including the average score and scoring variance for each question. Thirty-one experts responded. Ultimately, 8 strong points, 7 weak points and 7 areas of quality assurance were obtained.
Conclusions. Palmer's method continues to be useful in quality assurance work in PC. We believe that this study can serve to facilitate its use and suggest those situations where its use is most effective.
Objetivo. Identificar los puntos fuertes y débiles de la metodología de calidad de Palmer aplicada en atención primaria (AP) y determinar las dimensiones de la calidad en las que su uso es más recomendado.
Diseño. Estudio Delphi.
Emplazamiento. Profesionales vinculados a AP distribuidos homogéneamente por las distintas comunidades autónomas.
Participantes. 52 expertos en calidad seleccionados a través de bibliografía y de listados proporcionados por expertos de reconocido prestigio.
Intervenciones. Se solicitó la colaboración de cada experto telefónicamente. En el primer envío se les pidió que respondieran a las preguntas: «¿cuáles son, a tu juicio, los aspectos positivos (fuertes) y cuáles los negativos (débiles) de la metodología para evaluación y mejora de la calidad descrita por Palmer en su utilización en AP?X» y «¿en cuál de las dimensiones consideras que su utilización está más aconsejada?»
Resultados. Del primer cuestionario (contestado por 35 expertos) se obtuvieron 125 puntos fuertes, 111 puntos débiles y 52 dimensiones, que se reagruparon según la semejanza de sus enunciados, resultando 67 puntos fuertes, 40 puntos débiles y 11 dimensiones. El segundo cuestionario fue priorizado por 32 expertos. Con las 7 respuestas más puntuadas se elaboró el tercer cuestionario, adjuntándose puntuación media y grado de desacuerdo de éstas. Fue respondido por 31 expertos. Finalmente se obtuvieron 8 puntos fuertes, 7 débiles y 7 dimensiones.
Conclusiones. La metodología de Palmer sigue siendo útil para el trabajo en calidad en AP. Creemos que este estudio puede servir para facilitar su práctica y sugerir sus mejores indicaciones de uso.
Introducción
Uno de los objetivos actuales en la prestación de servicios sanitarios es la búsqueda de la calidad asistencial, a lo que contribuyen una serie de motivos éticos, de seguridad y eficiencia1, junto con un interés social creciente. Esto se refleja en diversas normativas legales, tanto regionales (Plan de Salud Andaluz) como nacionales (Constitución y Ley General de Sanidad) e internacionales (OMS, CEE, etc.).
En España ha tenido gran desarrollo la metodología de Palmer2 dentro de la atención primaria (AP), al ser impulsada desde el Ministerio de Sanidad y Consumo dentro del marco del Programa Ibérico3. Esta metodología se basa en la detección y priorización de problemas, establecimiento de criterios, análisis causal, información al equipo e implantación de soluciones. Aunque es sencilla, práctica y muy difundida, su realización exige bastante tiempo y se observa que no siempre elimina la causa fundamental, no soluciona el problema de calidad origen del estudio, no estimula nuevas mejoras ni aumenta el compromiso de los implicados y no resuelve las actitudes negativas hacia la calidad de algunos profesionales4-7. Para solventar estas situaciones han ido surgiendo posteriormente nuevas metodologías de mejora continua de calidad8-14, con la consiguiente confusión en su uso entre las personas que desean trabajar en calidad asistencial. Por otra parte, no está unánimemente aceptado entre todos los autores cuándo se debe emplear cada una de ellas.
Por todo ello, para facilitar y mejorar el uso de la metodología de Palmer en AP, nos proponemos en este trabajo identificar sus puntos fuertes y débiles y priorizar las dimensiones de la calidad en las que ésta se recomienda.
Material y métodos
Se realizó un estudio Delphi15,16 de ámbito nacional entre los meses de noviembre de 1996 y septiembre de 1997. Para el desarrollo de la técnica seguimos las recomendaciones de los autores consultados16-18, divididos en: selección de expertos, fase de generación de ideas y clasificación y análisis reflexivo de las mismas hasta conseguir un consenso, que requirió 3 cuestionarios enviados por correo de forma secuencial.
Se consideró experto a aquella persona que hubiera trabajado con la metodología de Palmer en AP, sin excluir el que hubiese utilizado otras metodologías. Los expertos fueron seleccionados a partir de un listado proporcionado por personas clave de reconocido prestigio y distintas tendencias en calidad asistencial, así como otros profesionales conocidos por sus publicaciones y por los propios investigadores. El total de expertos censados (126) se distribuyó homogéneamente según comunidades autónomas y provincias en grupos de 10 personas. Telefónicamente, 5 investigadores distintos intentaban localizar a cada experto y, tras explicarle el proyecto, se le pedía su colaboración. Se consideró motivo de no participación el expreso deseo del entrevistado y la imposibilidad de localizarlo tras 5 llamadas. En tal caso se dirigía al grupo de reserva. Se seleccionaron 50 expertos. Luego fueron invitados a participar 2 miembros por su reconocido prestigio internacional. El resultado final fue de 52 expertos, número fijado incluso superior a lo citado en la bibliografía consultada16-18. Las características del grupo inicial de los participantes se presentan en la tabla 1.
Para la fase de generación de ideas, en el primer envío se les pidió que respondieran a las preguntas: «¿cuáles son, a tu juicio, los aspectos positivos (fuertes) y cuáles los negativos (débiles) de la metodología para evaluación y mejora de la calidad descrita por Palmer en su utilización en AP?» y «¿en cuál de las dimensiones consideras que su utilización está más aconsejada?». Las respuestas emitidas por los expertos fueron reagrupadas en función de la semejanza de sus enunciados, mediante consenso entre los miembros del grupo de análisis, constituyendo el contenido del segundo cuestionario.
En este segundo cuestionario se incluía el resultado del análisis del envío previo y el número de veces que cada respuesta había sido mencionada. Además, se solicitaba que expresaran su grado de acuerdo desde 0 (desacuerdo) a 10 (máximo acuerdo), para clasificar así los 7 ítems más importantes. Recibido éste, se calculó la puntuación media obtenida por cada uno de los ítems, determinándose también la frecuencia de desacuerdo de cada uno (número de veces que habían recibido la puntuación 0).
En el tercer cuestionario se les envió un listado con las 7 respuestas más votadas, adjuntándose la puntuación media y el grado de desacuerdo para una última reconsideración y calificación definitiva.
En cada envío, además de las preguntas específicas del estudio, se les recordaba el objeto y la metodología de la investigación y se les facilitaba instrucciones pertinentes. Se acompañó un sobre franqueado para la contestación y se realizó un recordatorio postal y/o telefónico unos días después de cada envío. Los resultados finales se les enviaron a los participantes una vez finalizado el estudio.
Resultados
El primer cuestionario fue contestado por 35 expertos. En las respuestas se contabilizaron 125 puntos fuertes de la metodología de Palmer, 111 puntos débiles y 52 dimensiones de utilización.
Se reagruparon aquellos enunciados con el mismo significado según el acuerdo unánime de todos los investigadores, resultando 67 puntos fuertes 40 puntos débiles y 11 dimensiones de utilización.
Los datos resultantes fueron transcritos literalmente indicándose el número de veces que habían sido expuestos. Si una idea había sido agrupada, se explicitaban aquellos matices que enriquecieran la misma.
El segundo cuestionario fue contestado por 32 expertos, y se solicitó su grado de acuerdo-desacuerdo puntuado de 0 a 10. Con las 7 respuestas más puntuadas se elaboró el tercer cuestionario (8 con los puntos fuertes por existir empate en la puntuación de los 2 últimos), solicitando una segunda priorización de éstas. Respondieron 31 expertos. Los puntos fuertes priorizados se exponen en la tabla 2, los puntos débiles en la tabla 3 y las dimensiones en la tabla 4.
En la tabla 5 se describe a los expertos que contestaron el primer cuestionario. En la tabla 6 se recogen las respuestas de éstos a las preguntas «¿en qué has empleado la metodología de Palmer?» y «¿con qué otras metodologías has trabajado?»
Discusión
Actualmente hay distintas metodologías para estudiar y mejorar la calidad asistencial y distintas perspectivas que tienen la misma definición de calidad asistencial según los elementos implicados. Por ello nos parece importante identificar los puntos fuertes y débiles de la metodología de Palmer, así como las principales indicaciones de uso entre expertos de calidad de AP que hubieran usado esta técnica independiente de su uso actual. Dado que se estudian hechos y conceptos subjetivos, poco conocidos, variables según las creencias de los individuos participantes, este trabajo reunía los criterios de uso de una metodología cualitativa18. No obstante, hemos de reconocer los sesgos que presenta clasificados en19,20:
1. De la propia técnica, pues al usar una técnica de consenso como la nuestra, los resultados obtenidos dependen de la visión personal que los participantes tienen sobre ese problema, eliminándose otros posibles resultados quizá más frecuentes, relevantes o realistas. Por otro lado, está el hecho de que los individuos que usan más esta metodología dan mayor valor a sus aspectos positivos y negativos que los que no la usan. Para controlar este hecho, recogimos el perfil del experto intentando explicar los factores distorsionantes (tabla 1, 5 y 6).
2. De selección a la hora de escoger los expertos. Somos conscientes de que hay diferentes escuelas y tendencias en los abordajes de la calidad, por lo que asumiendo la inexistencia en la actualidad de un registro de personas que usan las distintas metodologías, ni del grado de conocimientos que tienen sobre la metodología de Palmer, asumimos considerar como población de expertos aquellas personas citadas en nuestro «Material y métodos». En la selección final han podido faltar expertos utilizadores en la actualidad de otras técnicas, estar más representados los que utilizan el ciclo, interesados, etc.
3. Recogida de datos, análisis y clasificación. Somos conscientes de que la forma de realizar la pregunta puede provocar grandes diferencias entre los entrevistados y reducir la comparabilidad de las respuestas, que se hubiera evitado pilotando la pregunta previamente. Además, a esta técnica se le achaca como limitación la posibilidad de manipulación de los datos por parte de los investigadores, especialmente a la hora de agrupación de ideas similares y de clasificación. Esto lo hemos intentado evitar mediante la unificación de ideas conjunta entre 2 investigadores, llegando a la agrupación sólo en los casos en que hubiera habido idéntica palabra o concepto. Posteriormente se presentaban al resto de los investigadores, quienes estudiaban todas las clasificaciones resultantes. Además, todas las ideas y comentarios o sugerencias se devolvieron a los expertos. Por otro lado, nos encontramos una proporción de respuestas del 59,6%. Las pérdidas hacen que desconozcamos el verdadero perfil de uso, pues puede ocurrir que el que no lo use sea más proclive a destacar ciertos aspectos negativos. Esta pérdida de respuestas no invalida el resultado del estudio, ya que según cita la técnica Delphi el número de participantes puede oscilar en 10-40 cuando se trata de grupos homogéneos, ya que un mayor número de participantes repiten las ideas. En otros estudios las pérdidas oscilan en el 60-90%20,21.
4. De confusión. Relacionado con otras variables, como la no valoración del grado de experiencia y uso que tenían sobre esta y otras metodologías de calidad.
Al ser un estudio cualitativo, se hace más énfasis en generar hipótesis que en generalizar los hallazgos17,18, por lo que la generalización (validez externa) estaría determinada por el contexto particular de la propia investigación, de los participantes y de los investigadores. No obstante, creemos que nuestro estudio es aplicable, dado que la técnica usada ha sido entre profesionales de AP, conocedores de la realidad de trabajo habitual en el ámbito de la AP. Por otro lado, la consistencia del trabajo se obtiene al comprobar cómo en diferentes estudios se obtienen resultados similares a los nuestros utilizando técnicas distintas.
Aunque hay descritas numerosas auditorías con esta metodología, no hemos encontrado estudios similares al nuestro en la bibliografía para compararnos. No obstante, sí hemos hallado descritas multitud de limitaciones, tanto conceptuales como metodológicas, a esta metodología22,23, distintos elementos del profesional24 que favorecen y dificultan el desarrollo de actividades de calidad, elementos de índole organizativa que influyen en su desarrollo como planes de mejora24,25, compromiso de los directivos1,6,7 y demás profesionales6,23-26. Otros autores comentan además que, aunque existen mejoras con los métodos de audit, requieren ser complementadas con otros métodos de evaluación de la calidad27, o bien las distintas formas que existen para medir la competencia profesional28. Además, esta metodología es una forma de medir y entender el concepto de calidad, entendida la calidad de un producto o servicio concreto, pero además existen otros métodos complementarios a ésta que se han usado para la mejora continua de calidad que parten de otros enfoques25.
Aun así, es indiscutible la amplia difusión de esta metodología en España y otros países, entre distintos profesionales26 y diferentes servicios29 para diversos procesos de atención29-32 que apoya el hecho de que esta metodología, bien estructurada y fácil de aplicar, fácil de aprender y de entender, es factible en AP.
Además, son varios los autores que coinciden en la necesidad de estudiar y aplicar las medidas correctoras para la mejora26,27,33, proceso no siempre realizado, por lo que han surgido diferentes técnicas y herramientas de calidad de ayuda.
Las conclusiones teóricas de nuestro estudio son que el ciclo de Palmer sigue siendo útil para el trabajo en calidad en AP, al igual que lo son otras metodologías. Destacamos la detección de puntos fuertes para que esta herramienta pueda ser aplicada en estas circunstancias, y los débiles, para evitar su uso cuando se den algunos de éstos, es decir cuando esté indicado o no el ciclo. Por tanto, creemos que el estudio resulta útil para conocer mejor la metodología de Palmer, facilitar su práctica a aquellos profesionales que desean usarla y sugerir sus mejores indicaciones de uso.
Sobre la base del estudio, en investigaciones posteriores, se puede comprobar si cuantitativamente se presentan estos resultados en la práctica, así como identificar aquellos otros elementos que mejoren la exactitud y eficacia de esta metodología, tanto a nivel de profesionales, de problemas y de características de centros en donde estaría mejor usada.
Otro campo a investigar sería la realización de estudios similares al nuestro con otras metodologías para acotar las indicaciones de las mismas.
Agradecimientos
Este trabajo ha sido realizado con la colaboración de la semFYC que, en el Congreso Internacional de Medicina Familiar y Comunitaria celebrado en Granada, otorgó a nuestro proyecto el Segundo Accésit de los VII Premios de Investigación 1996. Queremos agradecer a todos los expertos participantes en nuestro estudio su colaboración para la realización del mismo, con mención especial a Pedro Saturno, Roser Marquet y Jon Letona.
