Evaluar las características métricas del índice Primary Care Assessment Tool de 10 ítems, para adultos (PCAT-A10), versión en castellano y catalán, reducida del original Primary Care Assessment Tool-Adult Edition (PCAT-AE), habiendo modificado el ítem de salud mental.
DiseñoEstudio observacional transversal.
EmplazamientoPoblación residente en la ciudad de Barcelona.
ParticipantesDe los 3.496 participantes mayores de 14 años de la muestra aleatoria representativa de la población de Barcelona, de la Encuesta de Salud de Barcelona 2016-17, se seleccionaron los que declararon tener un médico/a de cabecera, que alguna vez en la vida habían realizado una visita a algún especialista y que habían contestado más del 50% de ítems del PCAT-A10 (n=3.107).
Mediciones principalesDescriptiva de los ítems, análisis de consistencia interna y de correlación ítem-total corregida del índice PCAT-A10 modificado y los 10 ítems que lo conforman. Se analizan tres escenarios de tratamiento de las no respuestas: sustitución por 0, por el valor intermedio (2,5) y excluyendo las personas que no contestaron algún ítem.
ResultadosEl índice PCAT-A10 obtuvo alfa de Cronbach de 0,73, 0,79 y 0,85 en los tres escenarios nombrados, correlaciones ítem-total corregida entre 0,41 y 0,66, y 20,8% de no respuesta al ítem de salud mental.
ConclusionesLa nueva versión del PCAT-A10 presenta una alta fiabilidad con una mayor respuesta en el ítem de salud mental respecto a la versión anterior.
To evaluate the measurement characteristics of the Spanish and Catalan versions of the 10-Item Primary Care Assessment Tool for adults (PCAT-A10), shortened from the original Primary Care Assessment Tool (PCAT), with a new mental health item.
DesignCross-sectional observational study.
LocationThe city of Barcelona.
ParticipantsOf the 3,496 people over 14 years of age from the representative random sample of the Barcelona population, from the 2016-17 Barcelona Health Survey, those who declared they had a family doctor, and had visited a specialist at some time in their lives, and had answered more than 50% of PCAT-A10 items were selected (n=3,107).
Main measurementsItem descriptive analysis, analysis of internal consistency, corrected item – total correlation, of the PCAT-A10 index and the 10 items that make it up. Three scenarios for non-response to treatment were analysed: substitution by 0, by the intermediate value, and excluding people who did not answer any item.
ResultsThe PCAT-A10 index obtained Cronbach alphas of 0.73, 0.79, and 0.85 in the three mentioned scenarios, correlation item total corrected between 0.41 and 0.66, and 20.8% non-responses to the mental health item.
ConclusionsThe new version of PCAT-A10 has a high reliability with a higher response in the mental health item compared to the previous version.
Los cuestionarios Primary Care Assesment Tools (PCAT) permiten valorar los atributos de la atención primaria de la salud (APS): servicios accesibles y utilizados como primer contacto con el sistema de salud; atención continuada y global; coordinación con otros niveles del sistema sanitario; enfoque familiar y comunitario, competencia cultural1. Dispone versiones dirigidas a personas usuarias, profesionales y gestoras, adaptadas a diferentes sistemas de salud y utilizadas en decenas de países2–4 permitiendo comparaciones internacionales5. La versión original de PCAT para adultos tiene 74 ítems la versión extensa y 43 la corta6.
En 2006 surgió la oportunidad de incluir algunos ítems para evaluar la APS en la Encuesta de Salud de Cataluña (ESCA), que revela el estado de salud y la utilización de servicios sanitarios de la población con un amplio número de preguntas, pero espacio limitado para temas específicos. Entonces, se seleccionaron ítems de la versión para adultos de PCAT4 y se creó una versión para el cuestionario de mayores de 14 años, el PCAT-A10, con una selección de 10 ítems: 4 de primer contacto, 3 de continuidad, uno de coordinación, uno de globalidad y uno de competencia cultural6. Su aplicación7 confirmó su utilidad para la valoración de los servicios de APS en Cataluña, pero la pregunta sobre disponibilidad de servicios de salud mental tuvo un alto porcentaje de no respuesta (48,9%) y deficiente contribución a la consistencia interna6.
Para la Encuesta de Salud de Barcelona de 2016 (ESB2016) se revisó ese ítem, tomando como referencia una versión breve generada en Brasil8,9, que pregunta por la posibilidad de consejo y no de servicio. El enunciado cambió de «¿Su centro dispone de un servicio de asesoramiento para problemas de salud mental?» a «¿En su centro de salud puede ser aconsejado sobre problemas de salud mental (por ejemplo, ansiedad o depresión)?». El objetivo del trabajo fue evaluar las características métricas del PCAT-A10 modificado incluyendo el nuevo ítem.
MétodosLa fuente de información fue la ESB2016, de diseño observacional transversal, realizada entre abril de 2016 y marzo de 2017 mediante entrevista en el hogar, a una muestra representativa de personas residentes en la ciudad de Barcelona, no institucionalizadas (metodología disponible en web)10. A las 3.496 personas de la muestra mayores de 14 años, a quienes se preguntaban los ítems del PCAT-A10, se aplicaron los criterios de inclusión: que afirmaran tener un médico/a de cabecera o centro al que acostumbra a ir cuando está enfermo/a o necesita consejo sobre su salud, que hubieran visitado a un médico/a especialista alguna vez en la vida, y que hubieran contestado opciones diferentes a «no lo sé» en 6 ítems o más. La muestra de estudio fue de 3.107 personas (ver esquema del estudio).
Las respuestas eran en escala Likert: 1 «No, en absoluto», 2 «Es probable que no», 3 «Es probable que sí», y 4 «Sí, sin duda», y la opción «No lo sé», para la que se utilizaron tres métodos de sustitución: descritos en la literatura: (i) sustituyendo con el valor más bajo posible (0)11,12, suponiendo una mayor probabilidad de percepción de no disponibilidad; (ii) asignando el valor neutral o medio de la escala (2,5)13,14 y (iii) asignando el valor como perdido, que reduce el tamaño de la muestra a 1.343. La última opción es utilizada para verificar si alguna de las estrategias de imputación afecta la calidad psicométrica del instrumento.
El análisis efectuado consistió en realizar, para cada forma de sustitución: 1) descriptiva de los ítems: media (m) y desviación estándar (DE); 2) análisis de fiabilidad: análisis de consistencia interna por medio del alfa de Cronbach (α) y sus intervalos de confianza al 95% (IC 95%), basados en la técnica de bootstrap, con 400 imputaciones15; 3) análisis del poder discriminatorio de cada ítem, a través del cálculo de correlación ítem-total corregido, que mide la correlación entre un determinado elemento y el total, sin considerar el ítem en evaluación, considerando aceptables los valores superiores a 0,30; 4) alfa de Cronbach del instrumento excluyendo cada uno de los ítems; 5) adecuación de la muestra al análisis factorial (Kaiser-Meyer-Olkin [KMO]); 6) análisis factorial exploratorio. Complementariamente, se calcularon los porcentajes de cada categoría de respuesta para cada uno de los 10 ítems que forman parte del índice PCAT-A10. Se calculó el intervalo de confianza con un nivel de significación de α=0,05, para la prevalencia que se presenta.
Dado que el muestreo de la ESB2016 fue estratificado y aproporcional10, para los estimadores de medidas de tendencia central y dispersión, y para las proporciones, se aplicaron los pesos correspondientes.
Todos los análisis fueron realizados con el programa estadístico STATA versión 13.
Resultados
El 75,6% (IC 95%: 74,1% - 77,1%) de personas reconoce a su centro de atención primaria como puerta de entrada a los servicios de salud, contestando que sí, sin duda, irían allí cuando tuvieran un problema de salud nuevo (tabla 1). Los ítems con más respuestas «no lo sé» fueron los 3 referentes a la atención telefónica, seguidos del ítem de salud mental (tabla 2).
Porcentajes de respuesta a las categorías de los ítems del índice PCAT-A10, sus intervalos de confianza del 95%, y valor del índice para las tres opciones de tratamiento de la respuesta «No lo sé», en la muestra de estudio
| 0No lo sabe | 1No, en absoluto | 2Es probable que no | 3Es probable que sí | 4Sí, sin duda | |
|---|---|---|---|---|---|
| Primer contacto | |||||
| 1. Cuando tiene usted un nuevo problema de salud, ¿va a su médico/a o centro antes de ir a otro sitio? | 0,3 | 2,2 | 5,0 | 17,0 | 75,6 |
| 2. Cuando su centro está abierto y se pone usted enfermo/a ¿le visita alguien de allí el mismo día? | 4,9 | 2,8 | 4,8 | 17,8 | 69,7 |
| 3. Cuando su centro está abierto, ¿pueden aconsejarle rápidamente por teléfono si es preciso? | 28,2 | 5,6 | 3,5 | 21,8 | 40,8 |
| 4. Cuando su centro está cerrado, ¿hay algún número de teléfono al que pueda llamar si se pone enfermo/a? | 19,6 | 6,6 | 1,20 | 17,0 | 55,6 |
| Continuidad de la atención | |||||
| 5. Cuando va a su centro, ¿le atiende siempre el mismo médico/a o enfermero/a? | 2,6 | 3,9 | 5,7 | 20,2 | 67,6 |
| 6. Si tiene alguna pregunta, ¿puede usted hablar por teléfono con el médico/a o enfermero/a que le conoce mejor? | 33,1 | 9,1 | 3,8 | 17,8 | 36,2 |
| 7.¿Sabe su médico/a qué problemas son más importantes para usted? | 4,0 | 5,3 | 5,3 | 17,2 | 68,2 |
| Coordinación de la atención | |||||
| 8. Después de acudir al especialista, ¿su médico/a habla habitualmente con usted sobre cómo ha ido la visita? | 7,8 | 12,4 | 5,6 | 16,3 | 57,8 |
| Globalidad de la atención | |||||
| 9. En su centro de salud, ¿puede ser aconsejado sobre problemas de salud mental (por ejemplo ansiedad, depresión)? | 20,8 | 4,4 | 2,4 | 25,6 | 46,8 |
| Competencia cultural | |||||
| 10.¿Recomendaría su médico/a o centro a un amigo o familiar? | 8,5 | 4,5 | 3,9 | 17,6 | 65,5 |
Análisis de los ítems del PCAT-A10 para las diferentes opciones utilizadas para reemplazar la falta de respuesta (sustituir por 2,5 o por cero)
| Ítems por dimensiones | No sabe=2,5 | No sabe=0 | No sabe=perdidos | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| % | M | DE | Correlación ítem-total | α | M | DE | Correlación ítem-total | α | M | DE | Correlación ítem-total | α | |
| Primer contacto | |||||||||||||
| 1. Cuando tiene usted un nuevo problema de salud, ¿va a su médico/a o centro antes de ir a otro sitio? | 0,3 | 3,66 | 0,67 | 0,50 | 0,78 | 3,65 | 0,70 | 0,41 | 0,73 | 3,66 | 0,67 | 0,55 | 0,85 |
| 2. Cuando su centro está abierto y se pone usted enfermo/a ¿le visita alguien de allí el mismo día? | 4,9 | 3,57 | 0,74 | 0,49 | 0,79 | 3,45 | 1,05 | 0,41 | 0,73 | 3,62 | 0,71 | 0,59 | 0,84 |
| 3. Cuando su centro está abierto, ¿pueden aconsejarle rápidamente por teléfono si es preciso? | 28,2 | 3,12 | 0,85 | 0,63 | 0,77 | 2,41 | 1,70 | 0,64 | 0,70 | 3,36 | 0,89 | 0,74 | 0,83 |
| 4. Cuando su centro está cerrado, ¿hay algún número de teléfono al que pueda llamar si se pone enfermo/a? | 19,6 | 3,31 | 0,88 | 0,54 | 0,78 | 2,82 | 1,60 | 0,56 | 0,72 | 3,51 | 0,88 | 0,66 | 0,84 |
| Continuidad de la atención | |||||||||||||
| 5. Cuando va a su centro, ¿le atiende siempre el mismo médico/a o enfermero/a? | 2,6 | 3,53 | 0,79 | 0,57 | 0,78 | 3,46 | 0,95 | 0,47 | 0,72 | 3,55 | 0,78 | 0,62 | 0,84 |
| 6. Si tiene alguna pregunta, ¿puede usted hablar por teléfono con el médico/a o enfermero/a que le conoce mejor? | 33,1 | 2,98 | 0,92 | 0,64 | 0,77 | 2,15 | 1,74 | 0,66 | 0,70 | 3,21 | 1,05 | 0,73 | 0,83 |
| 7.¿Sabe su médico/a qué problemas son más importantes para usted? | 4,0 | 3,50 | 0,84 | 0,65 | 0,77 | 3,40 | 1,07 | 0,57 | 0,71 | 3,54 | 0,83 | 0,69 | 0,84 |
| Coordinación de la atención | |||||||||||||
| 8. Después de acudir al especialista, ¿su médico/a habla habitualmente con usted sobre cómo ha ido la visita? | 7,8 | 3,23 | 1,05 | 0,66 | 0,77 | 3,04 | 1,35 | 0,59 | 0,70 | 3,29 | 1,07 | 0,67 | 0,84 |
| Globalidad de la atención | |||||||||||||
| 9. En su centro de salud, ¿puede ser aconsejado sobre problemas de salud mental (por ejemplo ansiedad, depresión)? | 20,8 | 3,25 | 0,81 | 0,61 | 0,77 | 2,72 | 1,56 | 0,57 | 0,71 | 3,45 | 0,80 | 0,68 | 0,84 |
| Competencia cultural | |||||||||||||
| 10.¿Recomendaría su médico/a o centro a un amigo o familiar? | 8,5 | 3,48 | 0,81 | 0,60 | 0,77 | 3,27 | 1,25 | 0,54 | 0,71 | 3,57 | 0,79 | 0,64 | 0,84 |
| Alpha global | 0,79 | 0,73 | 0,85 | ||||||||||
| IC 95% | 0,78-0,81 | 0,72-0,75 | 0,83-0,87 | ||||||||||
La tabla describe las medias (M), la desviación estándar (DE), la correlación ítem-total corregido y el valor del alpha (α) de Cronbach si el ítem fuera excluido.
Las medias más elevadas –sustituyendo el «no lo sé» por 2,5– las presentaron los ítems relacionados con buscar su centro o médico/a frente a un nuevo problema de salud (m=3,66; DE=0,67), la persona es atendida en el mismo día (m=3,57; DE=0,74) y siempre por el mismo profesional (m=3,53; DE=0,79). Los dos ítems con medias más bajas fueron sobre atención telefónica: poder hablar con el profesional que le conoce mejor (m=2,98; DE=0,92) y la posibilidad de recibir consejo rápidamente por teléfono (m=3,12; DE=0,85). En la sustitución por cero, todas las medias disminuyeron, especialmente las de los ítems de atención telefónica y el de salud mental. Por el contrario, las medias aumentaron al excluir del análisis aquellas personas que no contestaron alguno de los 10 ítems, sobre todo en los ítems de atención telefónica y de salud mental (tabla 2).
Al excluir del análisis aquellas personas que no contestaron algún ítem, la escala, de manera global, presenta un α de Cronbach de 0,85 (IC95% 0,83-0,87). La correlación entre los ítems de la escala varía entre un 0,55 y 0,74.
En las otras dos opciones de tratamiento de la no respuesta, el α de Cronbach es de 0,79 (IC95% 0,78-0,81) y las correlaciones entre los ítems de 0,49 a 0,66 en la sustitución por 2,5, y para la sustitución por 0, el α de Cronbach es de 0,73 (IC95% 0,72-0,75) y el rango de correlaciones es de 0,41 a 0,66. En las tres opciones de sustitución, ningún ítem, en caso de ser excluido, provocaría un aumento del α de Cronbach de la escala. La variancia explicada de los ítems en un factor sin rotar está entre el 54,2% y 69%, según tipo de sustitución, con cargas superiores a 0,30 en todos los ítems (tabla 3).
Índice Kaiser-Meyer-Olkin (KMO) de adecuación de la muestra al análisis factorial exploratorio, porcentaje de varianza explicada por un factor y carga factorial de cada ítem en un factor, en los tres escenarios de tratamiento de las respuestas «No lo sé»
| No sabe=2,5 | No sabe=0 | No sabe=perdidos | |
|---|---|---|---|
| Índice KMO | 0,83 | 0,78 | 0,88 |
| % variancia explicada por un factor | 62,9 | 54,2 | 69,0 |
| Carga factorial de cada ítem en un factor | |||
| 1. Cuando tiene usted un nuevo problema de salud, ¿va a su médico/a o centro antes de ir a otro sitio? | 0,46 | 0,42 | 0,52 |
| 2. Cuando su centro está abierto y se pone usted enfermo/a ¿le visita alguien de allí el mismo día? | 0,42 | 0,34 | 0,54 |
| 3. Cuando su centro está abierto, ¿pueden aconsejarle rápidamente por teléfono si es preciso? | 0,60 | 0,54 | 0,73 |
| 4. Cuando su centro está cerrado, ¿hay algún número de teléfono al que pueda llamar si se pone enfermo/a? | 0,46 | 0,42 | 0,61 |
| 5. Cuando va a su centro, ¿le atiende siempre el mismo médico/a o enfermero/a? | 0,51 | 0,47 | 0,59 |
| 6. Si tiene alguna pregunta, ¿puede usted hablar por teléfono con el médico/a o enfermero/a que le conoce mejor? | 0,60 | 0,55 | 0,71 |
| 7.¿Sabe su médico/a qué problemas son más importantes para usted? | 0,66 | 0,64 | 0,68 |
| 8. Después de acudir al especialista, ¿su médico/a habla habitualmente con usted sobre cómo ha ido la visita? | 0,62 | 0,62 | 0,61 |
| 9. En su centro de salud, ¿puede ser aconsejado sobre problemas de salud mental (por ejemplo ansiedad, depresión)? | 0,56 | 0,46 | 0,63 |
| 10.¿Recomendaría su médico/a o centro a un amigo o familiar? | 0,56 | 0,53 | 0,61 |
La nueva versión del PCAT-A10 presenta mejores resultados que la previa6: mayor respuesta en el ítem de salud mental (79,2% frente a 51,1% en 2006) y mejores resultados de fiabilidad (ej.: α de Cronbach superior a la obtenida en la versión anterior, en los tres escenarios, en que fue: 71,4 en la sustitución por 2,5; 0,66 en la sustitución por cero y 74,8 cuando se excluían del análisis las personas con algún ítem «No lo sé»). Los resultados de varianza explicada son similares en la opción 2,5 en 2006 y 2016.
El cambio en la pregunta sobre la disponibilidad «asesoramiento para problemas de salud mental»6 a «si puede recibir consejo sobre problemas de salud mental» disminuyó la no respuesta del 48,9% al 20,8%. Esto puede indicar una mejora en la comprensión del ítem, pero sigue teniendo una alta proporción de no respuesta, lo que apunta la necesidad de revisar o profundizar en la atención de la salud mental en la APS, al igual que con el acceso telefónico. En la primera versión del PCAT-A10, el ítem de salud mental debilitaba la consistencia interna, mientras que en la versión actual todos los ítems tienen altos niveles de correlación entre ellos y la fiabilidad no mejoraría excluyendo algún ítem.
Las 3 opciones de tratamiento de la no respuesta presentan buenas características psicométricas. En diferentes publicaciones sobre el PCAT, los tratamientos de las no respuestas han sido diversos: desde la opción más negativa (0)11,12, la intermedia (2,5)13,14, e incluso la 2, asimilándolo a «probablemente no»16, por este hecho se ha considerado apropiado realizar los análisis con las diferentes opciones. La facilidad de cálculo de las puntuaciones es una fortaleza del PCAT, por lo que las formas de reemplazo son también prácticas en comparación con otras técnicas de imputación, y en este caso, se pueden utilizar una u otra en función del significado que se le atribuya a la no respuesta.
Los mejores resultados psicométricos obtenidos, así como la disminución de la no respuesta en el ítem de salud mental, en comparación con los resultados del estudio anterior6, podrían deberse a la mejora del ítem y a otras causas, como que las muestras de los estudios son algo diferentes: la del 2006 era la ESCA, con población de Cataluña, mientras que la ESB-2016 incluye solo la ciudad de Barcelona; otro factor podría ser que se hayan producido cambios en la APS entre los diferentes años de estudio.
Los motivos de exclusión afectaron más a jóvenes, hombres e inmigrantes de países de renta baja, pero el número total (176) representan solo el 5,4%, por lo que no se considera que afecte a los resultados del estudio (tabla 1del anexo). Comparando el grupo que respondió todos los ítems, con los que contestaron algún «No lo sé», se observan pocas diferencias, y las diferencias estadísticamente significativas, en edad, se consideran poco relevantes (tabla 2 del anexo).
Hay grupos poblacionales que pueden quedar mal representados en muestras poblacionales, lo cual debe tenerse en cuenta a la hora de inferir resultados, pero en este estudio no se pretende estimar parámetros poblacionales y mucho menos inferirlos a subgrupos de población. Sí que hay que tener en cuenta que los estimadores de fiabilidad dependen, en parte, de las muestras en las que se aplican, por lo que es aconsejable que en futuros usos del PCAT-A10, se realicen cálculos de fiabilidad confirmatorios.
Finalmente, como ya se reconocía previamente4, la escala reducida de 10 ítems no permite valorar los diferentes atributos de APS como la versión extensa original o la que se dispone en España para valorar la APS a partir del PCAT que contestan las personas que dirigen los equipos de APS17. En realidad, diversos países han adaptado el PCAT en versiones reducidas; en el caso de Brasil, la versión de 23 ítems9 obtuvo similares características métricas que el PCAT-A10.
Ser un instrumento más corto es también su fortaleza, ya que es más factible de ser utilizado, como sucede en las encuestas de Cataluña18 y Barcelona19,20 desde 2006. Teniendo en cuenta su contenido, el PCAT-A10 es útil en España y en otros países en que la accesibilidad a los servicios, la coordinación entre niveles, la atención en salud mental desde el primer nivel de atención y la competencia cultural sean una prioridad.
Disponer de instrumentos de evaluación de la atención primaria, desde la valoración que realizan las personas potencialmente usuarias como es toda la población residente, es de gran utilidad ya que aporta una mirada diferente a la de los propios servicios y de la población usuaria de los mismos.
Disponer de instrumentos de calidad que permitan un uso sistemático en fuentes de información ya implantadas, como son las encuestas poblacionales, complementa una pieza informativa más a la ya compleja evaluación de servicios.
En 2007 se publicó el instrumento PCAT10-AE para evaluar la AP en las encuestas de salud poblacionales, pero uno de sus ítems, el referido a salud mental, se consideró que podría ser mejorado. En este trabajo se presenta la nueva versión y sus características métricas.
La atención primaria, por la centralidad que debe ocupar en el sistema sanitario, requiere que, entre los instrumentos de evaluación disponibles, exista alguno que recoja la valoración de la población a la que se dirige, y el PCAT-A10 puede ser de mucha utilidad y factible de utilizar.
El PCAT-A10, incluido en encuestas de salud, permite analizar no únicamente cómo se valora la AP, sino también conocer qué factores se asocian a mejor o peor valoración y a partir de ellos, detectar áreas en las que incorporar mejoras.
Este trabajo ha sido parcialmente financiado por el CIBER de Epidemiología y Salud Pública
Conflicto de interesesLas autoras declaran no tener ningún conflicto de intereses.
