La percepción que los ciudadanos tienen de los servicios públicos es hoy en día uno de los elementos clave para garantizar su aceptabilidad1. Por eso, en los últimos 25 años han proliferado instrumentos de evaluación de la calidad de los servicios que incorporan a sus procedimientos la perspectiva de los ciudadanos. El modelo de evaluación de la calidad del servicio SERVQUAL es, quizás, el más conocido internacionalmente y se ha aplicado a todo tipo de servicios2, incluidos los sanitarios3,4,5,6. En el mundo sanitario el desarrollo de instrumentos que exploran la perspectiva de los usuarios ha sido especialmente intenso7. Sin embargo, se ha señalado su desigual calidad, validez, fiabilidad o consistencia y, por tanto, se ha insistido en la dificultad para comparar sus resultados8. Por eso, en el siglo xxi ha surgido la necesidad de desarrollar nuevas herramientas. En Estados Unidos ha sido la AHRQ (Agency for Healthcare Research and Quality ‘Agencia de Calidad del Gobierno’), mediante su programa CAHPS (Consumer Assessment of Healthcare Providers and Systems)9, la primera en hacerlo. En Europa no está esta perspectiva unificada y cada país ha desarrollado sus propios instrumentos, sobre todo para pacientes hospitalizados. Así, Francia10, Finlandia11 o Noruega12,13, por poner 3 ejemplos significativos, están trabajando muy activamente en esta línea. En España también se ha investigado al respecto de acuerdo con las diferentes orientaciones, como la aplicación del SERVQUAL14 o el desarrollo de instrumentos específicos15. Sin embargo, se ha generalizado más el uso de encuestas de tipo sociológico desarrolladas por organismos oficiales. Este es el caso del Barómetro Sanitario del Ministerio de Sanidad y Consumo16 o de las encuestas en las diferentes comunidades autónomas, como, por ejemplo, Andalucía17.

Una experiencia interesante es la del Reino Unido. El programa de desarrollo, implementación y evaluación de las encuestas del NHS (National Health Service ‘Servicio nacional de salud’)18 se ha encomendado a una institución sin ánimo de lucro de origen estadounidense, afincada en Inglaterra desde el año 2000 y con una larga experiencia en este campo: el Picker Institute19. Uno de sus productos es la encuesta de 40 ítems denominada Picker Adult In-patient Questionnaire20. De esta encuesta, el Picker Institute ha seleccionado los 15 ítems que describen de manera esencial las experiencias de los pacientes hospitalizados. Éstos constituyen el Picker Patient Experience Questionnaire-15 (PPE-15), que se diseñó para incluirse sistemáticamente en todas las encuestas del Picker Institute, analizarse de forma específica y comparar sus resultados en los diferentes contextos. El PPE-15 se obtuvo en el marco de una investigación, en la que 62.925 pacientes de 4 países europeos (Reino Unido, Alemania, Suecia y Suiza) y Estados Unidos respondieron cuestionarios que incluían las preguntas del PPE-1521. Este hecho posibilita utilizar el PPE-15 para comparar resultados entre diferentes países. Posteriormente, se ha comprobado que incluir estas 15 preguntas en cuestionarios de diferente extensión no afecta a su validez22.

Parte de las dimensiones que explora el PPE-15 se refieren a la información que reciben los pacientes y sus familias y a las posibilidades que tienen de participar en las decisiones. Esto es lo que se conoce como el proceso de consentimiento informado, a pesar de que lo más frecuente es, por desgracia, reducir éste a la burocracia de la firma de papeles por los pacientes23. En el informe del año 2007 del Picker Institute relativo a las percepciones de los ciudadanos británicos sobre la calidad del NHS, realizado mediante encuestas que incluían el PPE-15, estas cuestiones estaban precisamente entre las peor valoradas24.

En España, la mayoría de las encuestas sobre la percepción de los usuarios sobre los servicios sanitarios contiene preguntas generales sobre información y participación. Es llamativo que en sus resultados este aspecto también aparezca, como en el informe británico, como un área por mejorar, especialmente cuando responden los más jóvenes25,26. Es previsible que en los próximos años estos derechos se conviertan en uno de los principales determinantes de la satisfacción de los ciudadanos27. Por eso, parece necesario contar con herramientas que midan fiablemente estas dimensiones. En este sentido el PPE-15 tiene varias virtualidades. Una es que se ha pensado expresamente para tal fin. Otra es que puede completarse con otras preguntas para ampliar el estudio del fenómeno de la información y la participación. Además, puede incluirse sistemáticamente en otras encuestas sin que su validez se vea afectada. Por último, permite realizar comparaciones internacionales.

El objetivo de este trabajo ha sido realizar la adaptación transcultural y la validación del cuestionario PPE-15 para su uso en español mediante la incorporación de nuevas dimensiones no recogidas por el PPE-15, pero relevantes para pacientes españoles en relación con la información y con la toma de decisiones durante la hospitalización. La identificación de estas nuevas dimensiones se realizó en un trabajo previo28. El presente estudio incorpora estas dimensiones a una nueva versión del cuestionario, del que se evalúa la validez del contenido y sus propiedades psicométricas.

Se trata de un estudio de adaptación transcultural y validación del cuestionario PPE-15. Durante el proceso se añadieron nuevas dimensiones e ítems hasta desarrollar un cuestionario nuevo: el PPE-33.

El problema de los cuestionarios autocumplimentados por correo postal, como es el PPE-15 original, es su elevada tasa de pérdidas. Por esto, se optó por validar la cumplimentación telefónica, que suele tener mejores tasas de respuesta29. La entrevistadora se entrenó para evitar el sesgo de deseabilidad social30 y facilitar la libre expresión de los encuestados.

A todos los participantes se les dio verbalmente información sobre el estudio en el momento de contactar con ellos, telefónicamente o en persona, y se les pidió su consentimiento para participar, que el entrevistador registró. La Comisión de Ética e Investigación del Hospital Virgen de las Nieves de Granada, lugar donde se realizó el estudio, aprobó el proyecto.

El proyecto se desplegó en 4 etapas. Un esquema se recoge en la figura 1.

Figura 1. Esquema de las etapas de adaptación y validación del cuestionario Picker Patient Experience (PPE).

Primera etapa: traducción de la versión original del cuestionario PPE-15. Dos personas bilingües hispanoinglesas tradujeron al español, de forma independiente, la versión inglesa del PPE-15. Se elaboró una primera versión del cuestionario al conjugar las 2 traducciones: el PPE-15 versión 1. Ésta se presentó a 5 expertos en lengua española que evaluaron la corrección gramatical, lingüística y semántica del texto. A partir de sus comentarios, se consensuó el PPE-15 versión 2.

Segunda etapa: validez de contenido. Construcción del cuestionario PPE-33. Esta etapa se dividió, a su vez, en 3 fases.

• En la primera fase se añadieron al cuestionario ítems medidores de dimensiones que, al ser relevantes para los pacientes españoles, no estaban recogidos en el original. El propio grupo investigador identificó estas dimensiones o se identificaron a través de entrevistas semiestructuradas a pacientes a través de un proceso ya descrito en otro lugar28. Con la incorporación de nuevos ítems se obtuvo un cuestionario de 33 preguntas: el PPE-33 versión 1. Para comprobar si esta versión larga producía diferencias respecto de la corta, a 15 pacientes se les administró el PPE-15 versión 2 y a otros 15 pacientes, emparejados por edad, sexo y servicio hospitalario que da el alta, se les administró la versión larga o el PPE-33 versión 1.

• En la segunda fase, 15 expertos juzgaron la idoneidad de los ítems, y se aseguró que cada uno estaba claramente relacionado con la dimensión que pretendía medir y si la redacción era adecuada. La comunicación con ellos fue por correo electrónico. Además, 15 ciudadanos adultos, de diferente sexo y tramos de edad, seleccionados en las salas de espera del hospital evaluaron la comprensibilidad o la dificultad de la interpretación de los ítems del PPE-33 versión 1.

• Por último, se midió la legibilidad gramatical del texto mediante el uso de la fórmula de perspicuidad de Szigriszt31.

Con los resultados se elaboró una nueva versión: el PPE-33 versión 2. Las diferencias entre el PPE-33 versión 1 y el PPE-33 versión 2 fueron pequeñas y sólo exigieron leves ajustes de la expresión lingüística, sin modificación de la estructura del cuestionario ni de sus dimensiones.

Tercera etapa: aceptabilidad y viabilidad del cuestionario PPE-33 versión 2. Esta etapa se desarrolló en 2 fases.

• En la primera fase se realizó una prueba piloto con la administración telefónica del cuestionario PPE-33 versión 2 a un grupo de 15 pacientes adultos a los que se les dio de alta en el hospital tras, al menos, 48 h del ingreso. Esa prueba buscó detectar rechazos y dificultades de comprensión del cuestionario. También se estimó el tiempo necesario para cumplimentarlo telefónicamente.

• En la segunda fase se exploró si la concertación de una cita previa para administrar el cuestionario cambiaba las respuestas. Para esto, 2 grupos de 15 pacientes cumplimentaron telefónicamente el PPE-33 versión 2. A un primer grupo se le administró el cuestionario en la primera llamada (grupo “no avisados”). A un segundo grupo, emparejado según edad, sexo y servicio hospitalario que da el alta con el primero, se le avisó mediante una primera llamada para concertar una cita telefónica posterior según conveniencia del paciente (grupo “avisados”).

Cuarta etapa: evaluación de las propiedades psicométricas: validez de concepto, fiabilidad y consistencia interna. Se realizó un estudio descriptivo transversal con la administración telefónica del PPE-33 versión 2. Los participantes se seleccionaron mediante muestreo aleatorizado sistemático sin reposición de la lista de pacientes adultos que, tras haber estado hospitalizados al menos 48h entre marzo y mayo de 2007, llevaran de alta menos de 31 días. Para identificarlos se solicitó la colaboración de la Subdirección de Sistemas de Información y Nuevas Tecnologías del Hospital. El tamaño muestral se calculó en 385 sujetos para un intervalo de confianza del 95% y un error del 5%. Para valorar la estabilidad temporal o la reproducibilidad, se solicitó a 25 participantes que respondieran el cuestionario en 2 ocasiones separadas por 15 días.

La comparación entre el PPE-15 versión 2 y el PPE-33 versión 1 y la concordancia entre los sujetos “avisados” y “no avisados” se midieron con el índice de Kappa.

Para evaluar la validez del concepto se realizó un análisis factorial de componentes principales para identificar las posibles dimensiones subyacentes en el cuestionario. A continuación se realizó un análisis de correlaciones múltiples estudiando la asociación entre las distintas variables de cada dimensión del cuestionario mediante el coeficiente rho de Spearman. Este análisis tuvo por objeto comprobar la validez convergente y divergente del cuestionario y, al aplicarlo, cabía esperar correlaciones significativas entre los ítems que exploraban una misma dimensión.

Para analizar la estabilidad temporal o la reproducibilidad se realizó el test de McNemar entre las respuestas dadas al cuestionario en 2 ocasiones.

Finalmente, para estimar la fiabilidad del instrumento en su conjunto y de cada una de las dimensiones en estudio se analizó su consistencia interna a través del cálculo del coeficiente alfa de Cronbach.

En todos los análisis estadísticos comparativos las respuestas se dicotomizaron en existencia o no de problema, como lo hicieron los autores del trabajo original de validación del PPE-1520. La opción “Sí problema” indicaba que, según la opinión del paciente, hay algún aspecto de los cuidados de salud que precisa mejora. La opción “No sabe/no contesta” se eliminó en el análisis comparativo por la escasa elección de ésta.

Todos los análisis se realizaron de forma ciega por 2 investigadores distintos que recogieron los datos.

Las traducciones realizadas por expertos bilingües de forma independiente no tuvieron apenas discrepancias entre éstas. El lenguaje claro, conciso y descriptivo de la versión original facilitó la práctica unanimidad entre los traductores. Por este motivo, se decidió no realizar retrotraducción.

La prueba piloto que comparó las respuestas del PPE-15 versión 2 con las del PPE-33 versión 1 a través del índice de Kappa (0,872) mostró un grado de concordancia muy bueno (tabla 1). El grupo de jueces que aseguró la idoneidad del cuestionario estuvo formado por 15 expertos de ambos sexos: médicos (4), psicólogos (4), enfermeras (4) y antropólogos (3). El grupo de 15 ciudadanos que evaluaron la comprensibilidad de los ítems incluyó a 8 mujeres y a 7 varones, pacientes ambulatorios del hospital, con una edad media de 57 años.

Tabla 1. Coeficiente de concordancia Kappa entre el Picker Patient Experience Questionnaire-15 versión 2 y el Picker Patient Experience Questionnaire-33 versión 1, y entre el Picker Patient Experience Questionnaire-33 versión 2 entre los pacientes avisados y no avisados previamente

DE: desviación estándar; IC: intervalo de confianza; PPE: Picker Patient Experience Questionnaire.

a Media del índice de Kappa de todos los ítems.

b Valores para el coeficiente Kappa: <0,20: pobre; de 0,21 a 0,40: regular; de 0,41 a 0,60: moderado; de 0,61 a 0,80: bueno; de 0,81 a 1: muy bueno. Fuente: Altman DG. Practical stadistical for medical research. London: Chapman and Hall;1991. p. 140–1.

La aplicación de la fórmula de perspicuidad de Szigriszt dio un valor de 80, equivalente al rango “muy fácil de leer”.

La administración telefónica a 15 pacientes (8 varones y 7 mujeres, mayores de edad) corrigió leves dificultades de comprensión y aseguró su aceptabilidad. Se estimó en 25min el tiempo de cumplimentación. Para comparar las respuestas entre los sujetos “avisados” y “no avisados”, se entrevistó a 15 pacientes de cada grupo, mayores de edad y que habían estado hospitalizados. La correlación medida con el índice de Kappa resultó ser de 0,801, lo que indica un alto grado de concordancia (tabla 1).

En el estudio transversal participaron 275 pacientes de los 385 seleccionados. Los motivos por los que 110 pacientes no se incluyeron fueron imposibilidad de contacto telefónico (47), hipoacusia (13), fallecimiento (19), rechazo a participar (17), cambio de domicilio (9) y dificultad con el idioma (5). Las características de participantes incluidos y excluidos aparecen en la tabla 2. Entre los pacientes excluidos había más varones y apenas representación del área de obstetricia. La edad media de ambos grupos no se diferenció significativamente.

Tabla 2. Características de los pacientes incluidos y no incluidos en el estudio final

Para medir la estabilidad temporal del cuestionario, éste se respondió en 2 ocasiones por 25 participantes, varones y mujeres en número similar, con representación de las 3 áreas de hospitalización y con edades comprendidas entre los 39 y los 77 años. El PPE-33 versión 2 mostró un alto grado de estabilidad a los 15 días, pues al aplicar el test de McNemar, la diferencia entre las respuestas dadas en los 2 momentos no fue estadísticamente significativa (0,5).

La distribución de las respuestas medida en frecuencia y porcentaje se recoge en la tabla 3. Muy pocos sujetos eligieron como respuesta la opción “No contesta”.

Tabla 3. Respuestas dadas a los 33 ítems del cuestionario Picker Patient Experience (PPE), (n=275)

NS/NC: no sabe/no contesta.

a Para ver el texto de las preguntas, véase el PPE-33 en el anexo 1 .

b Las respuestas se han resumido. Para ver las respuestas literales ver el texto del PPE-33 en el anexo 1 .

Se excluyeron del análisis los ítems 13 y 29, porque eran preguntas llave que sólo exploraban si un determinado suceso se produjo o no.

El análisis factorial permitió que la información que recoge el cuestionario se resumiese en 8 dimensiones (tabla 4). No obstante, los autores decidieron descomponer alguna de estas dimensiones en varias por la diversidad temática de alguno de los ítems correlacionados.

Tabla 4. Análisis factorial de componentes principales para identificar las dimensiones del cuestionario *

* Para ver el texto de las preguntas, véase el anexo 1 .

La correlación entre los ítems que exploran la misma dimensión se estudió con la rho de Spearman-Brown, que dio resultados en general buenos, como se muestra en la tabla 5. Esta tabla informa sobre las dimensiones del PPE-33 definitivo y los ítems que exploran cada una.

Tabla 5. Correlación entre los ítems de cada dimensión *

P: pregunta.

* Para ver el texto de las preguntas, véase el anexo 1 .

El valor del coeficiente alfa de Cronbach para todo el cuestionario es de 0,792, lo que indica una alta consistencia interna. Estos datos no mejoran si se procede a eliminar alguno de los ítems, salvo un ligero aumento al retirar el ítem 15 (tabla 6).

Tabla 6. Estudio de la consistencia interna *

P: pregunta.

* Para ver el texto de las preguntas, véase el anexo 1 .

La versión final del PPE-33 se encuentra en el anexo 1. Las únicas diferencias existentes respecto al PPE-33 versión 2 consisten, en primer lugar, en que el PPE-33 definitivo incluye comentarios introductorios a cada grupo de preguntas para que el entrevistador lea y facilite así la compresión y la atención del entrevistado. En segundo lugar, se ha buscado en el orden de los ítems una secuencia lógica. Así, aquellos referentes al alta hospitalaria se sitúan al final del cuestionario aunque se refieren a la dimensión “contenidos de la información”, situada al principio. Por último, se señalan los ítems presentes en el PPE-15 inglés original.

Este estudio presenta algunas limitaciones. En primer lugar, la pérdida de participantes cercana al 29% puede haber influido en los resultados. En segundo lugar, el PPE-15 original es un cuestionario postal autocumplimentado. En cambio, el PPE-33 se ha validado como un cuestionario telefónico. Este potencial sesgo ha intentado prevenirse con el entrenamiento del entrevistador en la administración del cuestionario.

En tercer lugar, a veces, estudios de estas características analizan la frecuencia de endose de las categorías de respuesta para evaluar la capacidad discriminante de los ítems, en los que se descartan aquellas que acumulen menos del 20% de respuestas o más del 80%. En nuestro caso la frecuencia de endose en algún ítem, como se vio en la tabla 3, ha extralimitado este rango. Sin embargo, se ha considerado pertinente mantener tales ítems dentro del cuestionario por 2 motivos distintos: en el caso de los ítems 8, 9, 17, 18 y 33, porque pertenecen al PPE-15 original y su presencia facilita futuros estudios comparativos; en el caso de los ítems 1, 2, 3, 7, 10, 14, 16, 19, 20, 21, 26, y 28, porque la validez de contenido mostrada hace preferible mantenerlos atendiendo a la valoración de expertos y ciudadanos entrevistados.

Por último, al haberse realizado en un sólo hospital de una ciudad, plantea la oportunidad de realizar el estudio en una muestra de hospitales de toda España.

Sin embargo, los resultados del proceso de validación permiten caracterizar al PPE-33 como un instrumento fiable de medición de la percepción de los pacientes sobre el proceso de información y la toma de decisiones durante el ingreso hospitalario. Además, el hecho de que el PPE-33 incluya las preguntas del PPE-15, traducidas y validadas a partir del original en inglés, posibilita hacer comparaciones internacionales de las respuestas.

La consistencia interna del PPE-33 (0,792) es similar, aunque levemente inferior, a la mostrada en otros países por cuestionarios parecidos que también incluyen las preguntas del PPE-15, como Reino Unido (0,86), Suiza (0,83), Suecia (0,80), Alemania (0,85) o Estados Unidos (0,87)21.

Aunque en algunas de las encuestas sanitarias utilizadas por el Ministerio de Sanidad o las comunidades autónomas se incluyan preguntas sobre la información y la toma de decisiones durante la hospitalización, el PPE-33 es el único instrumento diseñado y validado de forma específica en español para medir estas dimensiones. Sus propiedades psicométricas aseguran la utilidad del PPE-33 en los centros hospitalarios o los servicios clínicos que deseen explorar estas dimensiones. Por ejemplo, puede usarse como instrumento de medida en estrategias antes y después para evaluar la efectividad de intervenciones educativas dirigidas a profesionales y la introducción de procesos, protocolos u otras estrategias de mejora de la calidad.

Aunque las limitaciones aconsejen realizar nuevas investigaciones para optimizar el cuestionario en el futuro, el actual proceso de validación del PPE-33 asegura que su aplicación informa de manera fiable y válida sobre la percepción que tienen los pacientes de la información y la participación en la toma de decisiones sanitarias que experimentan durante el ingreso hospitalario.

Al Picker Institute Europe por las facilidades dadas para utilizar el PPE-15, un instrumento con copyright que les pertenece.

Agradecimientos

Agradecimiento a Pilar Gutiérrez Cuadra del Servicio de Sistemas de Información del Hospital Virgen de las Nieves de Granada.

Autor para correspondencia. imbarrioc@gmail.com