Diseño y validación de un cuestionario para evaluar la percepción de los cirujanos en relación con la calidad de los servicios de Anestesia

Resumen

Objetivo

El objetivo de este trabajo fue diseñar y validar un cuestionario fiable para evaluar la percepción de los cirujanos, en relación con la calidad que ofrece el Servicio de Anestesia.

Material y métodos

Estudio transversal realizado en 54 cirujanos. Para el diseño inicial del cuestionario se revisó la bibliografía y se realizaron entrevistas estructuradas con cirujanos. Para el diseño final se realizaron una validación cognitiva y una validación estadística. Se realizó un análisis factorial exploratorio primero y confirmatorio después, mediante rotación de Varimax. Se valoró la consistencia interna mediante el alfa de Cronbach y se calculó el coeficiente de correlación de Pearson para valorar la multidimensionalidad del cuestionario.

Resultados

La tasa de respuesta fue del 77% y de cumplimentación de ítems del 95%. Tras realizar el análisis factorial 26 ítems fueron seleccionados y agrupados en 4 factores principales: competencia profesional, rapidez, recursos y seguridad. El alfa de Cronbach reveló una buena consistencia interna: 0,94 para todo el cuestionario y 0,93; 0,87; 0,70 y 0,70 para cada uno de los factores principales, respectivamente. Los coeficientes de correlación indicaron que las dimensiones pueden ser interpretadas como escalas separadas. El coeficiente de determinación del cuestionario con respecto a la satisfacción del cirujano con el Servicio de Anestesia fue del 0,917.

Conclusiones

El cuestionario constituye una herramienta válida y fiable para medir la calidad percibida por los cirujanos del trabajo del Servicio de Anestesia.

Abstract

Purpose

The aim of this study was to design and validate a tool that evaluates the perception that surgeons have in relation with the quality of the service by the Anesthesia Department.

Material and methods

Cross-sectional study conducted on 54 surgeons. To design the questionnaire, a review of the published articles was conducted, and then structured interviews with surgeons were carried out. For the final design we assessed the questionnaire's comprehensibility, content validity, as well as reliability and construct validity of the scale. Exploratory and confirmatory factorial analyses were conducted, internal consistency was assessed by α-Cronbach, and Pearson correlation coefficients were calculated to evaluate the multidimensionality of the scale.

Results

Response rate: 77%, items response rate: 95%. After the factorial analyses, 26 items were selected and grouped in 4 principal factors: professional competency, promptness/alertness, resources and security. α-Cronbach showed good internal consistency: 0.94 for the whole scale and 0.93; 0.87; 0.70 and 0.70, for each of the principal factors respectively. Pearson correlation coefficients showed that the dimensions could be interpreted as isolated scales. The determination coefficient with regard the satisfaction of the surgeons with the Anesthesia Department was 0.917.

Conclusions

The results reveal that the questionnaire is a valid and reliable tool to measure the perception that surgeons have in relation with the quality of the service by the Anesthesia Department.

Introducción

Un servicio asistencial se distingue por su capacidad organizativa, su calidad científico-técnica y por el concepto que de él tienen sus clientes. El análisis de la percepción de la calidad que tienen los clientes es esencial, por lo que la organización debería desarrollar un sistema que la evalúe, detecte áreas de mejora e implante acciones que eleven el nivel de calidad del servicio.

Los asistentes de los servicios de anestesia^1-3 son los pacientes, otros profesionales (entre ellos, los cirujanos), los miembros del propio servicio y los profesionales de gestión y apoyo administrativo. Todos tendrán necesidades, expectativas y percepciones diferentes, y su conjunto determinará la calidad percibida del Servicio de Anestesia.

El análisis de la percepción de los pacientes se ha trabajado mucho en los distintos ámbitos de la asistencia sanitaria, incluyendo la anestesia⁴. Respecto de esta última, los pacientes valoran^5,6 fundamentalmente el trato amable, la ausencia de complicaciones, náuseas, vómitos y dolor postoperatorio. Sin embargo, hay aspectos que los pacientes no pueden valorar, bien porque están fuera de su alcance (comunicación cirujano-anestesiólogo, capacidad científico-técnica, seguridad, etc.) o porque su propio estado de consciencia no se lo permite. De ahí la importancia de la evaluación de la calidad de los clientes internos.

Los cirujanos forman el grupo más numeroso y más importante de los asistentes internos de los anestesiólogos. Según Vitez y Macario¹, gran parte de las necesidades de los cirujanos se correlacionan con expectativas de los pacientes, en cuanto a condiciones óptimas para la intervención quirúrgica, el postoperatorio y los resultados de la cirugía.

Aunque hay muchos estudios y cuestionarios desarrollados para medir la satisfacción del paciente con la atención sanitaria^7-9 y también anestésica^4,5,10,11, hay poca literatura sobre la calidad percibida por los clientes internos en anestesia^1,3,12,13. Se han publicado estudios sobre satisfacción de los cirujanos¹⁴ y de los anestesiólogos^15,16 con su propio trabajo. También sobre aspectos concretos que afectan a ambos, como la percepción sobre los tiempos entre 2 intervenciones¹⁷. Sin embargo, son muy pocos los instrumentos validados que evalúen la percepción de los cirujanos sobre la calidad de los servicios de Anestesia¹², y no se ha encontrado ninguno en castellano para nuestro contexto sanitario.

Por lo tanto, el objetivo de este trabajo fue diseñar y validar un instrumento que permitiera conocer la opinión de los cirujanos sobre la calidad que ofrece el Servicio de Anestesia y sirviera como herramienta práctica y útil para proponer medidas de mejora.

Material y métodos

Diseño del cuestionario

Validación cognitiva y del contenido

Para la elaboración del cuestionario, en primer lugar, se realizó una revisión de la bibliografía tanto en PubMed (http://www.ncbi.nlm.nih.gov/pubmed) como en Google utilizando los siguientes descriptores y sus combinaciones, en inglés y en español: anestesia, anestesiólogos, calidad percibida, satisfacción, cirujanos, escala, cuestionario, encuesta y opinión.

Los cuestionarios encontrados^3,12,13,18 no evaluaban individualmente todos los elementos de percepción de calidad por parte de los cirujanos que los investigadores consideraban necesarios, por lo que se decidió diseñar y validar un nuevo cuestionario.

Se elaboró un borrador de 31 preguntas basado en los ítems que se consideraron especialmente relevantes de dichos cuestionarios^3,12,18 y en los ítems propuestos por 5 cirujanos en entrevistas estructuradas referidas a los aspectos que los entrevistados consideraban importante preguntar en la encuesta y que no figuraban entre los ítems previamente seleccionados.

Las preguntas se formularon de forma breve, con respuesta en escala de 0 a 10, siendo 0 la peor puntuación posible y 10 la mejor. Se incluyó, asimismo, una valoración de la importancia que para el encuestado tenía cada pregunta, mediante una escala con 4 categorías (muy poco importante, poco importante, importante, muy importante).

Para asegurar la validez de contenido y la comprensión de los ítems de este borrador, se realizó un pretest cognitivo. Se convocó a un grupo de análisis formado por 3 cirujanos y 3 anestesiólogos, que no habían participado en el borrador del cuestionario, para revisar cada pregunta, analizando su redacción y comprensión, su pertinencia, la dificultad para la respuesta, la extensión y la agilidad del cuestionario, así como las instrucciones para su cumplimentación y entrega. Se preguntó nuevamente si existían aspectos no recogidos en el cuestionario y que los miembros del grupo consideraban importante incluir. Tras este análisis, las preguntas con diferentes interpretaciones fueron modificadas con las sugerencias emitidas por los profesionales y se eliminaron 3 preguntas por considerarlas poco relevantes o redundantes. Un experto en comunicación escrita realizó la revisión final. Para aligerar la cumplimentación del cuestionario, se decidió valorar la calidad y la importancia de cada pregunta de forma simultánea.

El cuestionario se diseñó con las siguientes características: anónimo, ordenado inicialmente según las dimensiones de la calidad del cuestionario SERVQUAL⁸ (tangibles, calidad científico-técnica, capacidad de respuesta, seguridad y empatía) y cronológicamente dentro de cada dimensión. Se diseñó un formato para ser autocumplimentado. El cuestionario contenía un encabezamiento con los objetivos, el contenido y el tiempo de respuesta estimado de la encuesta, 28 preguntas específicas, 5 preguntas de valoración general del Servicio, 6 preguntas demográficas y una pregunta abierta para añadir los comentarios que se deseara. Terminaba con un pequeño texto de agradecimiento.

Población de estudio y recolección de datos

La población de estudio la constituyeron los 70 cirujanos de los servicios quirúrgicos de un hospital terciario (CHN-A).

El cuestionario se distribuyó (diciembre del 2013 y enero del 2014) personalmente a cada uno de los encuestados en la sesión clínica de los servicios quirúrgicos, exponiendo brevemente los objetivos de la encuesta y se solicitó verbalmente su colaboración anónima y voluntaria. Se realizó un recordatorio a los 15 días. Simultáneamente, y para facilitar la respuesta, se envió a todos los cirujanos el cuestionario en formato electrónico. El cuestionario se acompañó de instrucciones sobre cómo responder y el procedimiento de envío. Se definió como marco temporal de referencia el año 2013.

El estudio obtuvo la aprobación del Comité Ético de Investigación Clínica de Navarra (ref. 79/2013).

Análisis estadístico

Se exploraron la frecuencia de distribución y la tasa de no respuesta para cada uno de los ítems.

La consistencia interna del instrumento se valoró a través del coeficiente alfa de Cronbach para todo el cuestionario, para cada uno de los factores y para todos los ítems menos uno en cada una de los factores.

Se calculó el coeficiente de correlación de Pearson para estimar la correlación entre los factores y valorar la multidimensionalidad del instrumento. Correlaciones inferiores a 0,70 se interpretaron como que los factores pueden pertenecer a diferentes dimensiones.

La validez de constructo se valoró mediante el procedimiento de análisis factorial con rotación de Varimax. El número de factores se determinó de forma visual utilizando la matriz de componentes rotados. Se consideró que la saturación de un ítem era significativa cuando su valor fuera superior a 0,30. Posteriormente, se llevó a cabo un análisis factorial confirmatorio.

La validez discriminante se calculó mediante estadísticos bivariantes y análisis discriminante, considerando como criterios predictivos externos las variables: satisfacción global con el Servicio de Anestesia y ¿elegirías alguno de los anestesiólogos con los que has trabajado en el último año para anestesiar a un familiar tuyo o a ti mismo?

Finalmente, para calcular el porcentaje de variabilidad de la satisfacción de los cirujanos que era explicada por los ítems del cuestionario, se realizó una regresión logística ordinal.

Los análisis estadísticos se llevaron a cabo utilizando el programa estadístico IBM SPSS V.20.

Resultados

Aceptó participar el 77,1% de los 70 cirujanos contactados. En la tabla 1 se describen las características demográficas y profesionales de los cirujanos incluidos en el estudio.

Tabla 1.

Características demográficas y profesionales de los participantes

Cirujanos		n	%
Edad	20-30 años	4	7,4
	31-40 años	11	20,4
	41-50 años	21	38,9
	51-60 años	12	22,2
	> 60 años	6	11,1
Especialidad	Cirugía General	29	53,7
	Cirugía Torácica/Cardiaca	6	11,1
	Cirugía Vascular	4	7,4
	Neurocirugía	4	7,4
	Oftalmología/ORL/Dermatología	7	13,0
	Urología	4	7,4
Categoría profesional	Especialista	49	90,7
	MIR	5	9,3
Años de profesión	0-10 años	14	25,9
	11-20 años	21	38,9
	21-30 años	6	11,1
	Más de 30 años	10	18,5
	No respuesta	3	5,6

Análisis de los ítems

La valoración media de cada uno de los ítems se situó por encima de 7. Únicamente 5 ítems tenían una valoración media inferior a 7. La tasa de no respuesta superior al 10% solo se observó en 4 preguntas correspondiendo, sobre todo a preguntas relativas a las urgencias y emergencias: CP5. Capacidad de resolución de los anestesiólogos en emergencias, CP9. Los anestesiólogos aplican criterios comunes, R3. Actitud de los anestesiólogos durante emergencias y R4. Espera para intervenciones urgentes debido a los anestesiólogos. Varios de los encuestados refirieron trabajar solamente con pacientes programados o no haber tenido experiencias de situaciones urgentes, por lo que no contestaron a estas preguntas. La pregunta CP9. Criterios comunes fue considerada una pregunta de difícil valoración por los encuestados ya que refirieron no conocer los criterios específicos de los anestesiólogos. En conjunto, se obtuvo respuesta del 95% de cumplimentación de los ítems posibles.

Validez de constructo

Para examinar la estructura factorial de la escala, se llevó a cabo un análisis factorial exploratorio y otro confirmatorio. El análisis factorial exploratorio propuso 7 factores con autovalores (eigenvalues) > 1. Los factores eran difíciles de interpretar teniendo en cuenta las dimensiones de calidad que a priori se pretendían estudiar, por lo que se hizo una nueva propuesta, realizando un análisis factorial confirmatorio con 4 factores (competencia profesional, rapidez, recursos y seguridad). Para esta última propuesta de los factores, y de los ítems dentro de cada factor, se tuvo en cuenta la saturación de cada ítem a los factores en el análisis exploratorio, así como la interpretación lógica de los resultados. Los ítems suspensión programación y colaboración en docencia no saturaron en ningún factor y se eliminaron del cuestionario (tabla 2). De esta forma, construimos un cuestionario con 26 ítems dividido en 4 factores.

Tabla 2.

Análisis factorial confirmatorio

		Componentes
		1	2	3	4
Competencia profesional	CP1. Estabilidad hemodinámica durante cirugía	0,91	0,14	−0,05	0,03
	CP2. Competencia profesional	0,78	0,24	0,19	−0,05
	CP3. Supervisión del paciente y dispositivos	0,77	0,32	0,13	0,14
	CP4. Utilidad de los informes de consulta preanestésica	0,70	0,10	0,18	0,39
	CP5. Capacidad de resolución de los anestesiólogos en emergencias	0,63	0,52	0,18	0,18
	CP6. Capacidad comunicación de los anestesiólogos con cirujanos	0,62	0,18	0,37	0,20
	CP7. Los anestesiólogos tienen en cuenta la opinión profesional de los cirujanos	0,62	0,27	0,50	0,08
	CP8. Los anestesiólogos forman equipo con cirujanos	0,60	0,31	0,24	0,04
	CP9. Los anestesiólogos aplican criterios comunes	0,57	0,17	0,35	0,29
	CP10. Información de los criterios de contraindicación por parte de los anestesiólogos	0,35	0,20	0,55	0,10
Rapidez	R1. Rapidez de los anestesiólogos entre 2 quirófanos	0,17	0,82	0,03	0,07
	R2. Rapidez colocación al paciente e inducir anestesia	0,52	0,73	0,12	−0,03
	R3. Actitud de los anestesiólogos durante emergencias	0,38	0,68	0,35	0,04
	R4. Espera para intervenciones urgentes debido a los anestesiólogos	0,00	0,55	0,57	0,34
	R5. Puntualidad de los anestesiólogos en quirófano	0,45	0,54	−0,07	0,08
Recursos	RR1. Adecuación de la programación de la consulta para evitar retrasar la cirugía.	−0,05	−0,08	0,71	0,04
	RR2. Disponibilidad de los anestesiólogos para ajustarse a las necesidades del cirujano	0,33	0,29	0,71	−0,13
	RR3. Disponibilidad de los anestesiólogos para la prolongación quirúrgica	0,11	0,47	0,65	0,06
	RR4. Disponibilidad de tecnología adecuada	0,31	0,33	0,06	0,10
Seguridad	S1. Manejo dolor en URPA y planta por parte de los anestesiólogos	0,07	0,00	0,13	0,83
	S2. Importancia de la seguridad de paciente para los anestesiólogos	0,29	0,28	−0,06	0,72
	S3. Invasión de los anestesiólogos el campo de especialidad de los cirujanos	−0,02	0,22	0,07	0,54
	S4. Pruebas innecesarias solicitadas por anestesiólogos	0,24	−0,17	0,47	0,49
	S5. Relación anestesiólogo-cirujano apara cumplimentar checklist	0,15	0,57	0,07	0,35
	S6. Distracción al cirujano por parte de los anestesiólogos	0,30	0,24	0,43	0,30
	S7. Cuidados URPA	0,21	0,36	0,28	0,17

Análisis discriminante

Mediante el análisis discriminante, se confirmó que el porcentaje de casos clasificados correctamente, en virtud de la puntuación total del cuestionario, fue del 100% sobre ambos criterios (satisfacción global con el servicio de anestesia y ¿elegirías alguno de los anestesiólogos con los que has trabajado en el último año para anestesiar a un familiar tuyo o a ti mismo?).

Consistencia interna

El alfa de Cronbach para todo el cuestionario fue de 0,94 y para cada una de los 4 factores fue: 0,93; 0,87; 0,70 y 0,70, para competencia profesional, rapidez, recursos y seguridad, respectivamente (tabla 3).

Tabla 3.

Análisis de Fiabilidad

Factores Dimensiones	Alfa de Cronbach	Alfa de Cronbach si se elimina el elemento
Competencia profesional	0,93
CP1. Estabilidad hemodinámica durante cirugía		0,92
CP2. Competencia profesional		0,92
CP3. Supervisión del paciente y dispositivos		0,92
CP4. Utilidad de los informes de consulta preanestésica		0,93
CP5. Capacidad de resolución de los anestesiólogos en emergencias		0,92
CP6. Capacidad comunicación de los anestesiólogos con cirujanos		0,92
CP7. Los anestesiólogos tienen en cuenta la opinión profesional de los cirujanos		0,92
CP8. Los anestesiólogos forman equipo con cirujanos		0,93
CP9. Los anestesiólogos aplican criterios comunes		0,93
CP10. Información de los criterios de contraindicación por parte de los anestesiólogos		0,93
Rapidez	0,87
R1. Rapidez de los anestesiólogos entre 2 quirófanos		0,83
R2. Rapidez colocación al paciente e inducir anestesia		0,80
R3. Actitud de los anestesiólogos durante emergencias		0,84
R4. Espera para intervenciones urgentes debido a los anestesiólogos		0,88
R5. Puntualidad de los anestesiólogos en quirófano		0,88
Recursos	0,70
RR1. Adecuación de la programación de la consulta para evitar retrasar la cirugía		0,73
RR2. Disponibilidad de los anestesiólogos para ajustarse a las necesidades del cirujano		0,55
RR3. Disponibilidad de los anestesiólogos para la prolongación quirúrgica		0,46
RR4. Disponibilidad de tecnología adecuada		0,72
Seguridad	0,70
S1. Manejo dolor en URPA y planta por parte de los anestesiólogos		0,66
S2. Importancia de la seguridad de paciente para los anestesiólogos		0,62
S3. Invasión de los anestesiólogos el campo de especialidad de los cirujanos		0,68
S4. Pruebas innecesarias solicitadas por anestesiólogos		0,70
S5. Relación anestesiólogo-cirujano apara cumplimentar checklist		0,69
S6. Distracción al cirujano por parte de los anestesiólogos		0,66
S7. Cuidados URPA		0,69

Multidimensionalidad y variabilidad explicada

Los coeficientes de correlación de Pearson oscilaron entre 0,83 y 0,45 en función de los factores (tabla 4). Únicamente los factores competencia profesional y rapidez estuvieron fuertemente correlacionados. Los demás factores pueden ser interpretados de forma separada. Según el modelo de Cox y Snell, los 26 ítems incluidos en el cuestionario explicaron el 91,7% de la variabilidad de la satisfacción de los cirujanos con el Servicio de Anestesia.

Tabla 4.

Correlaciones de Pearson entre los factores

	Competencia profesional	Rapidez	Recursos	Seguridad
Competencia profesional	1,00	0,83^a	0,54^a	0,76^a
Rapidez		1,00	0,59^a	0,70^a
Recursos			1,00	0,45^a
Seguridad				1,00

a

La correlación es significativa al nivel 0,01 (bilateral).

La versión validada del cuestionario está disponible en el anexo.

Discusión

Un servicio de Anestesia debe definir sus objetivos, conocer qué es importante para sus clientes y establecer unos indicadores de satisfacción y calidad. El objetivo de este estudio era la validación de un instrumento que permitiera conocer la percepción de los cirujanos en relación con la calidad de los servicios que prestan los anestesiólogos. En relación con los resultados, el cuestionario mostró una consistencia interna suficiente como para apoyar la fiabilidad del instrumento. En comparación con la herramienta más parecida publicada, la escala SSAS¹², con 17 ítems divididos en dos factores (experiencia clínica y actitudes y comportamiento), nuestro instrumento cuenta con 26 ítems agrupados en 4 factores, lo que nos proporcionaría mayor riqueza de contenido y más posibilidades de evaluación ajustada a nuestro contexto, con ítems no explorados en otros cuestionarios. De hecho, los 26 ítems incluidos en el cuestionario explicaron el 91,7% de la variabilidad de la satisfacción de los cirujanos con el Servicio de Anestesia. El análisis discriminante indica que la clasificación de los profesionales sobre la base de las puntuaciones obtenidas fue correcta.

El análisis de multidimensionalidad demostró que los factores recursos y seguridad se pueden interpretar de forma separada, ya que no presentaron una alta correlación entre ellos, no así los factores competencia profesional y rapidez (agilidad de respuesta), que deben interpretarse de forma conjunta.

Otros puntos fuertes del estudio son la alta tasa de respuesta obtenida y la baja tasa de ítems no contestados. Esto indicaría que es un tema de interés para los profesionales y que ha habido buena comprensión de las preguntas.

En cuanto a las limitaciones del cuestionario, cabe destacar que se ha realizado el estudio en un hospital terciario que carece de algunas especialidades quirúrgicas, y que la muestra es pequeña, si bien constituye el número total de cirujanos del hospital en ese momento. Una muestra más variada, incluyendo profesionales de distintos hospitales y más especialidades, facilitaría la generalización de los resultados. Sin embargo, como el objetivo del estudio no fue la comparación entre centros o especialidades, sino validar el cuestionario, es muy probable que se hayan recogido los elementos esenciales. Otra limitación podría ser el componente subjetivo de algunas preguntas, aunque, al no estudiar parámetros cuantificables sino percepciones de los cirujanos, consideramos que el cuestionario se adapta al objetivo del estudio.

La pregunta a partir de qué valor considera que la calidad es buena permite tener un valor de referencia para analizar los resultados obtenidos sobre la base de la propia opinión de los encuestados¹⁹ y un valor de comparación en futuras utilizaciones del cuestionario en el propio servicio. Asimismo, la valoración de la importancia que para los encuestados tiene cada enunciado permitiría priorizar las áreas de actuación.

Los resultados muestran que el cuestionario constituye una herramienta válida y fiable para medir la calidad de servicio y la satisfacción de los cirujanos. La utilización de este cuestionario permitiría conocer los puntos fuertes y áreas de mejora del Servicio de Anestesia, y disponer de indicadores de percepción que se pudieran monitorizar a lo largo de tiempo. No obstante, sería necesario realizar nuevos estudios con este cuestionario, cuya validez y fiabilidad ya se ha demostrado en este grupo, para poder mejorarlo y extenderlo a otros servicios.

Todos los autores han participado suficientemente en la concepción y diseño del trabajo así como también en el análisis de los datos. Todos han participado en la escritura y edición del manuscrito y todos los autores han aprobado la versión final.

Responsabilidades éticas

Protección de personas y animales

Los autores declaran que para esta investigación no se han realizado experimentos en seres humanos ni en animales.

Confidencialidad de los datos

Los autores declaran que en este artículo no aparecen datos de pacientes.

Derecho a la privacidad y consentimiento informado

Los autores declaran que en este artículo no aparecen datos de pacientes. Todos los autores han participado suficientemente en la concepción y diseño del trabajo así como también en el análisis de los datos. Todos han participado en la escritura y edición del manuscrito y todos los autores han aprobado la versión final.

Conflicto de intereses

Todos los autores declaran que no tienen ningún conflicto de interés para este artículo.

Agradecimientos

Agradecemos su colaboración a todos los cirujanos y anestesiólogos de Complejo Hospitalario de Navarra-A que han participado dando su opinión para elaborar el cuestionario.