Validez y fiabilidad del cuestionario de Cultura De Calidad en Servicios de Salud en México

Resumen

Introducción

La seguridad del paciente es un aspecto clave de la salud pública a nivel mundial del que todos los actores implicados en la atención a la salud somos corresponsables. Establecer una cultura de seguridad ha demostrado ser un factor que favorece la integración de equipos de trabajo, la comunicación y la construcción de procedimientos claros en diversas organizaciones. Promover una cultura de seguridad depende de varios factores, tales como la organización, la unidad de trabajo y el personal. La evaluación objetiva de estos factores permitirá identificar las áreas de mejora y establecer líneas estratégicas de acción.

Objetivo

Adaptar, calibrar y establecer la validez y fiabilidad del cuestionario de Cultura de Calidad en Servicios de Salud (CCSS) en la población mexicana.

Material y métodos

Estudio descriptivo transversal con una muestra representativa y estratificada de 522 trabajadores de la salud. El cuestionario fue traducido y adaptado del original de Singer. Se validó el contenido por juicio de expertos, consistencia interna, validez factorial confirmatoria y calibración de ítems con el modelo de respuesta graduada de Samejima.

Resultados

Se confirmó la validez de constructo convergente y divergente del CCSS. La calibración de ítems demostró que el cuestionario contaba con las propiedades psicométricas para discriminar entre sujetos y representar distintos niveles de las dimensiones establecidas en la hipótesis con mayor precisión y menor error estándar.

Conclusiones

El CCSS es un instrumento válido y fiable para evaluar la cultura de seguridad del paciente en los centros hospitalarios de México.

Abstract

Introduction

Patient Safety is a major public health problem worldwide and is responsibility of all those involved in health care. Establishing a Safety Culture has proved to be a factor that favors the integration of work teams, communication and construction of clear procedures in various organizations. Promote a culture of safety depends on several factors, such as organization, work unit and staff. Objective assessment of these factors will help to identify areas for improvement and establish strategic lines of action.

Objetive

To adapt, validate and calibrate the questionnaire Culture of Quality in Health Services (CQHS) in Mexican population.

Material and methods

A cross with a stratified representative sample of 522 health workers. The questionnaire was translated and adapted from Singer's. Content was validated by experts, internal consistency, confirmatory factorial validity and item calibration with Samejima's Graded Response Model.

Results

Convergent and divergent construct validity was confirmed from the CQHS, item calibration showed that the questionnaire is able to discriminate between patients and represent different levels of the hypothesized dimensions with greater accuracy and lower standard error.

Conclusions

The CQHS is a valid and reliable instrument to assess patient safety culture in hospitals in Mexico.

Introducción

La seguridad del paciente es un aspecto clave de la salud pública a nivel mundial. Se calcula que en los países desarrollados hasta uno de cada 10 pacientes sufre algún tipo de evento adverso o error médico durante su estancia en un hospital. En este sentido, el riesgo de adquirir una infección nosocomial es 20 veces mayor en países en vías desarrollo en comparación con los riesgos en países desarrollados; en los países desarrollados por lo menos el 50% de los equipos médicos no están en condiciones de ser utilizados o se utilizan solo parcialmente; la proporción de inyecciones aplicadas con jeringas o agujas reutilizadas sin esterilizar llega hasta el 70% y estas inyecciones son responsables de millones de infecciones y de 1,3 millones de muertes por año; en países desarrollados los problemas asociados a la seguridad de las intervenciones quirúrgicas constituyen el 50% de los episodios adversos evitables, cuyo resultado es la muerte o la discapacidad. Así mismo, la probabilidad de que un paciente sufra algún daño ocasionado por la atención médica es de 1 de 300¹.

La seguridad del paciente es corresponsabilidad de todos los actores que están implicados en los procesos de atención a la salud (directivos, administrativos, personal de salud en trato directo al paciente, operativos, entre otros). Un factor relevante para favorecer la seguridad ha sido el establecimiento de una cultura de seguridad que fomente la importancia de los valores compartidos entre los miembros de la organización y la interacción entre las personas, los sistemas y las estructuras organizacionales, que en conjunto, producen normas de comportamiento en la organización que apoyan la seguridad². La importancia de dicha cultura recae en la habilidad del equipo directivo de generar comportamientos de aprendizaje que permitan a las organizaciones no solo ser reactivas, sino capaces de prever, adaptarse, mejorar y responder a las demandas de su entorno.

En materia de seguridad los hospitales tienen compromisos externos e internos. Dentro de los compromisos externos residen el servicio y la seguridad en la atención del paciente, mientras que el principal compromiso interno lo tiene con sus empleados, en concreto, en la seguridad que se les ofrece para la ejecución de sus actividades. Así, los gerentes e investigadores de servicios de salud se interesan por conocer cuáles son los aspectos clave para la creación, fomento e institucionalización de una cultura de seguridad en los hospitales, así como la relación que esta guarda con la atención segura del paciente^3–8.

Una propuesta interesante que pretende explicar las razones por las que se provee un cuidado seguro en el ámbito hospitalario es la que realiza Singer², en donde considera que la atención segura del paciente se establece en función diversos factores relacionados con la organización, la unidad de trabajo y el personal de salud.

En este contexto, el modelo propuesto por Singer asume que conforme mejore la organización mejorará la seguridad en las unidades de trabajo y esto, a su vez, tendrá un impacto positivo en la cultura de seguridad en cada uno de los trabajadores de la salud implicados en intervenciones con pacientes, lo que a su vez incrementará la seguridad del paciente.

Una forma de evaluar la cultura de seguridad es mediante el clima de seguridad^9,10. Para ello se han desarrollado y validado diversas escalas para medir el clima de seguridad, como el Hospital Survey on Patient Safety Culture, desarrollada por Sorra y Dyer¹¹, que evalúa 12 dimensiones sobre las opiniones del personal de salud sobre la seguridad del paciente y sobre la notificación de errores médicos. Este instrumento fue validado a través de análisis factorial confirmatorio multinivel (hospital-unidad de trabajo) con índices adecuados de ajuste práctico, lo que indica que el instrumento es sensible a la medición de la percepción general del personal de salud sobre la seguridad del paciente, acciones que promueven la seguridad del paciente, el trabajo en equipo entre las unidades de trabajo del hospital y en el interior de las unidades médicas.

Otro instrumento es el Safety Climate Survey desarrollado por Sexton y analizado por Kho et al.¹², que evalúa el clima de seguridad general en una sola dimensión, y únicamente se ha demostrado empíricamente su fiabilidad a través de los métodos de consistencia interna y test-retest en las unidades de cuidados intensivos.

Un ejemplo más lo constituye el Safety Attitudes Questionnaire, también desarrollado por Sexton et al.¹³, que evalúa 6 dimensiones: clima de seguridad, clima del trabajo en equipo, estrés y reconocimiento, percepciones sobre la administración, satisfacción laboral y condiciones de trabajo.

Tomando en consideración el panorama con respecto a la evaluación del clima de seguridad, llama la atención que los métodos de validación han sido adecuados para validar los constructos hipotetizados en cada cuestionario. Sin embargo, la mayor parte de los instrumentos han sido diseñados para su uso en Estados Unidos y Canadá, lo que limita su aplicación en otros contextos.

El objetivo de este estudio es adaptar, fiabilizar, validar y calibrar el Cuestionario de Cultura de Calidad en Servicios de Salud (CCSS), basado en el Patient Safety Climate in Healthcare Organizations Survey desarrollado por Singer², lo que abriría la posibilidad de realizar diagnósticos más completos que permitieran establecer soluciones estratégicas en todos los niveles de la organización para mejorar el clima de seguridad.

Material y métodos

Muestra

Se realizó un estudio descriptivo y transversal con una muestra representativa y estratificada de 522 trabajadores de la salud en un hospital de tercer nivel de la Ciudad de México; la composición de la muestra y las características sociodemográficas se resumen en la tabla 1.

Tabla 1.

Características y distribución de la muestra

Tipo de puesto	N	%	Muestra ideal	Muestra real
Administrativo	236	10,00	45	22
Asistente de Enfermería	154	14,89	67	74
Camilleros	57	5,51	25	29
Despachador de Farmacia	2	0,19	1	3
Enfermera	140	13,53	61	68
Enfermera con especialidad	68	6,57	30	67
Intendencia	163	15,76	71	25
Jefe de Servicio	10	0,97	4	10
Médico adscrito	169	16,34	74	82
Médico Jefe de Servicio	28	2,71	12	24
Psicólogo	1	0,10	0	1
Químico	14	1,35	6	10
Rehabilitador	1	0,10	0	1
Residente/becario	50	4,83	22	42
Técnico de cocina	17	1,64	7	9
Técnico de laboratorio	28	2,71	12	16
Técnico radiólogo	11	1,06	5	5
Terapeuta	1	0,10	0	3
Trabajadora social	17	1,64	7	12
Otro	60			16
Total	1227	100	450	522

Variable	Frecuencia	%
Edad	18-25 años (n = 15)	2,9
	26-30 años (n = 72)	13,8
	31-40 años (n = 120)	23
	41-50 años (n = 202)	38,7
	51-60 años (n = 98)	18,8
	más de 60 años (n = 6)	1,1
	Datos perdidos (n = 9)	1,7
Sexo	Hombre (n = 158)	30,3
	Mujer(n = 363)	69,5
	Datos perdidos (n = 1)	0,2
Nivel jerárquico	Mando medio o superior (n = 64)	12,3
	Supervisor (n = 13)	2,5
	Operativo (n = 441)	84,5
	Datos perdidos (n = 4)	0,8
Antigüedad	0-1 años (n = 49)	9,4
	1-3 años (n = 52)	10
	3-5 años (n = 40)	7,7
	5-10 años (n = 57)	10,9
	Más de 10 años (n = 305)	58,4
	Datos perdidos (n = 19)	3,6

Instrumentos

Se utilizó el CCSS adaptado, que contiene 43 ítems con 5 opciones de respuesta que miden el grado de acuerdo o desacuerdo con respecto a una serie de afirmaciones en un continuo que va desde: «totalmente en desacuerdo» a «totalmente de acuerdo». La tabla 2 resume las dimensiones y definiciones conceptuales que componen el instrumento.

Tabla 2.

Dimensiones del Cuestionario de Cultura de Calidad en Servicios de Salud

Dimensión	Definición conceptual
Compromiso de los directivos	Los altos directivos entienden los problemas de seguridad en sus instalaciones y reconocen que los mejor cualificados para resolver los problemas de seguridad serían los de la primera línea de atención al paciente
Recursos organizacionales	Esta dimensión se refiere a las percepciones con respecto a la idoneidad del personal, tiempo, equipo y otros recursos necesarios para prestar atención médica segura
Énfasis generalizado en seguridad	Esta dimensión se refiere al nivel general de énfasis en la seguridad del paciente en un centro, y si el encuestado cree que la seguridad está mejorando allí
Normas de seguridad en la unidad de trabajo	La seguridad del paciente es un valor auténtico y generalizado entre el personal, y la preocupación por la seguridad define las normas de comportamiento
Reconocimiento y apoyo a los esfuerzos de seguridad	Se evalúa en qué medida: a) se reconocen expresamente las acciones que promueven la atención segura del paciente; y b) que tanto se consideran los estándares internacionales de seguridad del paciente son utilizados en la formación y la evaluación del desempeño.
Temor a la vergüenza	Esta dimensión evalúa el nivel de comodidad, de admitir errores, lagunas en el conocimiento y la búsqueda de ayuda
Temor a la culpa	Esta dimensión se centra en evaluar la percepción que tienen los encuestados sobre si los errores que confiesan darían lugar a la disciplina y el castigo
Aprendizaje y reconocimiento de riesgos en la seguridad	Esta dimensión evalúa la posibilidad de aprender de los demás para reducir los errores en el futuro y la relación entre ciertos factores personales y sus posibles repercusiones en la seguridad del paciente

De acuerdo al modelo teórico propuesto por Singer², las dimensiones compromiso de los directivos, recursos organizacionales y énfasis generalizado en la seguridad se agrupan en un factor de segundo orden denominado organización, mientras que normas de seguridad en la unidad de trabajo y reconocimiento y apoyo a los esfuerzos de seguridad se agrupan en otro factor de segundo orden denominado unidad de trabajo. Finalmente, las dimensiones de temor a la vergüenza, temor a la culpa y aprendizaje y reconocimiento de riesgos en la seguridad se consideran como dimensiones independientes del individuo.

Análisis estadísticos

Para validar teórica y empíricamente el instrumento propuesto se realizó análisis de validación de contenido con el apoyo de 10 expertos en seguridad del paciente, para analizar la pertinencia, relevancia y representatividad de cada ítem respecto al modelo de medición propuesto. Para establecer el nivel de acuerdo intersubjetivo se utilizó la prueba Kuder Richardson 20 (KR20). Para la validación empírica se realizaron análisis factoriales confirmatorios (AFC) para cada factor de segundo orden, tal como fue propuesto en el modelo teórico de Singer. Posteriormente a la validación empírica se realizaron los análisis psicométricos utilizando la Teoría de la respuesta al ítem con el modelo de respuesta graduada de Samejima¹⁶.

Para realizar los análisis de validación inter jueces se utilizó el software SPSS versión 20, mientras que para los AFC se utilizó el software EQS 6.1 y para el análisis de ítems el software IRTPRO versión 2.1.

Procedimiento

Inicialmente se tradujo del inglés al español el instrumento original elaborado por Singer por un traductor de lengua nativa inglesa. Una vez se contó con el instrumento traducido se entregó a 10 expertos en seguridad del paciente para que evaluaran: 1) pertinencia; 2) relevancia; y 3) representatividad de cada uno de los reactivos respecto a la dimensión que pretenden medir. Posteriormente se aplicó el cuestionario, se crearon bases de datos para el análisis de validación inter jueces, la validación de constructo y el análisis de ítems. Finalmente se realizaron los análisis y se recogieron los resultados.

Resultados

Los resultados se presentan en el siguiente orden: 1) juicio intersubjetivo entre expertos y fiabilidad; 2) validación de constructo a través de AFC; y 3) calibración de ítems.

Juicio intersubjetivo entre jueces

Los resultados obtenidos en la prueba KR20 reflejaron un alto nivel de acuerdo entre jueces, con lo que es posible asumir que los ítems son pertinentes, relevantes y representativos de las dimensiones teóricas que pretender medir. Los resultados se resumen en la tabla 3.

Tabla 3.

Índices KR 20 de la valoración de las dimensiones del cuestionario de Cultura de Calidad en Servicios de Salud

Dimensiones	Pertinencia	Relevancia	Representativos
Compromiso de los directivos	0,92	0,97	0,88
Recursos organizacionales	0,95	0,89	0,92
Énfasis generalizado en seguridad	0,94	0,87	0,94
Normas de seguridad en la unidad de trabajo	0,90	0,88	0,93
Reconocimiento y apoyo a los esfuerzos de seguridad	0,89	0,91	0,92
Temor a la vergüenza	0,86	0,88	0,83
Temor a la culpa	0,85	0,91	0,90
Aprendizaje y reconocimiento de riesgos en la seguridad	0,92	0,94	0,97

Fiabilidad de las dimensiones del Cuestionario de Cultura de Calidad en Servicios de Salud

Para estimar la fiabilidad o confiabilidad se utilizó el estadístico de alfa de Cronbach para evaluar la consistencia interna de las dimensiones del instrumento. La tabla 4 resume los resultados.

Tabla 4.

Índices de fiabilidad

Dimensiones	Alfa de Cronbach
Compromiso de los directivos	0,788
Recursos organizacionales	0,617
Énfasis generalizado en seguridad	0,615
Normas de seguridad en la unidad de trabajo	0,692
Reconocimiento y apoyo a los esfuerzos de seguridad	0,658
Temor a la vergüenza	0,607
Temor a la culpa	0,700
Aprendizaje y reconocimiento de riesgos en la seguridad	0,532

Con estos resultados se apreció que cada una de las dimensiones del CCSS eran consistentes y fiables para la toma de decisiones, ya que la fiabilidad estimada para todo el instrumento fue del 0,918, lo que permitía aceptar que el instrumento era homogéneo y consistente internamente, tanto en lo general como en lo particular de cada una de las 8 dimensiones que lo componen.

Validación de constructo a través de análisis factoriales confirmatorios

En esta sección se presentan 3 AFC, uno para cada factor de segundo orden: 1) organización; 2) unidad de trabajo; y 3) factores de primer orden de individuo. En los 3 casos inicialmente se construyó un modelo teórico y posteriormente se realizaron AFC utilizando el método robusto de Satorra-Bentler, debido a que las variables incluidas en dichos modelos no asumían la normalidad multivariada (coeficientes de Mardia = 45,71, 15,00 y 40,19, respectivamente para cada modelo). Los resultados del ajuste del modelo estadístico se muestran en la tabla 5, en la que se aprecia que el ajuste estadístico fue significativo en todos los casos, como se esperaría ante una muestra extensa de sujetos; mientras que el ajuste práctico demostró tener índices adecuados de acuerdo a las recomendaciones indicadas por Hu y Bentler¹⁷, por lo que es posible concluir que no existe diferencia significativa entre los modelos teóricos y los datos empíricos, por lo que es factible interpretar los valores obtenidos en los modelos.

Tabla 5.

Índices de ajuste del modelo estadístico

Dimensión	X^2 Satorra-Bentler	CFI^a	IFI^b	RMSEA^c	IC
Organización	X^2 = 133,05, p = 0,001	0,952	0,952	0,050	0,039-0,061
Unidad de Trabajo	X^2 = 52,13, p = 0,001	0,966	0,967	0,047	0,030-0,065
Individuo	X^2 = 116,65, p = 0,001	0,954	0,956	0,035	0,022-0,046

a

CFI: Comparative Fit Index.

b

IFI: Bollen's Incremental Fit Index.

c

RMSEA: Root mean-square error of approximation.

Validación de constructo de factor de segundo orden de organización

La figura 1 ilustra los resultados obtenidos en el factor de organización. Las cargas factoriales de los ítems a sus respectivos factores de primer orden fueron altos y significativos, lo que probó su validez convergente, así como las cargas de los factores de primer orden al factor de segundo orden. Estas evidencias indican que el factor de segundo orden de organización se explicaba por las dimensiones de compromiso de los directivos, recursos organizacionales y énfasis generalizado en seguridad. Además, se observó que no existían asociaciones entre los factores de primer orden, lo que implicaba validez divergente.

Figura 1.

AFC del factor de segundo orden organización. Se aprecia que las cargas factoriales de regresión, en su mayor parte, son mayores que 0,30, lo que indica validez convergente, tanto de los ítems a sus factores de primer orden, como de los factores de primer orden al de segundo.

Validación de constructo del factor de segundo orden de unidad de trabajo

La figura 2 ilustra los resultados del factor de unidad de trabajo e indican que está explicado por los factores de primer orden de normas de seguridad en la unidad de trabajo y reconocimiento y apoyo a los esfuerzos de seguridad, y estos a su vez por el conjunto de ítems hipotetizados. También se observa que no existían asociaciones entre los factores de primer orden, lo que es interpretable como evidencia de validez divergente.

Figura 2.

AFC del factor de segundo orden unidad de trabajo. En la figura se aprecia que las cargas factoriales son mayores de 0,30, lo que indica validez convergente de los ítems a sus respectivos factores de primer orden. De manera similar también existe validez convergente de los factores de primer orden al de segundo.

Validación de constructo de los factores de primer orden del Individuo

La figura 3 ilustra el modelo de factores del individuo y se observa que los ítems explicaban adecuadamente la varianza de cada uno de los factores a los que se encontraban asociados, la mayor parte de sus pesos factoriales eran altos y significativos con excepción de 5 ítems que mostraban pesos factoriales menores a 0,30. Estos resultados muestran evidencia de validez convergente, mientras que las asociaciones entre el factor de aprendizaje y reconocimiento de riesgos en la seguridad y temor a la vergüenza (r = −0,15; p < 0,01) y temor a la culpa (r = −0,15; p < 0,01) demuestran evidencia de validez divergente, aunque la asociación entre temor a la vergüenza y temor a la culpa es muy alta (r = 0,98; p < 0,01), lo que podría representar una amenaza de validez divergente.

Figura 3.

AFC de los factores de primer orden de individuo. Se aprecia que las cargas factoriales de regresión, en su mayor parte, son mayores que 0,30, lo que indica validez convergente.

Finalmente, de los 43 ítems iniciales del instrumento se eliminaron 11 por carecer de validez convergente con la dimensión a la que pertenecían hipotéticamente. Con los 32 ítems restantes se procedió a realizar la calibración de reactivos.

Calibración de ítems: una aproximación desde la Teoría de la respuesta al ítem

Una vez que fueron identificados los ítems con mejores pesos factoriales se calibraron utilizando el modelo de respuesta graduada de Samejima¹⁶, con el objetivo de estimar sus propiedades psicométricas: 1) índice de discriminación, es decir con cuánta precisión el ítem es capaz de diferenciar efectivamente entre sujetos; y 2) los errores estándar de las mediciones.

De acuerdo con Baker¹⁸ los índices de discriminación se consideran altos cuando son mayores que 0,65, en los resultados 30 ítems cumplieron con ese criterio, con valores > 1,00, mientras que demostraron tener errores estándar < 050, lo que indicaba que los reactivos tenían la propiedad psicométrica de distinguir eficientemente entre poblaciones y sujetos, además de ser precisos y acumular poco error estándar. Los 2 reactivos restantes tuvieron índices de discriminación regular (entre 0,50 y 0,64 de acuerdo con Baker¹⁸) y con errores estándar también inferiores a 1,00. El instrumento final puede apreciarse en el anexo 1.

Discusión

A partir de los resultados creemos que el CCSS es un instrumento que cuenta con validez de contenido, fiable, y que sus ítems son sensibles a medir distintos niveles de los atributos de las dimensiones del instrumento. Creemos que el CCSS ha demostrado tener validez de constructo convergente y divergente, por lo que puede considerarse un instrumento con las propiedades psicométricas necesarias y suficientes para evaluar el clima de seguridad del paciente en centros hospitalarios en México.

Los métodos estadísticos y psicométricos utilizados en el proceso de validación fueron rigurosos metodológicamente conforme al nivel de los estándares internacionales utilizados en otras investigaciones^2,11–13.

En estas condiciones fue posible observar correlaciones entre errores de ítems de diferentes factores, lo que podría indicar que estos ítems, además de medir atributos de su propio factor, se encuentran midiendo otras propiedades diferentes que no fueron objeto de este estudio. Estas evidencias indican que aunque la mayor parte de los ítems no presentan estas características, existen algunos otros que requieren de más análisis para asegurar que midan las propiedades que deben de medir.

En conclusión, y en las condiciones del estudio, creemos que el CCSS es uno de los pocos instrumentos disponibles en español, válido y fiable que es capaz de identificar el nivel de clima de seguridad del paciente en hospitales, brindado la posibilidad a los directivos y administradores de establecer líneas de acción estratégicas que permitan la mejora continua y establecer programas para fomentar una cultura de seguridad del paciente con el fin de mejorar la calidad en la atención.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses.