Valoración de la relación clínica centrada en el paciente: análisis de las propiedades psicométricas de la escala CICAA

Resumen

Objetivo

Analizar las propiedades psicométricas de una escala de valoración de la comunicación clínica centrada en el paciente.

Diseño

Estudio observacional de validación de un instrumento de medida.

Emplazamiento

Centros de salud y consultas externas hospitalarias.

Participantes

Tres investigadores valoraron independientemente entrevistas videograbadas de diferentes submuestras: profesionales sanitarios (médicos residentes de medicina de familia, médicos de familia, médicos de atención especializada, enfermeras de atención primaria), pacientes reales que consultan por problemas de salud crónicos y agudos, y pacientes estandarizados.

Mediciones principales

Dimensionalidad (análisis factorial exploratorio), consistencia interna (alfa de Cronbach), concordancia intraobservador e interobservador (índice kappa, coeficiente de correlación intraclase [CCI] y generalizabilidad), sensibilidad al cambio (prueba de la t de Student) y validez convergente con el cuestionario GATHA (coeficiente de correlación de Pearson).

Resultados

Se han identificado 6 factores que explican el 66,0% de la varianza. La consistencia interna global del test fue α=0,94. La concordancia global intraobservador, medida con el CCI, osciló entre 0,94 y 0,97, mientras que la concordancia global interobservador estuvo entre 0,82 y 0,90. El número de cuestionarios a cumplimentar por evaluador para obtener una reproducibilidad adecuada (generalizabilidad) osciló entre 6 y 12. No se alcanzó significación estadística al comprobar la sensibilidad al cambio. La escala CICAA y el cuestionario GATHA presentaron una correlación de 0,67.

Conclusiones

La escala CICAA es una herramienta genérica de valoración de la comunicación clínica centrada en el paciente que puede utilizarse en diferentes contextos y situaciones clínicas, ya que demuestra ser fiable, válida y eficiente.

Abstract

Objective

To analyse the psychometric properties by a scale for evaluating patient centered clinical communication.

Design

Validation and observational study of a measurement tool.

Setting

Health centres and hospital outpatient clinics.

Participants

Three researchers independently evaluated video recorded interviews of different sub-samples: health professionals (family medicine medical residents, family doctors, specialist care physicians, and primary care nurses), actual patients who consulted for chronic or acute health problems, and standardised patients.

Primary measurements

Dimensionality (exploratory factor analysis), internal consistency (alpha de Cronbach), intra- and inter-observer agreement (Kappa index, intraclass correlation coefficient [ICC], generalisability), sensitivity to change (Student t test) and convergent validity with the GATHA questionnaire (Pearson correlation coefficient).

Results

Six factors have been identified that explain 66.0% of the variance. The overall internal consistency of the test was α=0.94. The overall intra-observer agreement, measured with the ICC, varied between 0.94 and 0.97, whilst the inter-observer was between 0.82–0.90. The number of completed questionnaires required for the evaluator to obtain adequate reproducibility (generalisability) varied between 6 and 12. Statistical significance was not obtained when testing the sensitivity to change. The CICAA scale and the GATHA questionnaire had a correlation of 0.67.

Conclusions

The CICAA scale is a generic patient centered clinical communication evaluation tool that may be used in different clinical contexts and situations, since it has shown to be reliable, valid and efficient.

Introducción

En los últimos años se han desarrollado numerosos métodos para analizar la comunicación asistencial. Los que valoran las conductas comunicativas del profesional son los que más se utilizan, por ser más simples y prácticos que los de codificación y de análisis interaccional^1–3. La valoración puede realizarse por un observador externo o por los implicados en el encuentro clínico. Aunque la percepción de los pacientes guarda una relación más estrecha con diversos resultados^4,5, parece que los observadores externos son más objetivos^1,6. Éstos se valen generalmente de cuestionarios, tanto en forma de listados de comprobación (checklists), que valoran dicotómicamente si se dan o no las conductas comunicativas, como de escalas (rating scales), que permiten valorar el grado en que el profesional desarrolla determinados comportamientos².

Algunos autores apuntan que muchos de estos cuestionarios no parten de un modelo teórico bien definido, pocos han documentado su validez y fiabilidad, la correspondencia con los componentes de los modelos y definiciones actuales del método centrado en el paciente no suele ser alta y algunos de éstos fallan en valorar aspectos contextuales y de comunicación no verbal^3,7–9.

En nuestro país el instrumento más utilizado es el cuestionario GATHA. Al ser de tipo checklist es objetivo y práctico, pero presenta algunas limitaciones, como que no se basa en un modelo teórico de entrevista consistente y bien definido, es poco discriminativo, aporta escasa información y no es útil para valorar aspectos como la idoneidad de las respuestas ante las emociones, el proceso de información o la participación del paciente en la consulta.

Nuestro grupo ha definido en los últimos años un nuevo modelo teórico de comunicación asistencial, enmarcado en los modelos de entrevista orientados por objetivos^1,10 y basado en el concepto de “comunicación clínica centrada en el paciente”^2,3. Lo hemos denominado “semiótico-rizomático”¹¹, ya que entiende la comunicación como un intercambio de multitud de signos y conductas dentro del contexto clínico (semiosis); estas interrelaciones conforman una red abierta no ordenada jerárquicamente (a modo de rizoma). Operativamente, el modelo se pone en práctica a través de unas tareas básicas que el profesional sanitario desarrolla en la consulta, y que son conectar, identificar y comprender los problemas, acordar y ayudar; de ahí la denominación del modelo con el acrónimo CICAA¹¹, del cual surge la escala CICAA. A ésta ya se la sometió a un proceso de validación aparente y se la ha analizado preliminarmente¹². El presente estudio analiza propiedades psicométricas como la dimensionalidad, la fiabilidad, la concordancia, la generalizabilidad, la sensibilidad al cambio y la validez convergente.

Material y métodos

Diseño del estudio

Se ha realizado un estudio observacional descriptivo de validación de un cuestionario.

Población y muestra del estudio

Se estudiaron 2 submuestras: una heterogénea, formada por pacientes (reales y estandarizados con problemas de salud crónicos y agudos) y distintos profesionales (enfermeras de atención primaria [AP], médicos de familia y de atención hospitalaria y residentes de Medicina de Familia), y una homogénea (pacientes crónicos, médicos de familia y enfermeras de AP). Ambas se seleccionaron aleatoriamente de videograbaciones, entrevistas clínicas y estudios previos^4,13–16.

Entrenamiento de los observadores

Dos observadores realizaron un entrenamiento práctico en el uso de la escala y utilizaron como patrón oro a un experto en comunicación clínica. Se celebró una sesión inicial para analizar el propósito del instrumento y los conceptos y contenidos a evaluar. Posteriormente, valoraron independientemente unas entrevistas y mantuvieron sesiones de tutorización para discutir las dudas en la codificación de las conductas comunicativas. Se consideró que los observadores entrenados habían alcanzado una calibración adecuada respecto al experto cuando las diferencias en la valoración de cada ítem no eran superiores a 1 en la escala de 0 a 2 de que consta el instrumento.

Mediciones: la escala CICAA

Se trata de un instrumento evaluativo en el que un observador externo valora la adecuación de las conductas en una escala ordinal de 3 grados que evalúa la intensidad en la que ésta se muestra, de acuerdo con el contexto relacional. Es multidimensional, al integrar la mayoría de las metaclases que caracterizan las interacciones clínicas¹⁷. Consta de 29 ítems agrupados en las 4 tareas que dan nombre al cuestionario. Se ha elaborado un manual para facilitar su tratamiento¹⁸. En un estudio preliminar, la escala demostró tener una validez aparente, fiabilidad y concordancia intraobservador aceptables¹².

Análisis estadístico

Las dimensiones subyacentes se estudiaron mediante un análisis factorial de tipo exploratorio¹⁹. Se empleó el método de componentes principales, se calcularon sus autovalores y se extrajeron los que cumplían los criterios de normalización de Kaiser-Guttman. A la matriz resultante se le realizó una rotación de tipo Varimax. Las relaciones entre los diferentes componentes se calcularon con el coeficiente de correlación de Pearson. La conveniencia de la muestra se midió con el índice de Kaiser-Meyer-Olkin y el test de esfericidad de Barlett.

Utilizamos el coeficiente α de Cronbach para valorar la consistencia interna tanto global de la escala como en cada investigador y submuestra. Para determinar la concordancia intraobservador e interobservador de cada ítem utilizamos el índice ponderado Kappa (κ) de Cohen, y para las puntuaciones globales de la escala el coeficiente de correlación intraclase (CCI). Los valores resultantes se interpretaron según criterios preestablecidos²⁰: κ >0,75 (acuerdo excelente); 0,75–0,40 (buen acuerdo) y <0,40 (pobre grado de acuerdo). Al aplicar la teoría de la generalizabilidad, se puede predecir el número necesario de evaluaciones que se realizarán para conseguir una valoración fiable. Para esto, medimos con el CCI la concordancia de la puntuación global en una serie consecutiva de casos. Arbitrariamente, un evaluador alcanza una fiabilidad suficiente cuando comienza a obtener un valor de CCI superior a 0,8¹⁹.

Para determinar la sensibilidad al cambio se comparó, mediante la prueba de la t de Student para datos apareados (p≤0,05), la puntuación media de la escala de un grupo de entrevistas antes y después de una intervención o proceso formativo^16,21. Se seleccionaron sólo entrevistas que habían obtenido mayores puntuaciones tras la intervención o el proceso formativo medidas con el cuestionario GATHA. Para analizar la validez convergente se compararon con el coeficiente de correlación de Pearson los resultados globales obtenidos con la escala CICAA con los del cuestionario GATHA-RES en las mismas entrevistas²².

Esquema general del estudio Estudio estudio observacional descriptivo de validación de un cuestionario de medida a partir de una muestra de videograbaciones realizadas en atención primaria y hospitalaria.

Resultados

Se identificaron 6 factores que explican el 66,0% de la varianza (tabla 1). Las correlaciones entre ellos se pueden observar en la tabla 2.

Tabla 1.

Factores identificados a partir del análisis factorial con su correspondencia con los ítems de la escala y proporción de la varianza explicada por cada dimensión^*

Factor	Nombre del factor	Ítems	varianza, %
1	Exploración de la esfera psicosocial	5, 10, 11, 12, 13, 14, 15, 16, 18, 26	28,6
2	Información	21, 22, 23, 24, 28	16,7
3	Escucha activa	2, 4, 7, 8, 9, 20	7,7
4	Discusión sobre la toma de decisiones y compromisos finales	6, 25, 29	4,5
5	Tratamiento del desacuerdo	27	4,4
6	Recibimiento	1	4,1

*

Índice de Kaiser-Meyer-Olkin = 0,88, test de esfericidad de Barlett = 2.817,01 (p < 0,0001) y n = 196.

Tabla 2.

Matriz de correlaciones entre factores (F)^*

	F 1	F 2	F 3	F 4	F 5	F 6
F 1	1
F 2	0,35	1
F 3	0,56	0,35	1
F 4	0,65	0,29	0,49	1
F 5	0,14	0,02^*	0,13^*	0,07^*	1
F 6	0,12^*	0,22	0,36	0,31	0,01^*	1

*

Todos los resultados son significativos (al nivel de p<0,05; prueba bilateral), excepto los señalados con asterisco; n = 196.

El valor de α de Cronbach global de las 115 entrevistas evaluadas fue de 0,94. Se mantuvieron valores similares al analizar la consistencia interna en las submuestras y en los evaluadores (submuestra homogénea: α=0,91; submuestra heterogénea: α=0,95; experto: α=0,95; evaluador entrenado n.^o 1: α=0,94, y evaluador entrenado n.^o 2: α=0,92).

En las tablas 3 y 4 aparecen los resultados del análisis de la concordancia. Sobre la reproducibilidad intraobservador, ningún ítem presentó valores de κ bajos de forma consistente en las 3 comparaciones realizadas. En el caso de la reproducibilidad interobservador, 3 ítems alcanzaron valores de κ por debajo de 0,4 de forma sistemática en las 3 comparaciones.

Tabla 3.

Fiabilidad interobservador e intraobservador del experto y los 2 observadores entrenados: distribución del comportamiento de los ítems de la escala en función del nivel de los índices kappa

	Intraobservador			Interobservador
Índice kappa	Exp	O1	O2	Exp frente a O1	Exp frente a O2	O1 frente a O2
	MHt	MHo	MHt	MHt	MHt	MHt
	n = 31	n = 37	n = 30	n = 24	n = 24	n = 61
>0,75	7	8	0	1	1	0
0,40–0,75	19	19	26	16	15	10
<0,40	3	2	3	12	13	19

Exp: experto; MHo: muestra homogénea; MHt: muestra heterogénea; O1 y O2: observadores entrenados (n.° 1 y n.° 2).

Tabla 4.

Concordancia intraobservador e interobservador: valor del coeficiente de correlación intraclase de las puntuaciones totales obtenidas en cada tarea y globales de la escala CICAA de los 2 observadores entrenados y el experto

	Intraobservador			Interobservador
	Exp	O1	O2	Exp frente a O1	Exp frente a O2	O1 frente a O2
	MHt	MHo	MHt	MHt	MHt	MHt
	n = 31	n = 37	n = 30	n = 24	n = 24	n = 61
Tarea 1	0,95	0,98	0,85	0,77	0,89	0,74
Tarea 2	0,97	0,95	0,94	0,82	0,90	0,79
Tareas 3 y 4	0,91	0,94	0,90	0,76	0,74	0,73
Global	0,96	0,97	0,94	0,82	0,90	0,82

Exp: experto; MHo: muestra homogénea; MHt: muestra heterogénea; O1 y O2: observadores entrenados (n.° 1 y n.° 2).

Para el análisis intraobservador, el número de cuestionarios que debe rellenar un evaluador para obtener una reproducibilidad suficiente en el instrumento osciló entre 6 (experto) y 9 (observadores entrenados), y para la concordancia interobservador, entre 9 (comparaciones entre experto y observadores entrenados) y 12 (comparación entre observadores entrenados).

Se analizó la capacidad del instrumento para detectar cambios en 100 entrevistas (tabla 5).

Tabla 5.

Comparación entre la media de las puntuaciones totales de la escala CICAA en el grupo de sujetos estudiados antes y después de la intervención formativa^a

Situación	Media	Dm	IC del 95%	p^b
Postintervención	15,90	2,84	−0,35 a 6,03	0,08
Preintervención	13,06

Dm: diferencia de las medias; IC: intervalo de confianza.

a

n = 100.

b

Significación estadística de la prueba de la t de Student para los datos apareados.

La validez convergente se calculó en una muestra de 138 entrevistas. La media de la puntuación global obtenida con el cuestionario GATHA-RES fue de 12,58 sobre un máximo de 54 puntos (desviación estándar [DE] de 3,55); con la escala CICAA la media fue de 12,77 sobre un máximo de 58 puntos (DE de 7,22). La correlación entre ambos fue de 0,67 (p < 0,001) (fig. 1).

Figura 1.

Correlación entre las puntuaciones totales obtenidas con el cuestionario GATHA y las de la escala CICAA.

Discusión

La escala CICAA presenta una fiabilidad, una reproducibilidad y una generalizabilidad adecuadas, así como una convergencia moderada con otro cuestionario relacionado. Nuestro estudio presenta, sin embargo, algunas limitaciones. Así, el refinamiento del instrumento y de su manual de usuario se fue realizando a medida que progresaba el entrenamiento, con lo que los evaluadores podrían haber modificado la forma de evaluar algunos ítems. Para evitar este sesgo, previamente se realizó un pilotaje con una muestra reducida, y las videograbaciones que se emplearon en el entrenamiento y el pilotaje no se incluyeron en el análisis final. Además, el adiestramiento de los evaluadores no concluyó hasta que se consiguió un ajuste adecuado respecto al experto. Por otra parte, la muestra de este estudio se seleccionó de un pool de videograbaciones de estudios previos donde no se habían empleado técnicas de muestreo probabilístico, lo que pudo entonces comprometer la validez externa. Al ser un estudio de validación de un instrumento de medida y no de estimación de prevalencias o de evaluación de intervenciones, este hecho no es tan relevante, y es prioritario garantizar que las muestras empleadas sean heterogéneas y abarquen el espectro de situaciones posibles en las que se pretende emplear el cuestionario, aspecto que parece estar asegurado.

Al analizar los resultados, podemos observar que los valores de consistencia interna obtenidos son muy altos, lo que indica que es una escala muy homogénea. Una consistencia interna por encima de cierto nivel podría tener un efecto negativo al disminuir la capacidad de la escala para representar los elementos variados de un constructo¹⁹. De ser así, el análisis de la dimensionalidad de la escala tendería probablemente a develar un número muy escaso de componentes. En nuestro caso, el análisis factorial identificó 6 componentes que explican una proporción importante de la varianza, con lo que pensamos que la alta consistencia interna no ha reducido de una forma relevante la habilidad de la escala para representar los diversos aspectos del mismo concepto.

Se pueden observar varios fenómenos en el análisis de la reproducibilidad. Primero, la concordancia obtenida cuando es un único observador el implicado es más alta que la conseguida entre 2 observadores, lo que ilustra que a mayor número de evaluadores más probable es que exista variabilidad¹⁹. Segundo, el experto tiende a valorar las entrevistas con mayor puntuación que los observadores entrenados, ya que posiblemente identifique más fácilmente que los noveles los elementos comunicativos donde están presentes. Además, los expertos podrían tener una mayor propensión a interpretar los elementos comunicativos aislados en el contexto global de la entrevista²³. Tercero, en la muestra de contenidos más homogéneos la reproducibilidad intraobservador es mayor que en la población heterogénea. Esto puede deberse a que en esta muestra la estructura de las consultas y sus contenidos eran más predecibles, lo que hace más fácil su valoración. Finalmente, aunque los niveles del CCI globales fueron muy altos, algunos ítems han obtenido valores del indicador κ bajos, fundamentalmente por 2 fenómenos: las debilidades propias de este último estadístico, dado que se ve afectado por la prevalencia del rasgo estudiado²⁴, o por ser ítems de difícil valoración³, lo que muestra la importancia del entrenamiento para disminuir la variabilidad de las respuestas y facilitar la cumplimentación de cada ítem.

Algunos cuestionarios que valoran las conductas comunicativas desde un enfoque por tareas han aportado datos sobre su reproducibilidad. De entre las escalas evaluativas, como la nuestra, la Eurocommunication Scale obtuvo valores del CCI en el análisis interobservador de 0,34²⁵. Otras, como el Four Habits Coding Scheme²⁶ y el Common Ground²⁷, han utilizado estadísticos diferentes al CCI, por lo que sus resultados no pueden compararse con los nuestros. Respecto al cuestionario GATHA, nuestros datos se encuentran a similar nivel²², con la salvedad de que éste, al ser de tipo checklist, permite alcanzar mayores niveles de concordancia que las escalas de tipo rating⁹.

Con los cálculos de la reproducibilidad se puede estimar el número de cuestionarios necesarios por evaluador para conseguir mediciones reproducibles, siendo una medida de su eficiencia. Para nuestra escala, se alcanza una concordancia adecuada con sólo 6–12 casos, por debajo de lo recomendado (12–15 casos⁸), similar a lo obtenido por otros cuestionarios, como el MAAS (8–10 casos)²⁸. Por regla general, las escalas de tipo checklist, al ser más fiables, precisan menor número de entrevistas (5 para el Common Ground²⁷ y 7 para el Leicester Assessment Package²⁹).

Los resultados de la sensibilidad al cambio señalan que los sujetos que habían mejorado de forma significativa respecto a la situación basal después de la intervención o la evaluación del proceso formativo-asistencial, obtenían una mayor puntuación con la escala CICAA. Sin embargo, las diferencias detectadas no eran significativas estadísticamente, con lo que no hemos podido demostrar si la escala tiene la habilidad de demostrar cambios donde se han producido. Probablemente con una muestra mayor que la empleada, o con el uso de algún otro parámetro estadístico más adecuado para medir la sensibilidad al cambio³⁰, se hubiesen podido mostrar otros resultados.

Hemos comprobado una moderadamente alta correspondencia entre las puntuaciones obtenidas con los cuestionarios GATHA y CICAA, ya que son métodos concurrentes que podrían estar midiendo el mismo criterio, aún con estructura y contenidos distintos. Muy pocos sistemas de evaluación han analizado su convergencia con otros previamente existentes y cuando se ha calculado su correlación, por regla general, fue baja. Así, el Four Habits Coding Scheme alcanzó, al compararlo con el método RIAS, un valor en el coeficiente de correlación de 0,37²⁶; Mead y Bower compararon el método RIAS con el Eurocommunication Scale y, a su vez, éste último con el Patient Centred Method, por lo que los coeficientes de correlación fueron de 0,37 y de 0,35, respectivamente²⁵.

Una herramienta de medición debe ser útil y práctica. Así, su cumplimentación debe llevar un tiempo razonable. Cada entrevista requiere aproximadamente el doble de su duración real para valorarse con la escala CICAA, de forma similar a otros instrumentos como el Common Ground²⁷, el Four Habits Coding Scheme²⁶ y el GATHA²². El calibraje en los observadores respecto al experto durante el entrenamiento se consiguió tras 12 entrevistas y 4 sesiones de tutorización, que en total ocuparon aproximadamente 6 h, tiempo inferior al empleado en otros estudios con diferentes instrumentos^10,25,26. Todo esto, sumado al hecho de que contiene sólo 29 ítems, que dispone de un manual del usuario y que la tecnología y los costes precisos para su puesta en práctica son asumibles, hace factible y práctico el método de valoración de la relación clínica con la escala CICAA.

Por último, diversos autores recomiendan que los cuestionarios de medición de la comunicación clínica presenten determinadas cualidades^2,8,9. La escala CICAA cumpliría con estos criterios, al estar fundamentada en un modelo teórico sólido, ser multidimensional, y haber demostrado su validez y fiabilidad. En el futuro se deberán valorar aspectos como su correlación con los resultados en la salud (validez de constructo), y su utilidad en situaciones clínicas concretas (p. ej., entrevistas con pacientes con discapacidad comunicativa) o en circunstancias especiales (p. ej., comunicación de malas noticias o proceso de toma de decisiones clínicas).

Lo conocido sobre el tema

• •

  Existen métodos muy diversos que permiten valorar la comunicación clínica mantenida entre el profesional sanitario y el paciente desde diferentes perspectivas y modelos.

• •

  El cuestionario GATHA es hasta la fecha el instrumento más utilizado en nuestro país para valorar la comunicación asistencial, pero su uso ha develado una serie de limitaciones.

Qué aporta este estudio

• •

  La escala CICAA es una herramienta genérica de valoración de la comunicación clínica centrada en el paciente que demuestra ser fiable, válida y práctica.

• •

  La correlación existente entre el cuestionario GATHA y la escala CICAA indica que son métodos concurrentes, aún con estructura y contenidos distintos.

Financiación

Sociedad Española de Medicina de Familia y Comunitaria (semFYC), Sociedad Andaluza de Medicina Familiar y Comunitaria (SAMFyC), Consejería de Salud de la Junta de Andalucía (Expediente 142/2005), Laboratorios Dr. Esteve.

Agradecimientos

A Antonia Alba por su soporte técnico en las videograbaciones.

A los miembros del Grupo Comunicación y Salud de Sociedad Española de Medicina de Familia y Comunitaria por su participación en la elaboración y validación de la escala CICAA.