El objetivo de este estudio fue validar la versión en español del Communication Assessment Tool (CAT), para ser utilizada por pacientes estandarizados en un examen clínico objetivo estructurado (OSCE), con el fin de evaluar habilidades de comunicación centrada en el paciente de manera estandarizada.
MétodosPacientes estandarizados evaluaron a 125 médicos recién graduados durante un OSCE de 12 estaciones. Un total de 1.500 resultados de CAT fueron analizados. Se llevó a cabo análisis factorial exploratorio y confirmatorio, así como análisis de confiabilidad.
ResultadosEncontramos un solo factor en la versión en español del CAT, similar a lo descrito por el autor original. El alfa de Cronbach fue de 0,93 a 0,97. El promedio de «excelentes» fue del 38,07%.
ConclusionesLa versión en español del CAT puede ser utilizada en OSCE por pacientes estandarizados para evaluar habilidades de comunicación de una manera estandarizada.
The aim of this study was to validate the Spanish version of the Communication Assessment Tool (CAT) to be used in an Objective Structured Clinical Evaluation (OSCE) to assess communication skills.
MethodsData were collected from standardized patients evaluating 125 recent medical school graduates during a 12-station OSCE. A total of 1,500 completed CAT instruments were analyzed. Exploratory and confirmatory factorial analysis were performed and tested the internal consistency of the tool.
ResultsWe found a single factor solution in the Spanish version of the instrument, similar to that described by the original author. Cronbach's alpha was high, ranging from 0.93 to 0.97. The overall mean percentage of ‘excellent’ ratings for the recent graduates was 38.07%.
ConclusionsThe Spanish version of CAT is a feasible tool to be used in OSCE by standardized patients to assess communication skills in a standardized manner.
Las habilidades de comunicación efectiva se han relacionado con mejoras en la obtención de historias, adherencia al tratamiento, resultados clínicos y satisfacción del paciente1–3. La comunicación eficaz médico-paciente va más allá de la obtención y entrega de información; también implica promover relaciones que habiliten a los pacientes para una atención centrada en sus necesidades4. La atención centrada en el paciente se ha convertido en un concepto clave a nivel mundial2, como reacción a la atención centrada en el médico o en la enfermedad5. Se han propuesto muchas definiciones de atención centrada en el paciente6. Una de las más completas7 consta de 6 dimensiones interconectadas: i) explorar la enfermedad y la experiencia de la misma; ii) comprender a la persona en su totalidad; iii) encontrar un terreno común entre médico y paciente; iv) incorporar la prevención y la promoción de la salud; v) mejorar la relación médico-paciente, y vi) «ser realista» sobre las limitaciones personales o la disponibilidad de tiempo y recursos.
Aun cuando las habilidades de comunicación son parte de las competencias centrales para la formación de pregrado médico a nivel internacional8–10, en Chile no hay un marco exclusivo y explícito para su enseñanza, aunque muchas facultades de medicina utilizan un enfoque centrado en el paciente.
Los exámenes clínicos objetivos estructurados (OSCE) se han utilizado en Chile para evaluar competencias clínicas11. Pese a ello no hay reportes de instrumentos con evidencias de validez y confiabilidad para medir habilidades de comunicación en estos contextos. Existen instrumentos reportados en la literatura para medir las habilidades de comunicación con diferentes propósitos12,13. Sin embargo, hay pocos instrumentos para ser usados en contextos de OSCE o simulados14–16.
Communication Assessment Tool (CAT) es un instrumento confiable y válido que se utiliza para evaluar la percepción que tienen los pacientes reales de la capacidad de comunicación centrada en el paciente de médicos y residentes13. Es sencillo de entender, consta de 14 descriptores en una escala de 5 puntos (1=pobre; 5=excelente). Los autores recomiendan recopilar 20-30 respuestas de diferentes pacientes17,18, aunque el mínimo aceptable según la teoría de generalizabilidad de Rasch es 1219. El CAT ha sido utilizado en papel, en línea y por teléfono20–22 y en diferentes áreas de la medicina. Sus resultados se reportan como el porcentaje de ítems «excelente». Se ha reportado una media del 70,0% de excelentes para residentes de cirugía23, y de un 69,7% para residentes de medicina familiar24. Este instrumento ya ha sido utilizado para evaluar la comunicación médico-paciente en contexto clínico con nuestros estudiantes, por lo que nos parece adecuado utilizarlo en OSCE, donde se obtienen mediciones por diferentes pacientes estandarizados (PE), sin embargo, no cuenta con evidencias de validez para su aplicación en este tipo de exámenes.
El objetivo de esta investigación fue validar la versión en español del CAT, para ser utilizada por PE en un OSCE, con el fin de evaluar habilidades de comunicación centrada en el paciente de manera estandarizada.
MétodoEste estudio utilizó un diseño de corte transversal, no experimental.
ParticipantesSe invitó a 481 médicos recién graduados de 6 escuelas de medicina chilenas a participar en un OSCE administrado a lo largo del país. Un total de 125 médicos aceptaron participar voluntariamente (26%). El 55,1% de los participantes eran mujeres. La edad promedio fue de 24±0,6años, sin diferencias por género.
Procedimiento (organización del examen)Se diseñó un OSCE de 12 estaciones para evaluar las competencias clínicas de médicos recién graduados11. Todos los casos incluyeron evaluación de la comunicación acorde a las 6 dimensiones de Stewart7. Dos de las estaciones presentaron «comunicación difícil» relacionadas con las dimensiones II y IV. Consideramos comunicación difícil cuando las necesidades del paciente iban en contra de las recomendaciones clínicas adecuadas a la biología del escenario (caso de paciente con apendicitis que rechaza hospitalización, y caso de paciente con lumbago agudo que se resiste a la indicación de reposo y cambio de hábitos, por su necesidad de trabajar). Cada estación tuvo una duración de 15minutos, 8minutos para el encuentro con el PE, durante los cuales los examinados debían conducir la historia clínica, realizar examen físico y comunicarse con el paciente, y 7minutos posteriores donde debían proponer por escrito los diagnósticos diferenciales con sus planes diagnósticos y/o terapéuticos asociados, mientras eran evaluados por los PE.
En este estudio participaron 60 PE, organizados en 5 circuitos OSCE, habiendo 5 actores para cada representación. Cada PE evaluó una sola estación. Los OSCE fueron implementados de manera simultánea en universidades de 4 ciudades de Chile. Los PE eran actores profesionales, fueron entrenados, mediante guiones y videos, para estandarizar el desempeño. Adicionalmente fueron entrenados en el uso de la pauta y los criterios de evaluación de la comunicación, con un criterio consensuado común para todas las universidades participantes. Aunque tuvieron 7minutos por estación para completar el CAT, el tiempo promedio utilizado fue de 2minutos. El número total de evaluaciones CAT recolectadas fue de 1.500.
La versión en español del CATPara asegurar que el CAT fuera apropiado para el contexto cultural chileno, se realizó una doble traducción y una adaptación cultural del instrumento de acuerdo con guías internacionales25. Se testeó la versión en español con 18 médicos clínicos y 60 PE de diferentes regiones del país. Se logró un consenso entre los traductores bilingües, investigadores y PE, y todos los ítems fueron comprensibles para los distintos grupos. La traducción inicial no requirió cambios (Anexo A).
Análisis estadísticoPara la validación de constructo se realizó análisis factorial exploratorio (AFE) usando el análisis del eje principal (AEP) para estimar la dimensionalidad interna de la escala en cada estación evaluada y mediante 3 procedimientos: análisis de relevancia del AFE para los datos recolectados (prueba de adecuación de muestreo Kaiser-Meyer-Olkin [KMO] y prueba de esfericidad de Bartlett); estimación del número de factores utilizando 3 criterios complementarios (criterio de Kaiser-Guttman, prueba de Catell y análisis paralelo de Horn), y la definición de la estructura factorial del cuestionario usando AEP con rotación oblicua Promax26. Finalmente, se realizó el análisis factorial confirmatorio (AFC)27.
Se evaluó la consistencia interna mediante alfa de Cronbach. Para el análisis se utilizó SPSS 21.
ResultadosEl AFE indica que los 14 ítems podrían ser asignados a un solo factor en 10 de las estaciones. En la estación 2 y 4, el AFE indicó la presencia de 2 factores (tabla 1).
Evaluación de la relevancia del análisis factorial exploratorio y el número de factores y el alfa de Cronbach
| Criterio para la evaluación de la relevancia del análisis | Criterio para la definición del número de los factores | Alfa de Cronbach | ||||
|---|---|---|---|---|---|---|
| KMO | Bartlett | Kaiser | Catell | Horn | ||
| Estación 1 | 0,90 | 1.017,0* | 1 factor (6,87) | 1 factor | 1 factor (0,56) | 0,93 |
| Estación 2 | 0,91 | 1.486,3* | 2 factores (8,28 y 1,33) | 2 factores | 2 factores (0,59 y 0,46) | 0,95 |
| Estación 3 | 0,93 | 1.589,4* | 1 factor (8,69) | 1 factor | 1 factor (0,75) | 0,95 |
| Estación 4 | 0,93 | 1.567,5* | 2 factores (8,58 y 1,09) | 2 factores | 2 factores (0,80 y 0,71) | 0,95 |
| Estación 5 | 0,92 | 1.065,9* | 1 factor (7,44) | 1 factor | 1 factor (0,69) | 0,93 |
| Estación 6 | 0,93 | 1.623,3* | 1 factor (9,05) | 1 factor | 1 factor (0,78) | 0,96 |
| Estación 7 | 0,93 | 1.519,6* | 1 factor (8,69) | 1 factor | 1 factor (0,85) | 0,95 |
| Estación 8 | 0,91 | 1.707,95* | 1 factor (9,07) | 1 factor | 1 factor (0,74) | 0,96 |
| Estación 9 | 0,91 | 1.694,39 | 1 factor (9,23) | 1 factor | 1 factor (0,69) | 0,96 |
| Estación 10 | 0,95 | 1.941,09 | 1 factor (9,96) | 1 factor | 1 factor (0,64) | 0,97 |
| Estación 11 | 0,92 | 1.411,77 | 1 factor (8,34) | 1 factor | 1 factor (0,75) | 0,94 |
| Estación 12 | 0,93 | 1.643,14 | 1 factor (9,04) | 1 factor | 1 factor (0,77) | 0,96 |
*p<0,001.
En el caso de las estaciones 2 y 4, todos los ítems presentaron al menos una carga factorial significativa. Siete ítems en la segunda estación (4, 6, 7, 9, 10, 13 y 14) y 4 en la cuarta estación (1, 4, 9 y 13) presentaron cargas significativas para ambos factores, lo cual significa que todos estos ítems representan a ese factor común, que es la comunicación con el paciente. El AFC comparó los resultados de un factor y 2 factores; la solución de un factor se ajustó de mejor manera.
Consistencia internaLa consistencia interna expresada en el coeficiente alfa de Cronbach fue alta, con un rango de 0,93 a 0,97 en las diferentes estaciones.
Desempeño de los examinadosLos puntajes fueron reportados como porcentaje de «excelentes» obtenidos en cada estación. El puntaje promedio final fue de 38,07% (DE±15,8; rango de 5,4-82,77%) (tabla 2).
Porcentaje promedio de excelentes por ítem en el CAT
| Ítem | % promedio de excelentes | |
|---|---|---|
| 1 | Me saludó de una manera que me hizo sentir cómodo/a | 36 |
| 2 | Me trató con respeto | 50 |
| 3 | Mostró interés en mis ideas sobre mi salud | 36 |
| 4 | Comprendió mis principales preocupaciones sobre mi salud | 38 |
| 5 | Me puso atención (me miró, escuchó cuidadosamente) | 46 |
| 6 | Me dejó hablar sin interrupciones | 38 |
| 7 | Me dio toda la información que yo quería | 41 |
| 8 | Habló en términos que pude entender | 45 |
| 9 | Se aseguró que entendí todo lo que me dijo | 30 |
| 10 | Me animó a hacerle preguntas | 26 |
| 11 | Me incluyó en decisiones hasta donde yo quería participar | 21 |
| 12 | Habló conmigo de los siguientes pasos sobre mi tratamiento, incluso de los planes de seguimiento | 39 |
| 13 | Mostró su interés y preocupación | 38 |
| 14 | Me dedicó la cantidad debida de tiempo | 42 |
CAT: Communication Assessment Tool.
Los ítems con el más alto porcentaje de «excelentes» fueron el n.o 2, el n.o 5 y el n.o 8. Los porcentajes más bajos corresponden a los ítems n.o 9, n.o 10 y n.o 11.
Análisis de regresión lineal múltipleUn análisis de regresión lineal fue realizado para evaluar la capacidad predictiva de los puntajes promedios del CAT considerando el género de los participantes, de los PE y la existencia de desafíos en la comunicación. Los resultados mostraron que este set de predictores es estadísticamente significativo para predecir sólo el 2,8% del desempeño (F (3, 1.520)=8,53; p<0,001) (tabla 3).
Resultados de la regresión lineal múltiple sobre el efecto del género del examinado, el género del PE, y la existencia de un desafío de comunicación en el CAT
| B | ES | β | sr2 | |
|---|---|---|---|---|
| Constante | 56,68 | |||
| Sexo del evaluado (1=Mujer) | 0,85 | 0,61 | 0,04 | <0,01 |
| Sexo del PE (1=Mujer) | −1,92* | 0,66 | −0,08 | 0,01 |
| Desafío de comunicación (1=Sí) | −3,24** | 0,63 | −0,13 | 0,02 |
| R2=0,03**; R2 ajustado=0,03 |
B: coeficiente de regresión no estandarizado; β: coeficiente de regresión estandarizado; CAT: Communication Assessment Tool; ES: error estándar; PE: paciente estandarizado; sr2: coeficiente de correlación semiparcial al cuadrado; R2=coeficiente de determinación. N=200.
Aunque el CAT fue creado para evaluar la comunicación médico-paciente con pacientes reales13, nuestro estudio mostró que es un instrumento válido y confiable para su uso en OSCE por parte de PE, incluyendo los 14 descriptores originales. Para los PE fue posible evaluar al examinado usando CAT dentro del mismo tiempo de duración de cada estación, sin agregar tiempo al examen. Para aumentar la coherencia y exhaustividad de la evaluación de habilidades de comunicación a lo largo del currículo médico se recomienda usar múltiples fuentes de información26. El contar con un instrumento para evaluar habilidades comunicacionales por PE en un OSCE contribuye a mejorar los sistemas de evaluación.
El análisis factorial identificó un único factor, similar a lo descrito en el trabajo original13, lo que refuerza que se está midiendo el mismo constructo. En forma similar, la consistencia interna fue alta, demostrando que el instrumento es útil para la evaluación de las habilidades comunicacionales en un OSCE.
Aunque los autores creadores del instrumento recomendaron usarlo de 20 a 30 veces para la evaluación de las habilidades comunicacionales de un médico, la teoría de la generalización de Rasch19 indica que esta puede ser alcanzada con 12 mediciones, que corresponde a un circuito de OSCE. La factibilidad de usar un instrumento válido y confiable para evaluar la comunicación en los OSCE es muy relevante debido a que este sistema de evaluación se ha convertido en una de las formas de certificar las competencias de los graduados en nuestro país y para la revalidación del título profesional para médicos extranjeros11,28,29. Este instrumento validado en español nos permite avanzar hacia una evaluación más integral y estandarizada, particularmente en lo referente a la comunicación.
El número de participantes que alcanzaron «excelente» fue menor que el descrito en la literatura con pacientes reales. Tres explicaciones posibles son: los participantes en este estudio fueron médicos recién graduados, con poca experiencia clínica. El desarrollo y refinamiento de las habilidades profesionales requiere práctica y feedback19. Segundo, el carácter voluntario y formativo del examen al que fueron sometidos puede influir en los resultados30. Finalmente, los PE están altamente entrenados para evaluar habilidades comunicacionales y pueden ser más exigentes en su evaluación que un paciente real30.
En el análisis de los ítems, aunque los puntajes extremos coinciden con lo reportado en la literatura, este estudio mostró mucha menor proporción de excelentes, y puede reflejar un enfoque más paternalista en la relación médico-paciente. Las escuelas de medicina chilenas necesitan realizar un mayor esfuerzo para moverse hacia un enfoque más centrado en el paciente de acuerdo a las recomendaciones internacionales18,24.
Entre las debilidades de este estudio se encuentra el uso de una muestra a conveniencia de médicos voluntarios recién egresados para someterse a un OSCE extracurricular sin implicancias individuales. Por otra parte, las habilidades comunicacionales de médicos recién egresados no necesariamente son las mismas que las de estudiantes en su proceso formativo, por lo que su uso en otras poblaciones de estudio deberá evaluarse en un futuro.
ConclusionesEl uso de la versión en español del CAT para evaluar habilidades comunicacionales es factible y los PE son capaces de completar la evaluación durante el tiempo asignado a cada estación, lo que no alarga la duración total del examen. Aunque este estudio marca un punto de partida para poder mejorar nuestros sistemas de evaluación de las habilidades comunicacionales en forma estandarizada, la determinación del punto de corte debe ser foco de futuras investigaciones.
Disponibilidad de datos y materialesLos conjuntos de datos utilizados y/o analizados durante el presente estudio están disponibles si se solicitan al autor de correspondencia.
Cuestiones de éticaEste estudio siguió los principios de la Declaración de Helsinki.
FinanciaciónEste trabajo fue financiado por un Centennial Grant for Latinamerica del National Board of Medical Examiners.
AutoríaTodos los autores contribuyeron a la concepción, diseño del estudio y análisis de los datos. SA y CB redactaron el manuscrito inicial. Todos los autores revisaron y aprobaron el manuscrito final.
Conflicto de interesesLos autores no tienen conflicto de interés que declarar.
Los investigadores agradecemos a todos los estudiantes y pacientes estandarizados que participaron voluntariamente en este estudio.
