Elaborar y validar un instrumento para medir aptitudes en soporte vital básico (SVB) y desfibrilación semiautomática (DSA) adaptado a los profesionales sanitarios de equipos de atención primaria. Proponer una versión actualizada y demostrar autosuficiencia del equipo para utilizarlo en evaluación formativa.
DiseñoValidación de instrumentos de medida. Estudio de fiabilidad con medidas repetidas tras intervención formativa.
EmplazamientoCentro de atención primaria Drassanes. Área Básica de Salud Raval Sud.
ParticipantesTreinta y siete rescatadores voluntarios (total entre médicos y enfermeras), cámara profesional, médico controlador, maniquí informatizado, 6 evaluadores.
IntervencionesMetodología de elaboración de test. Modelo Cardiff versión 3.1 (que se encuentra en internet). Ejecución: 2 series filmadas (una profesional y otra doméstica), de 26 a 25 simulaciones “tipo estación”, separadas por un mes. Taller formativo entre series. Evaluación retrospectiva de grabaciones DVD (6 evaluadores). Segunda serie nuevamente puntuada a las 3 semanas con ciego de versión filmada y orden aleatorizado.
Mediciones principalesVariables: actuaciones categorizadas de peor a mejor ejecución. Análisis psicométrico: validez (contenido/aparente). Fiabilidad test-retest, intraobservador y sensibilidad al cambio.
ResultadosRespecto al test de Cardiff (46 ítems), este test de 83 ítems contiene 38 (46%) nuevos, 34 (41%) modificados y 11 (13%) similares. La fiabilidad entre evaluadores fue excelente/buena en 51 de 62 ítems analizados; fiabilidad intraevaluador y entre filmaciones excelente/buena en todos los ítems, menos en uno; la prueba dobló la puntuación tras intervención formativa. Se propone una versión del test según las recomendaciones actuales en SVB y DSA.
ConclusionesAl no disponer de instrumentos útiles para los médicos y enfermeras de atención primaria se ha elaborado uno con suficientes garantías psicométricas y se ha probado autosuficiencia evaluativa. Se propone aplicabilidad inmediata de la versión actualizada con fines de evaluación formativa.
To prepare and validate a tool to measure Basic Life Support (BLS) and semi-automatic defibrillator (SAD) skills adapted for use by health professionals in Primary Care Teams (PCT). To propose an updated version and demonstrate self-sufficiency of the team to use it in a training evaluation.
DesignValidation of measurement tools. Study of reliability with repeated measurements after a training course.
SettingDrassanes Primary Care Centre. Raval Sud Basic Health Area. Barcelona. Spain.
ParticipantsA total of 37 voluntary resuscitators (all doctors/nurses), professional camera, medical controller, computerised mannequin, 6 evaluators.
InterventionsTest preparation methodology. Cardiff Model 3.1. Implementation: 2 filmed series (professional+domestic), of 26-25 “station type” simulations, separated by 1 month. A training workshop between series. Retrospective evaluation of DVD recordings (5 evaluators). 2nd series scored again at 3 weeks with a blind and random order filmed version.
Main measurementsVariables: performances classified from worse to best execution. Psychometric analysis: Validity (content/apparent). Test-retest reliability, between-observer and sensitivity to change.
ResultsCompared to the Cardiff test (46 items) our 83 item test contained 38(46%) new, 34(41%) modified and 11(13%) similar. Between-evaluator reliability, excellent/good in 51/62 items analysed; Within-evaluator and between-filming reliability, excellent/good in all except 1 item; the test score doubled after the training course. A version of the test according to BLS-SAD recommendations is proposed.
ConclusionsOn there not being useful tools available for Primary Care doctors and nurses, one has been prepared with adequate psychometric guarantees and proven self-sufficient evaluation. We propose the immediate application of the updated version for training evaluation purposes.
Las paradas cardíacas extrahospitalarias inesperadas son un problema de salud pública de primer orden1. La European Resuscitation Council (ERC) dictó en el año 2000 recomendaciones en soporte vital básico (SVB) y desfibrilación automática (DSA)2, que se actualizaron en diciembre de 20053. La “evaluación formativa” que permita orientar la formación de médicos y enfermeras en SVB y DSA debería apoyarse en instrumentos de medida de aptitudes detallados y suficientemente validados4,5. Los sistemas de evaluación utilizados en otros países suelen tener en común el formato de evaluadores con checklist de ítems y videograbación, pero presentan limitaciones importantes de aplicabilidad en el ámbito de los profesionales sanitarios6–8. No se dispone de adaptaciones al entorno español ni de estudios de autosuficiencia del proceso evaluativo por parte de los propios equipos de atención primaria (EAP). Tampoco está bien establecida la periodicidad óptima formativa ni evaluativa en SVB y DSA4,5.
El objetivo principal del estudio ha sido adaptar el test de Cardiff versión 3.1 a los requerimientos de los profesionales sanitarios del centro de salud (CS) y proceder a su validación. Los objetivos secundarios se han dirigido a: 1) apoyar la aplicabilidad del test en atención primaria y comparar filmaciones expertas y no expertas, y 2) explorar la periodicidad idónea de formación en SVB y DSA.
Material y métodosDiseño: validación de instrumentos de medida. Estudio de fiabilidad con medidas repetidas tras intervención formativa. Diseño cuasi experimental.
Sujetos y material: 37 sanitarios (total de médicos y enfermeras) del EAP Raval Sud (Centro de Atención Primaria Drassanes de Barcelona); rescatadores voluntarios; una cámara profesional, y un médico dinamizador; 6 avaluadores con grado variable de experiencia en SVB y DSA (4 médicos de familia, una enfermera y un experto del 061 instructor de SVB y DSA), y un maniquí con sistema de simulación Megacode conectado a ordenador.
Variables principales: aptitudes puntuadas de peor a mejor ejecución mediante escalas tipo Likert de 2 a 7 categorías. Puntuación total (máxima = 54 puntos) a partir de los ítems de carácter categórico valorados de manera dicotómica: ejecución correcta, un punto; ejecución no correcta (o mejorable), 0 puntos. En cuestionario previo se recogía: categoría profesional, edad, sexo, horas de formación en SVB y DSA en los últimos 3 años y con anterioridad, necesidad subjetiva de reciclaje y grado de seguridad en la realización de SVB y DSA.
Elaboración del test y preparación de las simulaciones: doble traducción experta e independiente del test de Cardiff original9. Mediante técnica Delphi y opinión de expertos, se han creado nuevos ítems y se han adaptado otros que contemplaban bolsa resucitadora, cánula de Guedel, uso de oxígeno, DSA, etc. Se han eliminado los que tenían mal funcionamiento en el test original galés. Hubo una fase piloto con simulaciones y adiestramiento de evaluadores, en la que se utilizaron filmaciones (2h). Se solicitó consentimiento y colaboración al equipo y se ocultó el día concreto de ejecución de las simulaciones.
Ejecución de las simulaciones: en una sala del CS se realizaron 3 series (S1, S2 y S3) de 26, 25 y 18 simulaciones “tipo estación” separadas por uno y 6 meses entre series. Se les requería a los profesionales atender un “colapso”. Cada serie ocupó una jornada laboral completa. Cada simulación individual o por parejas (médico-médico o médico-enfermera) duró de 6 a 8min. Hubo dinamización con “guía de procedimiento” de intervencionismo mínimo. Se filmaron con videocámara profesional (Sony PD-150; formato DVCAM). La S2 se filmó simultáneamente con videocámara doméstica (Digital Panasonic NV-GS4). Se usó un solo plano estático igual para las 2 cámaras (fig. 1). Entre la S1 (26 simulaciones) y la S2 (25 simulaciones coincidentes) se impartió un taller formativo de 6 h de duración. La S3 (18 simulaciones coincidentes con S1 y S2) se realizó tras 6 meses sin formación (retención de aptitudes).
Evaluación de las filmaciones: de forma retrospectiva, 6 evaluadores las visualizaron en formato DVD y puntuaron individualmente con ayuda de una “guía básica de puntuación del test” elaborada previamente. La S2 se evaluó en filmación profesional y doméstica y de nuevo a las 3 semanas con ciego de versión filmada y orden aleatorizado.
Análisis: se han utilizado los paquetes estadísticos SPSS 15 y SAS 9.1 para Windows. No se tuvieron en cuenta los ítems correspondientes al maniquí ni los de control (datos objetivos). En la tabla 1 se describen los requerimientos empleados.
Esquema general del estudio Estudio de validación de instrumentos de medida. AP: atención primaria; DSA: desfibrilación semiautomática; E: evaluador experto; NE: evaluador no experto; SVB: soporte vital básico. aValidez de contenido y aparente. Doble traducción. Comprensión de la prueba. bCiego de versión filmada y orden aleatorio. cSensibilidad al cambio, fiabilidad test-retest, entre evaluadores y concordancia entre filmaciones.
Requerimientos analíticos de la prueba
| Validez de contenido y aparente: 2 expertos en SVB, 2 en traducción y uno en validación de cuestionarios. |
| Análisis de fiabilidad: concordancia test-retest, entre evaluadores y entre filmaciones profesionales y domésticas. Con índice kappa y coeficiente de correlación intraclase excelente, de 0,75 a 1; bueno, de 0,40 a 0,74, y malo por debajo de 0,40 10. |
| Sensibilidad al cambio: puntuación total preintervención y postintervención formativa y Retención de aptitudes (tras 6 meses de la intervención formativa). Test de la t de Student para muestras relacionadas. |
SVB: soporte vital básico.
De los 37 reanimadores participantes, 28 eran mujeres y 9 eran varones. La edad media era de 43,19 años (desviación típica [DT] de 11,08), rango entre 27 y 60 años. Trece eran médicos tutores docentes, 8 eran médicos residentes de tercer año de Medicina de Familia y 16 eran enfermeras. El 86,5% había realizado algún curso de SVB en los últimos 3 años con una media de 7,25 h de formación (DT de 4,29). El 59,5% había recibido formación sobre DSA en los últimos 3 años con una mediana de 3,55 h (DT de 2,28). El 53% valoró la seguridad en el tratamiento de SVB y DSA como media y el 36% la valoró como baja. La necesidad de reciclaje en la materia fue media (54%) o alta (40,5%).
Sobre la composición del test y la guía de valoración del testEl test elaborado para evaluar las simulaciones (y que se pretendía validar) constaba de 30 etapas y 90 ítems: 21 ítems registrados por el maniquí y 69 ítems evaluados mediante la filmación. Siete ítems se evaluaron mediante ambos métodos. Disponible en internet (material adicional a la publicación).
El test que se recomienda para su utilización en la práctica diaria (junto con la guía de uso para evaluar las filmaciones) es el adaptado a las recomendaciones vigentes (diciembre de 2005) y también está disponible en internet. Igual sucede con la figura donde se representa la zona correcta de colocación de los electrodos en el tórax del maniquí. No se representan en el test los datos registrados por el maniquí (útiles sólo para la investigación, aunque en la guía se han mantenido con letra Times New Roman 11 para ilustrar el proceso de validación) ni los ítems de las actuaciones no vigentes en la actualidad. La duración media que utilizaron los evaluadores para observar y puntuar cada simulación fue de 22min.
Sobre las propiedades psicométricas de la prueba- 1)
Validez de contenido y aparente: los expertos internacionales ya valoraron positivamente la capacidad de los ítems para funcionar como indicadores de aptitudes en SVB y DSA cuando dictaron las recomendaciones en el año 20053. Dos expertos han valorado el contenido de los ítems como adecuado en relación con los requerimientos de un CS y de los profesionales de atención primaria. Los 2 expertos traductores y un experto en construcción y validación de cuestionarios también valoraron el contenido positivamente. Ocho sanitarios ratificaron la comprensión de la prueba.
- 2)
La fiabilidad test-retest, la fiabilidad entre valuadores y la concordancia entre filmaciones de las 54 variables categóricas y de las 8 continuas más relevantes se detallan en el anexo 1 que aparece en internet y en la figura. 2. La concordancia entre evaluador experto y no experto (validez de criterio concurrente) fue excelente (coeficiente de correlación intraclase entre 0,832 y 0,964).
- 3)
La sensibilidad al cambio y retención de aptitudes se muestra en la tabla 2. Tras intervención formativa la prueba mejoró significativamente: 20,6 puntos en promedio (adquisición de aptitudes). Tras un período de 6 meses sin formación se reduce 8,8 puntos la puntuación media.
Tabla 2.Sensibilidad al cambio de la prueba y retención de aptitudes (datos de evaluación del instructor experto)
Aptitudes Adquisición Retención Serie de simulaciones S1r S2r S2r S3r Número de simulaciones 25 25 18 18 Media* 20,32 40,92 42,11 33,33 DT 11,08 9,42 9,08 4,82 T −7,839 3,320 p <0,0001 <0,004 DT: desviación típica; S1: primera serie de simulaciones (filmación profesional); S2: segunda serie de simulaciones (filmación profesional); S3: tercera serie de simulaciones (ídem); T: prueba (test de la t de Student) para muestras relacionadas.
La fiabilidad intraevaluador fue excelente en 24 de los 62 ítems analizados y buena en 37 ítems; sólo en uno es mala (“encender DSA”). Se ha observado que la baja prevalencia de la ejecución incorrecta afecta al índice provocando un sesgo. Esto podría explicar que aunque haya un acuerdo elevado, éste no se ve reflejado en el índice. No se trata de una falta de acuerdo, sino de un caso de ítems poco discriminativos en los que en la mayoría de las simulaciones el ítem presenta el mismo valor.
La fiabilidad entre evaluadores es excelente en 16 ítems y buena en 35. En 11 ítems la fiabilidad entre evaluadores fue aparentemente mala. De éstos, uno de ellos (“encender el DSA”) se veía afectado por el efecto paradójico anteriormente descrito para el mismo ítem10. En otros 4 ítems la falta de fiabilidad se podría deber a problemas transitorios de encuadre de la filmación donde se ve dificultada la apreciación de “giro de la cabeza” del rescatador cuando le tocaba realizar la “comprobación visual de que nadie toque a la víctima”. Otros 2 ítems correspondían a la “comprobación de circulación” en diferentes momentos (postercera y cuarta descarga) que en la normativa actual ya no se recomienda. Dos ítems (“mal posicionamiento de brazos en las compresiones” y “situación de los electrodos en el pecho”) tenían una fiabilidad que rozaba el grado de bondad (>0,4). Este último era exigente por sus 7 categorías y dado que en el test de Cardiff resultó fiable y la filmación ofrecía una visión buena se puede pensar que sería necesario un mejor adiestramiento del evaluador en este aspecto. Finalmente, los ítems “percepción de orden en la secuencia” y “control de la situación” se verían influidos por el grado de fatiga del evaluador tras observar tantas simulaciones seguidas durante la investigación (hecho que no sucede en la práctica).
La fiabilidad entre filmaciones (profesional y doméstica) es buena y favorece su aplicabilidad a la práctica diaria en los EAP.
El test se muestra altamente sensible para detectar variaciones en el grado de aptitudes (“sensibilidad al cambio”). Con la intervención formativa, los rescatadores mejoran el doble su puntuación en la prueba (“adquisición de aptitudes”). A los 6 meses la puntuación media se reduce un 26,4%, con lo que decae la retención de aptitudes. Este último dato ayudaría a decidir la periodicidad formativa.
Comparación con estudios previosPara construir el instrumento se siguió el formato de test y guía desarrollado en el test de Cardiff (país de Gales) y publicado en el año 2003 por Whitfield9, por ser el estudio metodológicamente más serio. Pero en éste se utilizaban voluntarios no profesionales, individualmente y sin formación previa en SVB y DSA. En el presente estudio se incorporó a personal sanitario del propio EAP y se intentó reproducir un escenario más realista dentro de un CS mediante el uso de instrumentación, incluidas reanimación por parejas y doble filmación en el procedimiento de ejecución y evaluación de las simulaciones. Respecto a los 42 ítems del test de Cardiff original (46 menos 4 sin analizar) los 83 ítems correspondientes al presente estudio (90 menos 7 de control) representan 38 (46%) ítems nuevos, 34 (41%) ítems modificados y 11 (13%) ítems que quedan igual. El test elaborado difiere significativamente del test de Cardiff original, no en formato sino en su dimensión específica para profesionales sanitarios de EAP. La propuesta es denominarlo “Test Raval Sud para SVB y DSA” (adaptado del test de Cardiff versión 3.1).
Limitaciones del estudioDebido al tipo de estudio no se ha calculado formalmente un tamaño de muestra, pero el número total de simulaciones fue mayor que en el estudio de validación del test de Cardiff original (25 frente a 17). No se pudo valorar el 2% de los datos del maniquí por problemas técnicos. Hubo buena concordancia entre los ítems analizados con vídeo y los que registró el maniquí, excepto el de “volumen en las ventilaciones” y “profundidad en las compresiones”. Dificultades técnicas han obligado a utilizar la información del maniquí más como elemento de control.
Conclusiones y recomendacionesEste test se ha diseñado y validado en base a las recomendaciones en SVB y DSA vigentes al inicio del estudio (abril de 2005). Las nuevas de diciembre de 2005 (vigentes probablemente hasta finales de 2010 o 2011) no añaden actuaciones sino que “simplifican” la secuencia anterior con ligeras variaciones. En un tema de máxima actualidad, para su evaluación formativa, no se dispone de un instrumento adecuado a las necesidades de los profesionales del EAP. Por tanto, se ha creído conveniente valorar la creación de una versión construida sólo con los ítems que seguirían vigentes. La versión actualizada supondría mantener los ítems que componen la secuencia de actuaciones actuales en SVB y DSA y eliminar 11 ítems no vigentes. Sobre estos 11 ítems se observa que:
- •
Seis no funcionaban bien (baja fiabilidad) en el instrumento inicial.
- •
Dos ítems (“posicionamiento de brazos” y “situación de los electrodos”) tenían una fiabilidad que rozaba el grado de bondad (>0,4).
- •
Un ítem (control visual preprimera descarga) con 0,371, coincidió con problemas técnicos de encuadre de la cabeza del rescatador al filmar.
- •
Los otros 2 ítems restantes (“percepción de orden” y “control”), aunque con fiabilidad baja, parece interesante mantenerlos porque corresponden a ítems más motivacionales que clínicos y en la secuencia actual simplificada es más probable la concordancia entre evaluadores.
Al tener muchos de los ítems no vigentes un funcionamiento inadecuado se piensa que una nueva versión del test que contenga sólo los ítems vigentes (recomendaciones de diciembre de 2005), que es más parco y sencillo en conjunto, mejoraría las cualidades psicométricas de la nueva versión. A efectos no psicométricos, sino de aptitudes, las variables cuantitativas que no son de control mantienen un buen funcionamiento y pueden servir también para monitorizar mejoras o déficit en el tiempo.
Los autores del presente artículo creen que se ha conseguido elaborar un instrumento útil, adaptado a los requerimientos de los profesionales sanitarios de un EAP y con suficientes garantías psicométricas de validez y fiabilidad.
Se percibe la necesidad de formación en SVB y DSA entre los profesionales. Se prevé factible su aplicación a la práctica diaria por parte de miembros del propio EAP con la ayuda de una videocámara doméstica, un mínimo entrenamiento y poca inversión de tiempo para poder evaluar las grabaciones de manera retrospectiva. En términos de oportunidad, ante la necesidad de disponer de un instrumento de medida adecuado, se recomienda utilizar la versión de diciembre de 2005 del test.
- 1)
En futuras investigaciones se intentará ponderar el peso específico de cada ítem o actuación en la secuencia del SVB y DEA en relación con pruebas científicas sobre supervivencia y procurar trabajos multicéntricos.
- 2)
También se desea explorar diseños más flexibles que faciliten la adecuación y la validación del instrumento ante cambios en futuras recomendaciones.
- •
La ‘evaluación formativa” en soporte vital básico y desfibrilación semiautomática debería apoyarse en instrumentos de medición de aptitudes detallados y suficientemente validados.
- •
No se dispone de sistemas de evaluación adecuados para los profesionales sanitarios de atención primaria ni pruebas de autosuficiencia del proceso evaluativo por parte del propio equipo.
- •
Se ha elaborado un instrumento útil para medir aptitudes en soporte vital básico y desfibrilación semiautomática, adaptado a los requerimientos de los profesionales sanitarios de un equipo de atención primaria y con suficientes garantías psicométricas de validez y fiabilidad.
- •
Se prevé factible su aplicación a la práctica diaria por parte de miembros del propio equipo con la ayuda de una videocámara doméstica, un mínimo entrenamiento y poca inversión de tiempo para poder evaluar las grabaciones de manera retrospectiva.
Trabajo financiado con la ayuda para la investigación de CAMFiC. Prestación de maniquí MegaCode: AMBU, S.L. Asesoramiento de Marc Marí (IDIAP Jordi Gol) y aprobación del Comité de Ética e Investigación Clínica Jordi Gol (Barcelona).
Ítems del cuestionario
Ítems del cuestionario
