Adaptación y validación del BTI-St© para evaluar el nivel de competencia en consejo breve para dejar de fumar en profesionales de medicina y enfermería de Atención Primaria.
Diseñoestudio transversal, de adaptación y validación psicométrica de un test referido a criterio.
EmplazamientoAtención Primaria.
ParticipantesCiento cincuenta y cinco profesionales de medicina y enfermería de Atención Primaria en activo.
IntervencionesSe diseñaron 3 escenarios clínicos. A través de una plataforma online, los participantes en primer lugar visualizaban cada escenario donde se desarrollaba un consejo breve para dejar de fumar y posteriormente debían valorar si se había realizado de acuerdo con el modelo de las 5A+5R.
Mediciones principalesCompetencia en el consejo breve para dejar de fumar medida a través del BTI-Prof©.
ResultadosLos resultados vinculados a la fiabilidad se obtuvieron mediante el coeficiente Kuder-Richardson y fueron para el escenario 1: 0,880, para el escenario 2: 0,829 y para el escenario 3: 0,826. El test-retest muestra una adecuada estabilidad temporal, con unos coeficientes de correlación intraclase de 0,857 (IC 95%: 0,734-0,923), p<0,0001 para el escenario 1, 0,829 (IC 95%: 0,676-0,909), p<0,001 para el escenario 2 y 0,869 (IC 95%: 0,76-0,928), p<0,0001 para el escenario 3.
ConclusionesEl BTI-Prof© es una herramienta robusta, con adecuadas propiedades psicométricas para evaluar la competencia en consejo breve para dejar de fumar en profesionales de medicina y enfermería de Atención Primaria.
Adaptation and validation of the BTI-St© to assess the level of competence in brief tobacco intervention in general practitioners and nurses in Primary Health Care.
DesignCross-sectional study of adaptation and psychometric validation of a criterion-referenced test.
SettingPrimary Health Care.
ParticipantsOne hundred fifty-five general practitioners and nurses working at Primary Health Care.
InterventionsThree clinical scenarios were designed. Using an online platform, participants first viewed each scenario in which brief tobacco intervention was given. Health professional had to assess whether or not the scenarios were carried out in accordance with the 5A+5R model.
Main measuresCompetence in brief tobacco intervention measured by the BTI-Prof©.
ResultsResults related to reliability were obtained through Kuder-Richardson coefficient, being for scenario 1, 0.880, for scenario 2, 0.829, and for scenario 3, 0.826. The test–retest shows adequate temporal stability: intraclass correlation coefficient for scenario 1 0.857 (95% CI 0.734–0.923), p<0.0001, for scenario 2 0.829 (95% CI 0.676–0.909), p<0.001, and for scenario 3 0.869 (95% CI 0.76–0.928), p<0.0001.
ConclusionsThe BTI-Prof© is a robust tool with adequate psychometric properties to assess competence in brief tobacco intervention in Primary Health Care general practitioners and nurses.
El tabaco es una de las mayores amenazas para la salud pública que ha tenido que afrontar el mundo. Provoca la muerte de más de 7 millones de personas al año, de las cuales más de 6 millones son consumidores directos y alrededor de 1,2 millones son no fumadores expuestos al humo ajeno1. El consumo de tabaco es la primera causa de enfermedad, invalidez y muerte evitable en España, causando 56.124 muertes anuales2. Dado que el consumo de tabaco es un hábito adictivo3, se considera la principal causa evitable de enfermedad4 y de muerte prematura5. Actualmente, según la Encuesta Europea de Salud en España, referida a 2020, un 19,8% de la población de 15 o más años son fumadores diarios6.
Como consecuencia de todo ello, la OMS7 planteó una estrategia global contra el tabaquismo y sus consecuencias a través de varias líneas de actuación. Una de ellas es el plan MPOWER, que contiene 6 medidas. La tercera medida, ofrecer ayuda para el abandono del tabaco, se vincula muy especialmente con la Atención Primaria (AP).
Para ofrecer ayuda para el abandono del tabaco actualmente contamos con el consejo breve para dejar de fumar (CBDF), una intervención costo-efectiva en cuanto a su repercusión en el abandono del hábito tabáquico, especialmente a largo plazo8, y asumible por las instituciones sanitarias9,10. Esta intervención es identificada como una de las principales estrategias señaladas en el artículo 14 del Convenio Marco del Control de Tabaco de la OMS11.
Para un desarrollo normalizado del CBDF en AP, la OMS lanzó un documento en el que se define un modelo para llevar a cabo dicho consejo y que está basado en la estrategia de las 5A+5R12. Este modelo entiende que el proceso de ofrecer CBDF debe basarse en 5 fases para la A (Ask, Advise, Assess, Assist, Arrange) y 5 para la R (Relevance, Risks, Rewards, Roadblocks, Repetition). A nivel nacional, también el Programa de Actividades Preventivas y de Promoción de la Salud recomienda su aplicación en la atención a personas fumadoras13.
Debido a la magnitud del tabaquismo es necesario disponer de intervenciones fáciles, breves y efectivas14, pero esto no asegura su aplicación. Una revisión sistemática mostró que un 65% de los médicos de familia preguntan a los pacientes sobre el consumo de tabaco y un 63% aconsejan sobre el abandono15. Un estudio realizado a 3.482 enfermeras muestra que un 73% preguntan sobre el consumo y un 62% aconsejan sobre el abandono16. En España, un estudio metacéntrico con 1.842 médicos y 1.075 enfermeras encontró que solo un 25% intervienen activamente en la promoción de la cesación entre sus pacientes, lo que revela un amplio margen de mejora17. Las dificultades para aumentar el éxito en la aplicación de la CBDF son diversas, pero la capacitación de los profesionales sobre el abandono tabáquico es crucial. Un metaanálisis mostró que profesionales formados en CBDF son más propensos a realizar intervenciones para dejar de fumar18.
Incluso la OMS aboga por la incorporación de la educación sobre la CBDF en los planes de estudios de disciplinas de Ciencias de la Salud19.
Es necesario disponer de una herramienta que permita monitorizar la adquisición de competencias en CBDF por parte de los profesionales de medicina y enfermería. Sin embargo, en la actualidad las herramientas disponibles, o bien no siguen el modelo de las 5A+5R20,21, o bien lo hacen parcialmente22–25, teniendo una evaluación de la fiabilidad y validez muy heterogénea. Actualmente, en España existe un instrumento que permite valorar la adquisición de competencia en CBDF validado en estudiantes de enfermería (BTI-St©) y que sigue el modelo de las 5A+5R26.
Una vez conocido que el tabaquismo es una epidemia a nivel mundial, que el CBDF es una intervención eficaz en profesionales de enfermería y medicina en AP y que no se dispone de ninguna herramienta para evaluar la adquisición de competencias en CBDF, el objetivo de la presente investigación fue la adaptación y validación del BTI-St© para evaluar el nivel de competencia en CBDF en profesionales de medicina y enfermería de AP.
MétodosEstudio transversal, de adaptación y validación psicométrica. El instrumento original (BTI-St©)26 fue desarrollado y validado en España para estudiantes de enfermería para medir el aprendizaje en CBDF. Posee 23 ítems de respuesta dicotómica (sí/no) que siguen el modelo de las 5A y las 5R recomendado por el U. S. Public Health Service27, la OMS12 y el Programa de Actividades Preventivas y de Promoción de la Salud13. Tiene un formato gráfico donde los ítems se integran dentro de un algoritmo.
Se trata de un test referido al criterio que permite evaluar programas educativos y verificar el logro de competencias con fines de certificación28. Los test referidos al criterio indican el rendimiento individual en relación con unos criterios de rendimiento establecidos previamente29.
El uso del BTI-St© requiere el desarrollo de situaciones clínicas videograbadas. Los sujetos visualizan los vídeos y evalúan la situación clínica cumplimentando el BTI-St© e indicando qué 5A y 5R se han desarrollado correctamente. Posteriormente, las respuestas deben ser corregidas con respecto a su solución, es decir, el criterio de rendimiento establecido previamente.
La validación del BTI-St© incluyó la delimitación de la competencia a evaluar y la redacción de los ítems a partir de una búsqueda bibliográfica previa. A continuación se realizó una validación de contenido basada en el juicio de expertos. Dichos expertos eran profesionales de AP con un carácter multiprofesional (medicina, enfermería, psicología). Por este motivo no fue necesaria la modificación de los ítems en la versión para profesionales.
La adaptación y evaluación de la fiabilidad del instrumento para profesionales (BTI-Prof©) se desarrolló en 2 fases: 1) diseño y validación de los escenarios clínicos, y 2) evaluación de la fiabilidad.
- -
Fase 1: diseño y validación de los escenarios clínicos
Para la adaptación del uso en profesionales de medicina y enfermería fueron diseñados nuevos escenarios clínicos videograbados donde se desarrollaban CBDF, para posteriormente establecerlos como criterios de rendimiento.
Seis expertos con más de 10 años de experiencia clínica en AP y con distintos perfiles profesionales (2 médicos, 3 enfermeras y una psicóloga) debatieron y consensuaron a través de la metodología Delphi el diseño de los escenarios, el número de casos a desarrollar, cuáles eran los escenarios más idóneos teniendo en cuenta la realidad de las consultas de AP y cuáles eran las condiciones en las que estos debían presentarse.
A continuación se realizaron los guiones de los escenarios que fueron evaluados por los expertos en condiciones ciegas. Se calculó el índice de validez de contenido (IVC) para determinar el consenso entre los expertos. Se acordó que para obtener la versión final del guion, el IVC fuera igual a 1.
Para valorar la validez aparente de los escenarios, después de la grabación, se realizó un pilotaje con 11 profesionales de enfermería y medicina que evaluaban la comprensibilidad de los vídeos, el acercamiento a la realidad, su calidad técnica y su uso en condiciones reales (online), respondiendo a una escala Likert de 4 opciones (muy mala, mala, buena, muy buena).
- -
Fase 2: evaluación de la fiabilidad del BTI-Prof©
La evaluación de la fiabilidad del instrumento se realizó entre marzo y abril de 2022. Se contactó con profesionales de medicina y enfermería de AP a través de las direcciones-gerencias de distintas áreas de salud que accedieron a participar en el estudio, no existiendo ningún criterio de aleatoriedad para la selección de los profesionales que participaron. Se desarrolló una página web que permitía la visualización de los vídeos en formato online. Los participantes en primer lugar visualizaban cada escenario clínico y posteriormente cumplimentaban el BTI-Prof©. La cumplimentación online del formulario fue a través de una plataforma específica que permite hacerlo en formato PDF, con la finalidad de mantener la visualización del algoritmo a la hora de cumplimentarlo.
Para analizar la fiabilidad del cuestionario se determinó la consistencia interna a través del cálculo del coeficiente Kuder-Richardson (KR-20) al poseer ítems dicotómicos29. Asimismo, el instrumento se administró en 2 ocasiones (test-retest) en un intervalo de 10 días para evaluar la estabilidad temporal a través del coeficiente de correlación intraclase (CCI). Los resultados se considerarán buenos si son superiores a 0,80 al tratarse de una herramienta de evaluación30 para el KR-20 y si es superior a 0,70 para el CCI31.
El análisis de datos se realizó con los paquetes estadísticos Jamovi y SPSS® v. 23.0.
Esta investigación cuenta con la aprobación por parte del Comité de Ética de la Investigación de la provincia de Jaén (ID: 31052018).
Resultados
En el Delphi se acordó crear 3 escenarios clínicos y que estos estuviesen lo más cerca posible de la realidad clínica desarrollándolos en un contexto real (fueron grabados en el centro de salud de Úbeda, Jaén). Así mismo, entre las condiciones para la creación de las situaciones se estableció que hubiese representación equivalente de los géneros masculino y femenino (en los escenarios aparecen tanto hombres como mujeres con distintos roles: ciudadanía/profesional) y que no superaran los 3min de duración (caso 1: 1m, 15s; caso 2: 2m, 6s; caso 3: 2m, 42s). Los escenarios fueron desarrollados en función de su frecuencia clínica y su dificultad. Por ello no se eligió ningún escenario con el desenlace «la persona no consume tabaco» y se desarrollaron tres escenarios: dos con disposición a intentar dejar de fumar y uno sin disposición. Los escenarios están disponibles como material electrónico adicional.
Antes de la grabación de los escenarios se escribieron los guiones. En la primera ronda se obtuvo un IVC de 0,87 en el escenario 1, de 0,80 en el escenario 2 y de 0,83 en el escenario 3. Se hicieron correcciones en los guiones en los puntos en desacuerdo y fueron necesarias un total de 2 rondas para conseguir un IVC=1 (total acuerdo) en todos los escenarios. Se grabaron los 3 escenarios y 11 profesionales evaluaron como «buena» la comprensibilidad, «buena» la realidad de los escenarios, «muy buena» la calidad técnica de los vídeos y «bueno» el uso en condiciones reales, lo que supone una adecuada validez aparente.
Se obtuvieron 155 formularios de profesionales de AP a través de la plataforma online. Sus características demográficas pueden observarse en la tabla 1. La corrección del BTI-Prof© se calcula asignando la siguiente puntuación para cada uno de los 23 ítems: un punto para los aciertos y 0 puntos para los fallos y las casillas en blanco.
Descripción de la muestra
| N | 155 |
|---|---|
| Edad (años), media (DE) | |
| Hombres | 44,5 (DE 11,1) |
| Mujeres | 43,2 (DE 10,4) |
| Sexo, n (%) | |
| Hombres | 58 (37,5) |
| Mujeres | 97 (62,5) |
| Perfil profesional, n (%) | |
| Medicina | 41 (26,5) |
| Enfermería | 114 (73,5) |
| Experiencia en AP (años), media (DE) | |
| Medicina | 7,42 (DE 8,53) |
| Enfermería | 13,7 (DE 11,1) |
Los resultados vinculados a la fiabilidad del cuestionario (BTI-Prof©) (fig. 1) mostraron valores adecuados. En el escenario 1 el coeficiente KR-20 fue de 0,880, en el escenario 2 de 0,829 y en el escenario 3 de 0,826. El test-retest muestra una adecuada estabilidad temporal, con un CCI para el escenario 1 de 0,857 (IC 95% 0,734-0,923), p<0,0001, de 0,829 (IC 95% 0,676-0,909), p<0,001 para el escenario 2 y de 0,869 (IC 95% 0,76-0,928), p<0,0001 para el escenario 3.
Discusión
Este estudio describe la adaptación y evaluación de las propiedades psicométricas del BTI-Prof© en profesionales de medicina y enfermería de AP. Dicho instrumento se basa en la herramienta BTI-St©26, presentando ambas versiones igual contenido y buenas propiedades psicométricas.
Pese a la necesidad expresada por organismos internacionales como la OMS de tener herramientas que permitan monitorizar la adquisición de la competencia en CBDF19, en España, como en buena parte del contexto internacional, no existía ninguna previamente basada en las 5A+5R. El BTI-Prof© es un instrumento pertinente ya que, pese a los esfuerzos formativos en CBDF dirigidos a profesionales, se desconoce el impacto de la formación que se realiza en España, no existiendo datos al respecto.
El BTI-Prof© es un instrumento basado en el modelo del test referido al criterio o test de competencia, lo que permite realizar una evaluación objetiva del rendimiento de los profesionales en CBDF y la detección de deficiencias en el aprendizaje. Además, al estar basado en la estructura de las 5A+5R, permite identificar y analizar en qué «A» o «R» los profesionales no han logrado la suficiente competencia, permitiendo el desarrollo de actividades focalizadas en los déficits detectados o reestructurando la propia formación en CBDF para fortalecer dichos aspectos.
Los profesionales relacionados con la salud dental han demostrado su eficacia en la deshabituación tabáquica con la aplicación del CBDF32. La estructura de las 5A+5R realmente no es propia de ningún perfil profesional y podría ser transversal a todas las disciplinas de Ciencias de la Salud, por lo que consideramos que el BTI-Prof© permitiría evaluar la competencia en CBDF en otros perfiles profesionales e incluso en otros contextos asistenciales.
El diseño de los guiones de los escenarios clínicos y la grabación de los vídeos es muy costoso en tiempo y preparación, ya que necesita de recursos especializados. No obstante, también facilita la evaluación simultánea de los profesionales al ser visto el mismo caso por todos, por lo que la variación en el rendimiento puede atribuirse principalmente al aprendizaje del estudiante más que a características del caso33. Este método de evaluación tiene la ventaja de tener mayor objetividad en comparación con otros métodos utilizados en la evaluación del aprendizaje del CBDF, como la evaluación por expertos mediante rúbricas o la utilización de cuestionarios de autovaloración34.
Mientras la versión de estudiantes (BTI-St©)26 usa el algoritmo en papel, la versión actual dirigida a profesionales (BTI-Prof©) utiliza una versión del algoritmo online, obteniendo ambas versiones unos buenos valores psicométricos. En las 2 versiones siempre se visualiza el algoritmo completo. Esto nos hace pensar que el instrumento se puede utilizar tanto en formato papel como en formato digital en el contexto de una actividad educativa.
La versión para profesionales adaptada (BTI-Prof©) posee una buena consistencia interna, con valores superiores a 0,80 tanto en el KR-20 como en el ICC en los 3 escenarios clínicos evaluados, resultados similares a los obtenidos con la versión de estudiantes. Los resultados son adecuados y consistentes en los 3 escenarios clínicos, a pesar de que presentan situaciones clínicas, contenidos y matices diferentes.
El BTI-Prof© presenta una limitación importante al no permitir evaluar otros aspectos relacionados con la comunicación o la longitudinalidad en la atención clínica propia de la AP. Otra limitación es que al no existir otra herramienta equivalente, la validez convergente no se ha podido determinar.
En conclusión, BTI-Prof© es un instrumento con adecuadas propiedades psicométricas que permite la valoración de la competencia en el CBDF en profesionales de enfermería y medicina de AP. Es necesario generar evidencias de sus propiedades métricas (incluso dentro del contexto hospitalario), en otros perfiles profesionales de AP, así como de su uso, valorando la efectividad de intervenciones y reorientando la formación sobre CBDF si fuera necesario.
No se dispone de herramientas que sean capaces de medir la competencia en CBDF en profesionales de medicina y enfermería en AP.
Qué aporta este estudioEl BTI-Prof© es una herramienta robusta, con adecuadas propiedades psicométricas para evaluar la competencia en CBDF en profesionales de medicina y enfermería en AP.
Consejería de Salud y Familias de la Junta de Andalucía. FPS 2014 - Proyectos de Investigación Atención Primaria. Expediente: AP-0210-2019.
Conflicto de interesesTodos los autores expresan que no existe relación financiera ni personal con otras personas u organizaciones que pueda influir de forma inapropiada (sesgo) en su trabajo y declaran explícitamente que no tienen conflictos de intereses.
Escenario 1: https://www.youtube.com/watch?v=Z8-pP1KoCwg
Escenario 2: https://www.youtube.com/watch?v=if_6eJZaS7w
Escenario 3: https://www.youtube.com/watch?v=ldPH0LHwHd0
