El propósito de esta investigación fue examinar los efectos de la fidelidad de la implementación sobre los resultados de una intervención en salud mental escolar. A través de un diseño de investigación pretest/postest se evaluó la desadaptación escolar a 1,414 estudiantes chilenos de 510 escuelas participantes de un taller preventivo selectivo realizado por 94 equipos psicosociales del programa Habilidades para la Vida. Por su parte, la fidelidad (dosis recibidas por los padres, profesores y estudiantes; pertinencia de la intervención, compromiso directivo, adherencia y satisfacción laboral) fue medida a través de los productos permanentes completados por los equipos durante el período de ejecución del taller y relacionada con los resultados mediante un análisis multinivel. Se encontró una alta fidelidad en los componentes implementados, a excepción de la adherencia (29.8%) y la dosis recibida por los padres (50.1%). Se logró evidenciar que los resultados varían principalmente a nivel del estudiante y que están relacionados con la cantidad de sesiones a las que asisten y con la pertinencia de la intervención para ellos. Se discute la importancia de considerar el contexto relacional en la implementación de intervenciones en el mundo real hispanoamericano.
The purpose of this research was to examine the effects of implementation fidelity on the results of a school mental health intervention. Through a pre-test/post-test research design, school inadaptation was assessed on 1,414 Chilean students from 510 participating schools of a selective preventive workshop conducted by 94 psychosocial teams from the Skills for Life program. Fidelity (doses received by parents, teachers and students, intervention relevance, management commitment, adherence and job satisfaction) was measured through the permanent products completed by the teams during the workshop period and related to the results through multilevel regression analysis. A high fidelity was found in the implemented components, with the exception of adherence (29.8%) and the dose received by parents (50.1%). It was shown that the results vary mainly at the student level and are related to the number of sessions they attend and the relevance of the intervention for them. The importance of considering the relational context in the implementation of interventions in the Spanish-American real world is discussed.
El reconocimiento internacional de las necesidades de salud mental de los estudiantes y de la capacidad de la escuela de hacerse cargo de ellas ha impulsado una agenda de investigación centrada en el desarrollo de intervenciones preventivas, que ha permitido la acumulación de conocimiento sobre qué es lo que funciona en el contexto escolar (Burns et al., 1995; Forman et al., 2013). De hecho, actualmente hay una importante disponibilidad de catálogos de programas listos para su ejecución (e.g., http://www.casel.org/) y numerosas revisiones de la efectividad de las intervenciones (e.g., Durlak, Weissberg, Dymnicki, Taylor y Schellinger, 2011; Sklad, Diekstra, Ritter, Ben y Gravesteijn, 2012; Weare y Nind, 2011; Wilson, Lipsey y Derzon, 2003).
Sin embargo, saber qué intervenciones funcionan es solo una parte de la ecuación, pues también es fundamental entender cómo implementarlas, para obtener los beneficios que prometen. Este punto es crítico en el contexto dinámico y heterogéneo de las escuelas, donde no es difícil que una intervención, que ha demostrado ser eficaz, no genere los resultados deseados debido a la falta de fidelidad de la implementación (FI) (Dupaul, 2009; Durlak y DuPre, 2008; Sarno et al., 2014).
Fidelidad de la implementaciónLa FI es el grado en que una intervención es ejecutada de acuerdo con su modelo de intervención (Bond, Evans, Salyers, Williams y Kim, 2000; Gresham, 2009; Perepletchikova, 2011; Schulte, Easton y Parker, 2009), lo que supone la prescripción de ciertas acciones y condiciones que deben asegurarse a través de las distintas ejecuciones (Fixsen, Blase y Naoom, 2009).
La mayoría de los investigadores están de acuerdo en que la FI se trata de un constructo multidimensional (Dane y Schneider, 1998; Dupaul, 2009; Hagermoser-Sanetti y Kratochwill, 2009; Sarno et al., 2014) y multinivel (Zvoch, 2012) que involucra aspectos tanto del contexto del implementador como del intervenido. Respecto al implementador, la FI incluye: a) la adherencia, que se refiere al grado en que el interventor cumple o se apega a los componentes prácticos especificados (Schulte et al., 2009), y b) la calidad de la intervención, que se refiere al grado en que el interventor ejecuta las acciones de manera hábil, entusiasta y comprometida (Dane y Schneider, 1998; Low, van Ryzin, Brown, Smith y Haggerty, 2014). Asimismo, respecto al intervenido, la FI considera: a) la exposición a la intervención, que son las dosis de intervención (i.e., sesiones) recibidas según lo prescrito en la planificación (Codding y Lane, 2015); b) la receptividad de la intervención, que es el grado de relevancia o compromiso necesario de los participantes con la intervención (Schulte et al., 2009), y c) la pertinencia, que es el grado en que una intervención se ajusta a las necesidades específicas del estudiante. De esta forma, la FI propone que, en la medida que se implementen los pasos establecidos de manera competente en las dosis necesarias a los participantes pertinentes y comprometidos, la intervención debería ser exitosa si el modelo teórico de base es correcto.
Se ha considerado que el estudio de la FI tiene implicancias tanto prácticas como teóricas (Barnett et al., 2014). A nivel práctico, permite estimar los esfuerzos que deben ponerse en la implementación en el mundo real (Dupaul, 2009; Schulte et al., 2009), y a nivel teórico, la FI permite comprobar la validez de los resultados (Gresham, Gansle, Noell, Cohen y Rosenblum, 1993).
La falta de operacionalización, una pobre definición o una ejecución idiosincrática de la intervención dificultan las replicaciones y las evaluaciones de su efectividad, afectando además la generalización a través de múltiples contextos, lo que repercute en la validez externa de las intervenciones (Gresham et al., 1993). Asimismo, la FI es relevante para la comprobación de la validez interna, pues sin su medición es difícil distinguir los resultados de la intervención planeada de aquellos producidos por otras variables no tomadas en cuenta (Blase, Van Dyke, Fixsen y Wallace, 2012). Así, por ejemplo, resultados exitosos con una alta FI podrían probar la validez del modelo de intervención, en cambio, los mismos resultados, pero con una baja FI, podrían sugerir que el cambio fue producido por acciones distintas a las planificadas (Perepletchikova, Hilt, Chereji y Kazdin, 2009).
La evidencia ha reforzado la importancia de analizar la FI. Por ejemplo, Tobler (1986), en un clásico trabajo de revisión, encuentra que el 29% de los resultados de los programas de prevención de drogas se deben a problemas de FI. En la misma línea, DuBois, Holloway, Valentine y Cooper (2002), así como Smith, Schneider, Smith y Ananiadou (2004), encuentran que aquellos programas que monitorizan y controlan la FI obtienen tamaños del efecto más grandes que aquellos que no lo hacen. Por su parte, Wilson et al. (2003), examinando 221 programas de prevención escolar de conductas agresivas, encuentran que la FI es uno de los elementos más importantes para explicar los resultados; misma conclusión a la que arriban Durlak y DuPre (2008) a través de una revisión que incorpora 500 estudios de efectividad de intervenciones psicosociales.
Estas revisiones se han centrado en la variación de los resultados entre investigaciones, quedando claro que aquellas con mayor FI tienen mejores resultados. No obstante, son pocos los estudios que analizan la variación intraintervención (e.g., cómo varían los resultados de una misma intervención en distintos niveles de FI entre escuelas) analizando los pesos diferenciales de los distintos componentes de la FI (Durlak y DuPre, 2008; Sarno et al., 2014).
En este contexto, si bien históricamente las investigaciones sobre FI se han centrado en la adherencia y la dosis (Durlak y DuPre, 2008), lentamente se han comenzado a analizar otros componentes, debido a la evidencia contradictoria respecto a estas variables. Mientras algunos encuentran auspiciosas relaciones entre adherencia y resultados (Domitrovich, Gest, Jones, Gill y Sanford deRousie, 2010; Flannery, Fenning, Kato y McIntosh, 2014), otros señalan que es una dimensión que no afecta la efectividad de la intervención (Berry et al., 2015; Low et al., 2014). Por su parte, si bien la dosis ha demostrado tener una relación significativa con los resultados (Leiva et al., 2015a; Leiva, George, Squicciarini, Simonsohn y Guzmán, 2015; Rosenblatt y Elias, 2008), algunos estudios muestran que puede afectarlos de manera contraria (McGinty, Breit-Smith, Fan, Justice y Kaderavek, 2011).
Uno de los componentes recientemente incorporado al análisis de la FI es el compromiso en la intervención. Los estudios han mostrado una relación consistente entre esta variable y el éxito de los objetivos de las intervenciones escolares (Fredricks, Blumenfeld y Paris, 2004; Marks, 2000), mostrando incluso mayores efectos que la adherencia y la dosis (Domitrovich et al., 2010; Low, Smolkowski y Cook, 2016; Low et al., 2014).
En este contexto, considerando que el compromiso de los participantes (i.e., estudiante e implementador) se ve afectado por el compromiso de los equipos directivos de la escuela, este ha comenzado a ser foco de investigaciones que buscan fortalecerlo (Anello et al., 2016). Al respecto, la evidencia ha revelado que el compromiso de los equipos directivos tiene una fuerte influencia sobre el resto de miembros de la escuela, en cuanto impacta la cultura, la estructura escolar y los canales de planificación que pueden facilitar u obstaculizar la implementación (Forman, Olin, Hoagwood, Crowe y Saka, 2009; Gregory et al., 2007; Langley, Nadeem, Kataoka, Stein y Jaycox, 2010; Sarno et al., 2014).
Otra variable incorporada en el estudio de la FI, dada su influencia en el compromiso y la calidad de la intervención, es la satisfacción laboral de los implementadores (Faragher, 2005; Judge, Thoresen, Bono y Patton, 2001; Klassen y Chiu, 2010). En esta línea, se ha encontrado que la satisfacción laboral está asociada a actitudes respecto al cambio (Christl et al., 2010) y a percepciones respecto a las barreras de implementación (Laker et al., 2014).
A partir de lo anterior, la presente investigación tiene como propósito desarrollar un modelo multinivel que permita dar cuenta de los efectos de los componentes de la FI sobre los resultados de una intervención preventiva realizada por el programa Habilidades para la Vida (HPV) en escuelas chilenas.
Intervención preventiva desde el modelo Habilidades para la Vida chilenoEl programa HPV es un programa público multinivel, multicomponente y multietapa implementado en escuelas chilenas desde el año 1998 por la Junta Nacional de Auxilio Escolar y Becas (JUNAEB) dependiente del Ministerio de Educación. Para este estudio solo se consideró la intervención preventiva selectiva, dirigida a estudiantes con riesgo elevado de presentar problemas de salud mental. Los participantes de esta intervención son identificados a través de un proceso de cribado universal realizado durante el primer semestre del primer grado escolar, mediante el cual se determina un perfil de riesgos.
Esta intervención ha mostrado ser efectiva a través de diversas investigaciones (Guzmán et al., 2015; Leiva et al., 2015a) y es ejecutada por profesionales del área psicosocial (por lo general psicólogos y trabajadores sociales). Estos son entrenados por medio de 3 jornadas de capacitación nacional de 8h cada una y supervisados regularmente por un miembro del equipo regional de la JUNAEB. Adicionalmente, los ejecutores participan de encuentros de aprendizaje en donde comparten buenas prácticas.
La intervención preventiva se basa en un enfoque bottom-up (Humphrey, 2013) descrito por un manual que permite a los interventores elegir y ajustar las actividades a las características de las escuelas y de los participantes para, de tal modo, alcanzar los objetivos propuestos.
Los talleres preventivos se basan en un enfoque de aprendizaje socioemocional (Zins, Bloodworth, Weissberg y Walberg, 2007); se estructuran en 10 sesiones repartidas durante un semestre escolar —con una duración promedio de 120min cada una— y se dividen en 5 fases en las que se abordan el desarrollo de habilidades de cohesión grupal, la identidad, la autoestima, la autonomía, la identificación y expresión de emociones, y la resolución no violenta de conflictos. Adicionalmente, los padres y profesores asisten a 3 y 2 sesiones, respectivamente, que refuerzan los contenidos trabajados en el taller (Vargas y Peña, 2016).
Alcances de la investigaciónLa presente investigación se sustenta en la hipótesis de que una FI más alta está relacionada con mejores resultados, expresados en la disminución de la desadaptación escolar de los estudiantes participantes de un taller preventivo, tomando en cuenta que la FI se presenta en distintos niveles contextuales en los que ocurre. En este contexto, la importancia de este estudio radica en 2 razones. La primera es que la investigación en implementación es un área reciente en las ciencias aplicadas (Eccles y Mittman, 2006; Proctor et al., 2011), y lo es aún más en países hispanoamericanos, donde hace solo unos años comienza a cobrar relevancia. Entre los estudios recientes se pueden contar el de Mendive, Weiland, Yoshikawa y Snow (2016), quienes analizan los efectos de la FI sobre una intervención de desarrollo temprano de habilidades de lectoescritura desarrollada en Chile, encontrando que la dosis y la adherencia tienen impactos significativos sobre los resultados, y el de Rodrigo (2016), que sintetiza investigaciones de implementación de programas de habilidades parentales en el contexto de los servicios sociales españoles.
Dado lo anterior, es necesario realizar estudios que puedan aportar información a las especificidades locales de la FI que afecten los resultados, pues tal y como señalan Berry et al. (2015), las intervenciones preventivas en salud mental escolar pueden no ser útiles para todos, siendo urgente dilucidar qué es lo que funciona, para quién y en dónde, lo que apunta a abrir la caja negra de las intervenciones, enfatizando la investigación en implementación, la cual puede definirse como el estudio científico de los procesos y componentes de la puesta en práctica de un modelo de cambio en contextos cotidianos de intervención.
La segunda razón es la incorporación de los efectos de diversos componentes de la FI sobre los resultados de una intervención. Como se señaló anteriormente, existe cierto acuerdo sobre la importancia de la FI, pero aún se desconocen qué componentes son más relevantes y para qué tipo de intervención, lo que tiene serias consecuencias prácticas y financieras para la monitorización de la implementación de las intervenciones en el contexto de programas públicos (Durlak, 2013).
MétodoParticipantesLa muestra total fue de 1,414 estudiantes identificados en riesgo (42.4% mujeres) de 510 escuelas de todo el país intervenidas por 94 equipos que implementaron una intervención preventiva selectiva. El promedio de edad de los estudiantes al momento de la primera evaluación fue de 6.41 años (DE=0.56), y el promedio durante la segunda evaluación fue de 8.57 (DE=0.60).
Por su parte, el 58.8% (n=831) de los estudiantes provenían de familias vulnerables socialmente beneficiarias de programas de protección social. Respecto a las escuelas, el 80% (n=409) dependían administrativamente de municipalidades y el restante, de sostenedores privados que reciben subvención estatal. Los equipos ejecutores, en promedio, tienen 9.8 miembros (DE=5.04) y 3.7 años (DE=1.26) de experiencia en el programa.
MedidasFidelidad de la intervención y características de los participantesLos componentes de la FI fueron medidos a través de productos permanentes del programa (Leff, Hoffman y Gullan, 2009), representados por los informes anuales de implementación completados por los coordinadores de los equipos ejecutores. Se consideró la dosis recibida por los estudiantes, la pertinencia de la intervención, el compromiso de los equipos directivos, la adherencia al modelo de intervención y la satisfacción laboral de los implementadores sobre los resultados de la intervención realizada. Las definiciones de las variables y la unidad de análisis a la que pertenecen se presentan en la tabla 1.
Definiciones de componentes de fidelidad de la implementación según el nivel contextual participante de la intervención
| Nivel contextual | Componente | Fidelidad de la implementación |
|---|---|---|
| Equipo | Adherencia a la intervención | Grado en que las actividades y metodologías prescritas por el programa fueron realizadas tal como se planificaron. Se mide a través de una escala de 5 puntos que luego se transforma a proporción. Un mayor valor representa adherencia a la planificación, que implica no haber adecuado ni realizado cambios a las actividades propuestas por el programa |
| Satisfacción laboral | Grado de bienestar y satisfacción laboral global de los miembros del equipo implementador. Se mide a través de una escala de 5 puntos que luego se transforma a proporción. El mayor valor representa una satisfacción muy alta | |
| Escuela | Compromiso directivo | Grado de compromiso del equipo directivo, valorado a través del cumplimiento de la planificación comprometida con el programa, la flexibilidad horaria, los cambios repentinos de agenda y la disposición a buscar soluciones ante problemas que impiden el desarrollo del cumplimiento adecuado de las acciones. Se mide a través de una escala de 5 puntos, que luego se transforma a proporción. El mayor valor representa un compromiso muy alto |
| Estudiante | Dosis recibidas por el estudiante | Proporción de asistencia del estudiante a sesiones de talleres preventivos (10 sesiones) |
| Dosis recibidas por padre | Proporción de asistencia del padre del estudiante a sesiones de taller parental (3 sesiones) | |
| Dosis recibidas por profesor | Proporción de asistencia del profesor del estudiante a taller docente (2 sesiones) | |
| Pertinencia de la intervención | Ajuste de la intervención a las necesidades específicas del estudiante. En este caso, se consideró que la intervención fue pertinente solo para aquellos en riesgo de desarrollar problemas de salud mental, dado el nivel selectivo de la prevención, y no para aquellos estudiantes derivados a especialistas o en tratamiento, que necesitaban una intervención más focalizada y personalizada debido a la sospecha de presencia de problemas de salud mental |
Fuente: elaboración propia a partir del manual de evaluación de equipos ejecutores del programa Habilidades para la Vida (HPV).
Los resultados de la intervención fueron medidos a partir del reporte de profesores, a quienes se les aplicó la entrevista estructurada Teacher Observation of Classroom Adaptation-Revised, versión chilena (TOCA-R-cl; George et al., 2004), para evaluar la desadaptación escolar antes y después de la intervención preventiva a los niños participantes.
El TOCA-R-cl posee 31 ítems que evalúan 4 dimensiones de adaptación escolar: dificultades de aprendizaje (e.g., completa las tareas, trabaja bien solo), dificultades conductuales (e.g., daña a otros, inicia peleas con los demás), dificultades sociales (e.g., es sociable, es amistoso) y dificultades de autonomía (e.g., se aferra al profesor, busca demasiada atención de los compañeros). Para esta investigación solo se consideró la escala total, cuyo valor positivo mayor representó mayor magnitud en el cambio deseado. El instrumento posee robustas propiedades psicométricas, expresadas en una alta confiabilidad de las escalas y un adecuado ajuste factorial (George et al., 2004; Koth, Bradshaw y Leaf, 2009), y ha sido utilizado en numerosas investigaciones en salud mental escolar (Bradshaw, Zmuda, Kellam y Ialongo, 2009; Leiva et al., 2015a; Leiva et al., 2015b).
Diseño de investigaciónSe consideró un diseño de investigación cuasi experimental pretest/postest (Ato, López y Benavente, 2013) a través del cual se realizó el seguimiento de una cohorte de estudiantes durante 3 años. Se realizaron mediciones de la variable resultado cuando los estudiantes cursaban primer y tercer grado (2012 y 2014, respectivamente) y de la FI durante el período de ejecución del taller, ejecutado cuando los estudiantes cursaban segundo grado (2013). Para analizar los datos se siguió una estrategia secuencial que implicó en primer lugar determinar si se habían generado cambios significativos en las variables resultados a través de pruebas de comparación de medias. Adicionalmente, se analizaron descriptivamente las variables asociadas a la implementación durante el período de ejecución de los talleres, evaluando su cumplimiento. Finalmente, se utilizaron análisis de regresión multinivel (Gelman y Hill, 2007; Murillo, 2008) para determinar la influencia de los distintos componentes de la FI sobre los resultados en los distintos niveles contextuales involucrados (niveles estudiante, escuela y equipo). Los análisis estadísticos fueron realizados mediante el programa STATA 12.0.
ResultadosPara analizar la disminución de la desadaptación escolar entre las mediciones pre y postintervención, se realizó una ANOVA de medidas repetidas. Se encontró que la desadaptación escolar disminuye significativamente entre la primera y segunda medición (F(1;1413)=912.951; p<0.001; η2=0.393). Estos resultados dan cuenta de la existencia de una disminución significativa de las dificultades adaptativas de los estudiantes entre la primera y la segunda medición. No obstante, dado el diseño utilizado, no es posible atribuir estos resultados a la intervención, como podría haberlo sido si se hubiese contado con un grupo control. Para esto, la investigación en implementación supone que los resultados (i.e., la disminución) de una intervención dependen de la FI, por lo que las variaciones en las mediciones pre/post podrían ser explicadas por la variación en los componentes de implementación de la intervención.
Para evaluar la variación de la FI se realizaron análisis diferenciales según el contexto participante en la intervención. Se encontró que, en promedio, la adherencia a la intervención es el componente con menor cumplimiento, seguido por las dosis recibidas por los padres de los estudiantes. Considerando que las variables de FI son variables continuas que van de 0 a 100%, se consideraron como punto de corte los estándares internacionales que fijan, como alta, una fidelidad del 80% o más a los componentes del programa (Berry et al., 2015; Gresham, 2009). A partir de esta operación, se observa que aproximadamente el 30% de los equipos psicosociales son completamente adherentes a la planificación entregada por el programa HPV y que solo el 50% de los padres reciben las 3 sesiones necesarias para cumplir con estos requerimientos. Respecto a la pertinencia de la intervención, se puede observar que el 16.5% (n=233) de los estudiantes asisten a taller preventivo, a pesar de presentar sospechas de problemas de salud mental.
Respecto a la satisfacción laboral, se observa que el 60.6% (57) tienen una satisfacción muy alta. Asimismo, el 71.56% (365) de las escuelas muestran un fuerte compromiso con el programa.
Finalmente, los componentes de FI que más apego cumplen en la planificación son la cantidad de dosis recibidas por los estudiantes y profesores. Cerca del 100% de los docentes participan de los 2 talleres programados para ellos en el contexto de la intervención preventiva selectiva, y cerca del 90% de los estudiantes identificados en riesgo por el programa asisten a 8 o más sesiones (tabla 2).
Estadísticos descriptivos de los componentes de fidelidad de la implementación
| Nivel | Componente de FI | M | DE | IC 95% | Percentiles | FI ≥80% % (n) | ||
|---|---|---|---|---|---|---|---|---|
| P25 | P50 | P75 | ||||||
| Equipo (n=94) | Adherencia a la intervención | 0.591 | 0.211 | (0.548-0.635) | 0.40 | 0.60 | 0.80 | 29.8 (28) |
| Satisfacción laboral | 0.732 | 0.164 | (0.548-0.635) | 0.60 | 0.80 | 0.80 | 60.6 (57) | |
| Escuela (n=510) | Compromiso directivo con la intervención | 0.788 | 0.182 | (0.722-0.804) | 0.60 | 0.80 | 1 | 71.56 (365) |
| Estudiante (n=1414) | Dosis recibidas por el estudiante | 0.897 | 0.142 | (0.890-0.905) | 0.80 | 0.90 | 1 | 87.90 (1,243) |
| Dosis recibidas por el padre | 0.705 | 0.351 | (0.686-0.723) | 0.33 | 1 | 1 | 50.1 (708) | |
| Dosis recibidas por el profesor | 0.985 | 0.093 | (0.980-0.990) | 1 | 1 | 1 | 97.5 (1,378) | |
DE: desviación estándar; FI: fidelidad de la implementación; IC: intervalo de confianza; M: media.
En negrita, los valores de FI más altos.
Para determinar el modelo de regresión multinivel que mejor se ajusta a la matriz de datos observados, se realizaron distintos análisis que incorporaron gradualmente variables independientes. Se incorporó un modelo que permitiera ajustar la variabilidad del resultado según las variables de sexo, pertenencia a protección social y tipo de establecimiento al que asisten los estudiantes. Posteriormente, se incluyeron las variables de FI (tabla 3).
Comparación de modelos de regresión multinivel
| Efectos fijos | Modelo nulo | Modelo de ajuste | Modelo FI | Modelo final |
|---|---|---|---|---|
| β (EE) | β (EE) | β (EE) | β (EE) | |
| Constante | 12.741 (1.134)** | 19.048 (3.194)** | 5.844 (11.715)** | |
| Escuelaa | ||||
| Dependencia administrativa | 0.275 (2.318) | |||
| Estudiantea | ||||
| Sexo | −4.848 (1.409)** | −4.231 (1.408)** | −4.225 (1.408)** | |
| Protección social | 1.873 (1.504) | |||
| Equipoa | ||||
| Adherencia a la intervención | −1.156 (0.995) | |||
| Satisfacción laboral | −0.632 (1.426) | |||
| Escuelaa | ||||
| Compromiso directivo | −0.207 (0.987) | |||
| Estudiantea | ||||
| Dosis recibidas por el estudiante | 1.251 (0.508)* | 1.280 (0.498)* | ||
| Dosis recibidas por el padre | 0.0836 (0.740) | |||
| Dosis recibidas por el profesor | 5.161 (4.185) | |||
| Pertinencia de la intervención | 7.713 (2.011)** | 7.56 (1.998)** | ||
| Efectos aleatorios | Var (EE) | Var (EE) | Var (EE) | Var (EE) |
| Equipoa | 40.347 (15.557) | 38.672 (15.224) | 36.029 (14.776) | 39.163 (15.266) |
| Escuelaa | 97.766 (21.581) | 98.635 (21.601) | 96.135 (21.091) | 95.828 (21.030) |
| Estudiantea | 596.184 (26.172) | 589.910 (25.907) | 582.078 (25.549) | 582.426 (25.547) |
| AIC | 1,3276.68 | 13,269.32 | 13,257.04 | 13,249.91 |
| BIC | 13,297.7 | 13,306.1 | 13,320.09 | 13,286.69 |
| ICC Equipo | 0.055 | 0.051 | 0.050 | 0.053 |
| ICC Escuela | 0.188 | 0.186 | 0.185 | 0.187 |
AIC: criterio de información de Akaike; BIC: criterio de información bayesiano; EE: error estándar; ICC: índice de correlación intraclase; Var: varianza estimada.
Se analizó el modelo totalmente nulo para calcular la varianza total inicial y los índices de correlación intraclase (ICC). Se encontró que la variabilidad de los puntajes de los resultados reportados por los profesores varía en un 18.8% entre las escuelas y en un 5.5% en los equipos psicosociales, siendo el resto explicada por la variabilidad entre los estudiantes.
Modelo de ajusteAntes de introducir las variables de FI se decidió utilizar las variables sexo, pertenencia a familias beneficiarias de programas de protección social y dependencia administrativa como variables de ajuste. Esto se fundamentó en la evidencia de que el sexo y la condición socioeconómica representan factores de riesgo para el desarrollo de problemas de salud mental (Patel, Flisher, Hetrick y McGorry, 2007; Reiss, 2013). Solo se encontró que el sexo tenía un efecto significativo sobre las puntuaciones de cambio, evidenciando que las mujeres obtienen puntuaciones más bajas que los hombres (β=–4.848; p<0.01).
Modelo de fidelidad de la implementaciónSe incorporaron los 7 componentes de FI al modelo ajustado según el sexo de los estudiantes. Se encontró que solo las dosis recibidas por los estudiantes y la pertinencia de la intervención recibida tuvieron un efecto sobre los resultados obtenidos. Aquellos estudiantes que asisten a más sesiones obtienen más ganancias en la disminución de desadaptación escolar (β=1.251; p<0.05), así como aquellos que reciben una intervención preventiva selectiva pertinente y ajustada a su nivel de dificultad (β=7.713; p<0.05).
La adherencia y la satisfacción laboral de los equipos psicosociales muestran un efecto negativo sobre los resultados, sin embargo, este no es significativo, lo mismo que ocurre con el compromiso directivo con la intervención y las dosis recibidas por los padres y profesores.
Modelo finalEl modelo final quedó compuesto por las variables sexo, dosis recibidas por el estudiante y la pertinencia de la intervención. Esto muestra que las variables de FI más relevantes fueron las asociadas al nivel del estudiante y no a otros niveles contextuales involucrados en la intervención (tabla 3). Para evaluar el ajuste del modelo se compararon los criterios de información de Akaike (AIC) y bayesiano (BIC) entre los distintos modelos analizados. Se encontró que el modelo final presentaba los menores valores, lo que refleja un mejor ajuste.
Por su parte, se analizaron descriptivamente los residuos. Se observó que la diferencia entre los puntajes observados y los predichos mediante el modelo final se distribuyó normalmente. No se observaron patrones en la dispersión de los residuos respecto de los valores predichos por el modelo y se obtuvo una correlación entre ellos de 0.15, p<0.05, indicando un adecuado ajuste.
DiscusiónEl propósito de esta investigación fue analizar los efectos de la FI sobre los resultados de una intervención preventiva selectiva realizada en escuelas chilenas por el programa HPV, para lo que se dividió el análisis en 2 fases. En primer lugar, se describió la FI en los distintos niveles contextuales y, en segundo lugar, se indagaron distintos modelos de regresión multinivel que dieran cuenta de la relación entre los distintos componentes de la FI y los resultados.
Se encontró que, durante la intervención, los distintos componentes de la FI fueron desarrollados con un alto cumplimiento, a excepción de la adherencia y la dosis recibida por los padres. Respecto a la baja adherencia, es posible indicar que la intervención analizada se basa en un enfoque bottom-up que permite a los equipos psicosociales ajustar las actividades y metodologías a las características de los contextos de intervención, por lo que era esperable que las recomendaciones generales del manual fueran, en ocasiones, pasadas por alto a favor del uso de nuevas estrategias puestas a prueba durante el período de intervención; entre estas se cuentan: el desarrollo de actividades no incluidas en el manual, la modificación de los tamaños de los grupos, la utilización de nuevos recursos didácticos y la realización de actividades en espacios físicos distintos a los preestablecidos, debido a los problemas de disponibilidad de salas en las escuelas. A nivel internacional, esta es una cuestión no resuelta aún. El nivel de adaptaciones que se les permite a los equipos realizar, sin que por ello se eliminen los componentes teóricos esenciales del modelo de intervención, es un tema central en la ciencia de la implementación (Fixsen et al., 2009), por lo que es necesario seguir indagando en cuáles de las adaptaciones afectan al cumplimiento de los objetivos de los programas.
En este caso, el modelo del HPV es amplio y solo recomienda algunos componentes esenciales a través de su manual (metodologías, estrategias y actividades) sin exigir su aplicación, lo que puede ser una razón para que los equipos psicosociales se perciban poco adherentes y para que el propio modelo no se esté replicando de manera adecuada. Frente a esto, actualmente hay un importante trabajo técnico que busca especificar con mayor claridad qué es y no es el HPV, lo que no solo contribuye a la evaluación de la adherencia, sino también a la diferenciación del programa.
Con relación a la dosis recibida por los padres, solo la mitad participan de las 3 sesiones del taller destinado para ellos. Esto no es un resultado inesperado, dado que la inasistencia de los padres a las actividades escolares es un tema recurrente. Por esta razón, en algunas ocasiones los equipos psicosociales han enfrentado este obstáculo de implementación a través de la alianza con los profesores jefes, quienes permiten un espacio en las reuniones de padres y apoderados para que puedan realizar algunas actividades; si bien esto es una solución, puede ser también un problema en la medida en que ello no asegura que se interioricen los contenidos prescritos por el programa, debido a que las dosis no son aplicadas en la misma intensidad (duración) ni en las mejores condiciones de receptividad (compromiso o entusiasmo por parte de los participantes).
Otro resultado que es importante destacar es el alto compromiso de las escuelas con la intervención, lo que puede deberse al trabajo previo que realizan los profesionales en la preparación de la comunidad escolar para el cambio, pero también por la alta validez social que tiene el programa en el país, la incorporación de la escuela a la planificación y la práctica de la rendición de cuentas anuales que realizan los equipos psicosociales, a través de las cuales demuestran con datos cuantitativos el avance de las distintas intervenciones.
Asimismo, es importante destacar que a pesar de que las condiciones laborales no son las óptimas para todos los equipos psicosociales, debido a la tercerización del servicio de intervención por parte del Gobierno y a las dificultades burocráticas en el traspaso de fondos, manifiestan una alta satisfacción laboral. Sin embargo, es importante destacar que la medida utilizada es global del equipo y no representa específicamente la percepción de cada uno de los miembros, lo que puede acarrear un sesgo de deseabilidad social, en cuanto que, por lo general, los informes son completados por los coordinadores del equipo.
Respecto a la relación entre la FI y los resultados se pudo observar que los niveles de adherencia a la intervención no se relacionaron con la disminución de la desadaptación escolar. Este resultado es similar al encontrado por otros estudios (e.g., Berry et al., 2015) que advierten la necesidad de revisar con profundidad estos hallazgos, debido a que para algunos la adherencia es el corazón de la FI (Schulte et al., 2009). Sin embargo, en el desarrollo de intervenciones bottom-up, en las cuales la técnica y las metodologías varían, puede ser importante poner el acento en otros componentes como la dosis y la calidad de la intervención más que en el cumplimiento de modelos técnicos específicos. Al respecto, esta investigación mostró que la dosis recibida por los estudiantes influye en los resultados de la intervención, lo que da luces de la importancia del espacio relacional interventor-intervenido y de la necesidad de incorporar en futuros estudios los efectos de la calidad de la intervención.
En este sentido, es fundamental hacer notar que en países hispanoamericanos donde las intervenciones basadas en la evidencia no siempre son bien recibidas (debido su enfoque top-down), la búsqueda de componentes esenciales de FI, así como del modelo de intervención bottom-up, es una tarea urgente para la investigación en implementación en esta parte del mundo. Conocer estos componentes no solo permitirá comprender cómo las intervenciones generan los resultados deseados, sino que también ayudará a monitorizar y acompañar a los equipos en su implementación en el mundo real hispanoamericano.
Por otra parte, se encontró que la satisfacción laboral de los equipos psicosociales y el compromiso de las escuelas no están relacionados con los resultados. Siguiendo la discusión anterior, es posible suponer que el cambio se produce en el espacio relacional entre el interventor y los estudiantes intervenidos, por lo que los efectos de unidades de análisis más amplias, como el equipo directivo o el mismo equipo implementador en su totalidad, podrían no ser significativos, lo que sería consistente con los resultados de esta investigación. La misma hipótesis podría utilizarse para analizar la nula relación entre la dosis recibida por los profesores y los padres, aunque también podrían introducirse otras explicaciones como la falta de receptividad de los participantes, las dificultades en otras medidas de exposición (e.g., intensidad o intervalos) o la amplitud de la ruta indirecta del cambio de los conocimientos, actitudes y habilidades en los padres sobre el cambio de los estudiantes. Al respecto, cabe mencionar que el programa no evalúa si los talleres para padres y profesores tienen algún efecto sobre ellos, por lo que se desconoce si la intervención que reciben genera cambio en ellos.
La pertinencia de la intervención fue la variable de FI relacionada con mayor fuerza con los resultados. Aquellos estudiantes que tienen el nivel de dificultades para las cuales el taller fue diseñado obtienen mejores resultados que aquellos que presentan dificultades mayores. Esto es fundamental para la planificación de las intervenciones, pues se debería propiciar que los estudiantes que presentan sospechas de problemas de salud mental no asistan a estas sesiones, pues no son efectivas para ellos. En este caso, se requiere un trabajo articulado en una red de salud que sea capaz de brindar atención especializada a estos niños, quienes al presentar problemas de salud mental tempranamente tienen mayor probabilidad de presentar trayectorias de desarrollo problemáticas.
En esta misma línea, los resultados sugieren que el sexo debería considerarse como una medida de pertinencia de las intervenciones preventivas en salud mental escolar, debido a que los cambios observados en las mujeres son menores que los observados en los hombres, lo que podría deberse a la falta de un enfoque de género en el diseño de los talleres.
Finalmente, se encontró que la varianza de los puntajes asociados al cambio se explica solo en un 18.5% por las variables asociadas al nivel del equipo (la intervención misma), y que una buena parte de ella está explicada por factores del propio sujeto intervenido, por lo que es necesario indagar en cuáles son aquellos aspectos de intervención que podrían articularse a ellos, para mejorar su efectividad. En este sentido, los resultados de esta investigación se suman a la evidencia que enfatiza en la necesidad de relevar los aspectos de los sujetos intervenidos involucrados en la FI (Low et al., 2014; McGinty et al., 2011) y no solo los aspectos de los ejecutores, que se centran en la adherencia y en la calidad de la intervención (e.g., Pettigrew et al., 2015). Sin embargo, una explicación alternativa a la baja incidencia de este tipo de variables en esta investigación es que la organización y estructura de las actividades puede que no sea tan relevante como la relación lúdica que establecen los ejecutores con los estudiantes; de hecho, participar en esta actividad para los y las estudiantes representa un espacio de recreación frente a las exigencias académicas y el modelo pedagógico tradicional que restringe los espacios de juegos. Otra hipótesis puede ser que las medidas consideradas en esta investigación no capten con adecuada precisión las complejas aristas de los componentes de la FI localizadas en el ejecutor, por lo que es necesario seguir profundizando en sus definiciones operacionales y los instrumentos de medición (Schoenwald y Garland, 2013).
Las limitaciones de esta investigación están asociadas a las medidas de la FI, que parecen ser un tema urgente en la ciencia de la implementación (Proctor et al., 2011). Actualmente existe una gran diversidad de conceptualizaciones respecto a la FI y una escasez de instrumentos que den cuenta de ella, lo cual es una importante amenaza a la comparación de los resultados entre las investigaciones. En este caso, se utilizaron los productos permanentes del programa (informes de implementación), que si bien pueden presentar debilidades psicométricas, tienen una alta validez social en cuanto que se utilizan para tomar las decisiones cotidianas en la intervención; sin embargo, como se mencionó anteriormente, se hace difícil relacionar estos resultados con otros que miden la FI a través de otros instrumentos, como la observación o el autorreporte.
Asimismo, dada la naturaleza multinivel de la FI, es importante considerar con mayor cautela las unidades de análisis involucradas en el análisis de los resultados. Esta investigación sugiere que es importante considerar la relación entre interventor y grupo intervenido, más que otras unidades de análisis en un nivel mayor. Por eso otra limitación de esta investigación fue considerar el equipo implementador como un todo, más que el miembro del equipo que interviene en los estudiantes. Futuras investigaciones deberían centrarse en ellos para analizar cómo las variables de calidad de la intervención se articulan con la receptividad de los participantes y las dosis recibidas.
Otra limitación es el uso exclusivo de medidas de resultados asociadas a la presencia de dificultades de adaptación que no toman en cuenta el desarrollo de habilidades socioemocionales. En este sentido, es necesario que futuras investigaciones analicen los efectos de la FI sobre cada uno de estos resultados y su interacción, pues la disminución de uno no implica necesariamente el aumento del otro.
Finalmente, esta investigación aporta información valiosa respecto a los resultados de intervenciones preventivas en salud mental escolar demostrando que la implementación sí es importante. En este sentido, se hace necesario seguir indagando en los procesos de implementación llevados a cabo en el mundo real hispanoamericano, debido a que la mayoría de la bibliografía internacional se centra en países angloparlantes que tienen características culturales distintas, por lo que los resultados de sus investigaciones no pueden ser trasladados directamente.
En este contexto, se encontró que la dosis y la pertinencia de la intervención son las variables de la FI que más influyen sobre los resultados, cuestión que debe ser considerada cuidadosamente en los programas desarrollados en esta región que se caracterizan por un enfoque bottom-up, lo que invita a profundizar sobre los procesos relacionales involucrados en la implementación y su articulación con los modelos teóricos que fundan las intervenciones.
FinanciaciónEstudios de posgrado financiados por CONICYT-PCHA/Doctorado Nacional/2015-21150612.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
