Implantación piloto de dos programas basados en la evidencia (SafeCare e Incredible Years) en los Servicios de Protección Infantil de Gipuzkoa (España)

Resumen

El presente artículo describe el proceso de implantación de dos la primera letra de las tres palabras minúscula en el Sistema de Protección Infantil de Gipuzkoa (España): SafeCare e incredible years. El primero es un programa de intervención en el domicilio para familias negligentes o en riesgo de negligencia con niños menores de 5 años. El segundo es un programa terapéutico grupal para familias con niños entre 4 y 8 años con problemas de comportamiento cuyos padres tienen dificultades significativas para su manejo. Se describe el proceso por el que las instituciones responsables de la protección infantil en Gipuzkoa iniciaron un cambio desde los modelos actuales de intervención hacia programas más estructurados, focalizados y breves que han mostrado resultados positivos en aplicaciones previas en otros países. Se tratan cuestiones relacionadas con la adaptación de los programas, la selección y formación de profesionales y se presentan los resultados prey postobtenidos en la aplicación preliminar de ambos programas a un número limitado de familias. Se presenta el diseño de la siguiente fase del proceso (implantación piloto con diseño experimental para evaluación de resultados). Se discuten cuestiones relevantes de este proceso, que pueden ser de utilidad para aquellas administraciones e instituciones que pretendan llevar a cabo un proceso similar.

Abstract

This paper describes the implementation process of two evidence-based programs in Gipuzkoa's Child Protection System (Spain): SafeCare and Incredible Years. SafeCare is a home visiting program for high-risk and neglectful families with children under 5 years. Incredible Years is a parenting skills training program for families with children between 4 to 8 years with behavior problems whose parents have significant difficulties to manage. The paper describes the process by which public institutions responsible for child protection in Gipuzkoa decided to shift from current intervention programs towards more structured, focused, and short-term programs that have shown positive results in previous applications in other countries. Issues related to programs adaptation, selection, and training of professionals and preand postresults obtained in the preliminary application of SafeCare and Incredible Years to a limited set of families are presented. Finally, the next step of the implementation process (pilot implementation with a randomized control trial design) is described. The paper discusses a significant number of issues that have been important throughout this process and that may be useful for administrations and institutions that wish to undertake a similar process.

A pesar del reconocimiento público y la legislación internacional dirigida a preservar y proteger los derechos de los niños, niñas y adolescentes, la violencia física, la negligencia, el abuso sexual, el maltrato psicológico y otras formas de malos tratos siguen produciéndose, tal como muestran informes de organizaciones internacionales como la OMS (Krug, Dahlberg, Mercy, Zwi y Lozano, 2002), Naciones Unidas (Pinheiro, 2006) y la International Society for the Prevention of Child Abuse and Neglect (2012). España no es ajena a este problema, aunque las cifras oficiales no constituyen más que estimaciones. El último informe del Observatorio de la Infancia refleja que en el año 2013 había en España un total de 42.569 expedientes abiertos a menores de edad como consecuencia de alguna medida de protección (Observatorio de la Infancia, 2014). Esto supone aproximadamente 510 niños, niñas y adolescentes por cada cien mil. No obstante, estas cifras no reflejan los casos reales de maltrato que se están produciendo, entre otras razones porque incluyen únicamente los casos de mayor gravedad que son atendidos por los Servicios Sociales Especializados y están separados de sus familias, habiendo un número mucho mayor de casos de menor severidad atendidos por los propios Servicios Sociales Especializados y los Servicios Sociales Municipales que no están recogidos en estas estadísticas.

El maltrato infantil en la familia ha de considerarse un problema social y de salud prioritario (Mikton y Butchart, 2009). Además de afectar a un número importante de niños, puede conllevar efectos negativos significativos y duraderos en su salud y bienestar físico y psicológico y en su desarrollo actual y futuro (ver revisión de Arruabarrena, 2014). Estos efectos no sólo tienen implicaciones para quienes lo sufren, sino para el capital humano y productivo de la sociedad en su conjunto, además de los costes económicos que supone la atención a sus secuelas a corto, medio y largo plazo en las víctimas.

La legislación española y las legislaciones y normativas autonómicas en materia de protección a la infancia y adolescencia coinciden en asignar a la administración pública —representada por los Servicios Sociales, educativos, sanitarios, judiciales, etc.— la responsabilidad de prevenir, detectar e intervenir en las situaciones de maltrato infantil. En esta asignación de responsabilidades, los Servicios Sociales —y específicamente los Servicios de Protección Infantil— tienen un papel particularmente relevante. Aunque hay diferencias entre comunidades autónomas, en general los Servicios Sociales Municipales tienen que desarrollar actuaciones para la sensibilización social, prevención, detección e intervención reparadora en casos de maltrato de menor gravedad, mientras que los Servicios Sociales Especializados tienen la responsabilidad de intervenir en los casos de maltrato de mayor gravedad. La legislación es clara en el sentido de establecer la intervención rehabilitadora con los progenitores como opción prioritaria en estas situaciones, dirigida a conseguir el mantenimiento de la unidad familiar, garantizando que el niño reciba una atención adecuada, corrigiendo la situación de maltrato y previniendo su reaparición. Éste es el objetivo de los denominados programas de preservación familiar, que pueden tener como finalidad la capacitación parental (esto es, conseguir que las figuras parentales proporcionen una atención adecuada al niño) o el complemento familiar (esto es, complementar a las figuras parentales cuando no es posible conseguir una capacitación suficiente y se considera que la separación del niño de su familia de origen no es una alternativa adecuada). Para una revisión más exhaustiva de la evolución legislativa y de los Servicios de Protección Infantil en España, ver De Paul, 2009.

La evidencia científica indica de forma clara que la intervención dirigida a reparar las secuelas del maltrato y rehabilitar a los padres y madres que lo perpetran es mucho menos eficaz y más costosa que las intervenciones de carácter preventivo, situando a la intervención precoz como la alternativa de intervención preferente frente al problema (Arruabarrena y De Paúl, 2012; Kilburn y Karoly, 2008; Mikton y Butchart, 2009). Hay un conjunto importante de investigaciones que apoyan la relevancia del período prenatal y los cinco primeros años de vida para la salud física y psicológica: lo que sucede en esas etapas proporciona la base para el desarrollo físico, cognitivo y emocional a lo largo de la vida (National Scientific Council on the Developing Child, 2010; Shokoff, Garner y The Committee on Psychosocial Aspects, 2012). Las experiencias adversas pueden producir perturbaciones en la adquisición de las capacidades y habilidades esperables en el proceso evolutivo. El maltrato infantil es una de las experiencias adversas más graves que puede sufrir un niño, particularmente cuando se produce en etapas sensibles del desarrollo.

Pero la intervención tardía predomina en los Servicios de Protección Infantil. Esta intervención tardía no sólo es más cara, sino que es incapaz de producir los resultados que puede proporcionar la intervención temprana. Como Graham Allen señaló en su informe al Gobierno británico, “El planteamiento es claro: muchos de los costosos y dañinos problemas sociales se producen porque no estamos dando a los niños el tipo de apoyo apropiado en sus primeros años de vida, cuando deben lograr su desarrollo más rápido. Si no proporcionamos esa ayuda de forma suficientemente temprana, en muchas ocasiones será demasiado tarde” (Allen, 2011, p. xiii). La investigación científica proporciona argumentos que apoyan la eficiencia de programas diseñados de forma rigurosa para mejorar el cuidado parental temprano y desencadenar efectos significativos en un amplio espectro de áreas del desarrollo infantil (para una revisión más detallada, ver Olds, Sadler y Kitzman, 2007).

Siguiendo el camino iniciado por la medicina y posteriormente por la psicología en relación al tratamiento de los trastornos de salud mental (ver, por ejemplo, American Psychological Association, 2005), durante los últimos quince años se ha producido un interés creciente en los países desarrollados sobre los Pprogramas y prácticas basados en la evidencia aplicados al ámbito de la protección infantil, esto es, en identificar aquellos programas y prácticas que han demostrado científicamente su eficacia para alcanzar los resultados deseados y que disponen de un procedimiento definido que establece qué debe ser administrado y a quién, cuándo, dónde y cómo. Los investigadores han realizado aportes muy significativos en este terreno y países como Estados Unidos, Canadá, Australia y más recientemente Reino Unido y los países escandinavos están potenciando claramente la aplicación de esta perspectiva en las políticas de prevención y atención a las familias y niños, niñas y adolescentes en situación de vulnerabilidad o con problemas de maltrato intrafamiliar.

Hay numerosas organizaciones dedicadas a realizar revisiones sistemáticas sobre el conocimiento disponible acerca de la eficacia de los programas de prevención o rehabilitación en este terreno (p. ej., Campbell Collaboration, National Institute for Health and Clinical Excellence), su eficiencia (p. ej., Washington State Institute for Public Policy) o a recopilar información al respecto, disponiéndose ya de varias bases de datos de programas basados en la evidencia. Entre ellas caben mencionarse, por ejemplo, la California Evidence-based Clearinghouse for Child Welfare (http://www.cebc4cw.org/), la Office of Juvenile Justice and Delinquency Prevention OJJDP (http://www.ojjdp.gov/), el National Registry of Evidence-based Programs and Practices NREPP-SAMSHA (http://www.nrepp.samhsa.gov/), los Blueprints for Youth Development del Center for the Study and Prevention of Violence CSPV (http://www.blueprintsprograms.com/), la RAND Corporation (http://www.promisingpractices.net/) o la Administration for Children and Families del US Department of Health and Human Services (http://www.acf.hhs.gov/). Europa ha comenzado recientemente a trabajar en este objetivo, como lo indica el desarrollo reciente de la European Platform for Investing in Children-EPIC (http://europa.eu/epic/practices-that-work/) o la adaptación de los Blueprints (Axford, Elliot y Little, 2012). Programas como el Nurse Family Partnership (NFP), Triple P, Incredible Years, SafeCare, Parent-Child Interaction Therapy (PCIT), Functional Family Therapy (FFT), Multisystemic Therapy (MST), Multidimensional Treatment Foster Care (MTFC) o Trauma-Focused Cognitive Behavioral Therapy (TF-CBT) son algunos de los más citados y mejor clasificados en estas bases de datos.

Las bases de datos de programas basados en la evidencia proporcionan información detallada de cada programa y una calificación que, en términos generales, establece si la evidencia empírica sobre la eficacia del programa es sólida, prometedora, débil, nula, inexistente o hay evidencia de efectos nocivos, como sucede en algunos casos. Hay variaciones en los criterios que las distintas organizaciones utilizan para determinar la solidez de la evidencia empírica, pero en cualquier caso incluyen siempre la disposición de investigaciones con diseño experimental (en número variable) que muestren que se producen los cambios positivos perseguidos por el programa, que dichos cambios son significativos y son atribuibles al programa y que no hay evidencia de efectos dañinos. En algunos casos, la máxima calificación es otorgada únicamente cuando se ha constatado que los resultados del programa se mantienen en el tiempo y cuando al menos una de las investigaciones ha sido realizada por un equipo no vinculado al diseño del programa o sin intereses económicos en el mismo.

En cualquiera de los casos, para que un programa se considere basado en la evidencia han de cumplirse también otros requisitos, como son su especificidad (es decir, el programa ha de identificar claramente la población a la que se dirige, cuál es el resultado que pretende alcanzar, las variables o factores sobre los que se pretende intervenir para producir ese cambio y su modelo lógico, es decir, cómo se prevé que los componentes de la intervención van a producir el cambio deseado) y su disponibilidad para su diseminación (es decir, el programa debe estar accesible para ser diseminado y dispone de la necesaria estructura organizativa, manuales, programas formativos, asistencia técnica y los sistemas de apoyo necesarios para poder ser implantado con fidelidad en comunidades y servicios públicos).

Aunque no cabe duda de la necesidad de seguir innovando para mejorar la eficacia de los programas de prevención e intervención, hay múltiples razones para promover la utilización de los programas basados en la evidencia en los Servicios de Protección Infantil. Entre ellas pueden destacarse dos. En primer lugar, si bien los esfuerzos por ayudar y apoyar a las familias y los niños en situación de vulnerabilidad o con problemas de maltrato intrafamiliar se basan indudablemente en buenas intenciones, la investigación ha mostrado que en ocasiones éstas pueden no producir ningún resultado positivo e incluso provocar daños de forma no intencionada. Los programas basados en la evidencia disponen de sustento empírico que asegura que sus resultados sean seguros y beneficiosos para sus destinatarios. En segundo lugar, el proceso de desarrollo de un nuevo programa implica evaluarlo de forma rigurosa durante muchos años para poder obtener información suficiente acerca de su eficacia y eficiencia (UNO-DOC, 2010).

La intervención familiar en los Servicios de Protección Infantil en Gipuzkoa

El País Vasco, y concretamente la provincia de Gipuzkoa, fue la primera región de España en diseñar e implantar programas de tratamiento para familias maltratantes y negligentes basados en experiencias desarrolladas a nivel internacional (p. ej., Child Welfare League of America, 1989; Wells y Biegel, 1991). En 1991 se diseñó e implantó un programa piloto para familias maltratantes y negligentes y se llevó a cabo una evaluación de resultados con las familias atendidas en el programa (133 familias y 289 niños) entre febrero 1991 y agosto 1997 (De Paúl y Arruabarrena, 2003). Este programa fue un modelo para programas diseñados e implantados posteriormente en otras regiones.

Los programas de intervención familiar en Gipuzkoa han continuado llevándose a cabo a lo largo de los últimos 25 años siguiendo el modelo iniciado en 1991, aplicándose básicamente los recursos de educador familiar y psicoterapia y sin la incorporación de nuevos modelos de tratamiento o prácticas basadas en la evidencia.

El Servicio de Protección Infantil de la Diputación Foral de Gipuzkoa (una provincia con aproximadamente 700.000 habitantes) interviene en casos de maltrato infantil de gravedad elevada. Un porcentaje importante de estos casos reciben recursos de intervención familiar. Así, por ejemplo, el 31 de diciembre de 2014 un total de 709 familias (978 niños, niñas y adolescentes) estaban participando en uno o varios de los programas de intervención familiar disponibles, lo que aproximadamente duplicaba el número de familias atendidas en estos programas en el año 2007. En esa misma fecha, un total de 249 familias y 410 niños, niñas y adolescentes estaban siendo atendidos en el programa Trebatu. Este programa tiene como principal finalidad el mantenimiento del menor en su familia (preservación) o su retorno a su familia de origen en caso de haber sido separado (reunificación). De las 249 familias en intervención en ese momento, 161 tenían como finalidad la preservación (en 93 de ellas el objetivo de intervención era la capacitación parental y en 68 el complemento familiar), trece familias la reunificación y en 34 casos el objetivo fundamental era potenciar la capacidad de vida autónoma del menor. Para llevar a cabo la intervención con estas 249 familias (la capacidad máxima del programa es de 265), el programa contaba con 94 profesionales a tiempo completo. Este programa de intervención familiar se complementa principalmente con un programa de terapia psicológica que, a 31 de diciembre de 2014, proporcionaba tratamiento a 165 adultos y 281 niños, niñas y adolescentes (Diputación Foral de Gipuzkoa, 2015).

La mayoría de las familias atendidas en el programa Trebatu tienen hijos de edades comprendidas entre 10 y 18 años (con una media de edad cercana a once años); sólo el 14% de los niños atendidos tienen menos de cinco años. El 44% de estas familias (con problemas de maltrato infantil de gravedad elevada) habían recibido previamente recursos de intervención familiar en los Servicios Sociales Municipales cuando la gravedad del maltrato era leve o moderada. La duración media de esta intervención en los Servicios Sociales Municipales fue de dos años. El programa Trebatu proporciona fundamentalmente el recurso de la visita domiciliaria por parte de un educador familiar junto a un profesional responsable de dirigir la intervención con el caso. La media del número de visitas semanales es de 2.7, con una duración media de 60 minutos por visita. Un 43.6% de las familias recibe dos visitas semanales, un 37.4% recibe tres visitas y un 11.9% recibe cuatro visitas. Además de lo anterior, el 22% de las familias recibe terapia psicológica para los adultos (12% individual, 5% familiar y 5% de pareja) y un 17% terapia psicológica para los niños. La duración habitual de la intervención es de 24 meses, aunque las familias en preservación-complemento familiar participan un tiempo mucho más prolongado. De las 173 familias dadas de baja en el programa Trebatu en el año 2014, únicamente en 41 (23.69%) lo fue por haberse alcanzado los objetivos de la intervención (Diputación Foral de Gipuzkoa, 2015).

El presupuesto asignado a este programa de intervención familiar (para un máximo de 265 familias) ascendió en el año 2014 a aproximadamente 3.066.000 € anuales, lo que sitúa el coste medio del tratamiento anual por familia en 11.500 €. En este presupuesto no está incluido el coste de las sesiones de terapia psicológica señaladas más arriba. Existen otros programas de intervención que no son descritos en este artículo pero que suponen que el coste anual de la intervención familiar por parte de la Diputación Foral de Gipuzkoa para casos de maltrato infantil de gravedad elevada ascendió en 2012 a una cifra cercana a 6.000.000 €. Es importante recordar que la Diputación Foral de Gipuzkoa atiende también a más de 600 niños, niñas y adolescentes (cifra de casos en una fecha concreta del año) que han debido ser separados de sus familias, de los cuales aproximadamente la mitad están en acogimiento residencial (con un coste medio anual que supera los 60.000 € por niño) y la otra mitad en acogimiento familiar.

El Ayuntamiento de Donostia-San Sebastián (con una población aproximada de 185.000 habitantes) es la institución a quien compete la intervención preventiva y en casos de maltrato infantil de gravedad moderada. El Servicio de Infancia dispone de un programa denominado de “Intervención Precoz” que desarrolla un importante programa de formación para la detección de casos de desprotección en el ámbito escolar y comunitario (en el año 2014 gestionaron la formación de 1213 profesionales en un total de 52 centros escolares con más de 300 horas de formación). Este programa de fomento de la detección se complementa con un programa de asesoramiento (e intervención precoz propiamente dicha) a familias y profesionales de dichos centros escolares, que en el año 2014 atendió a un total de 444 niños/as. Además de lo anterior, el Servicio de Infancia interviene con todos los casos de desprotección infantil de gravedad leve o moderada, habiendo proporcionado atención a 521 familias en el año 2012, 630 en 2013 y 678 en 2014. El Servicio de Infancia de este ayuntamiento dispone de un programa de intervención socioeducativa familiar compuesto por 4.5 terapeutas y 25 educadores familiares (equivalente jornada completa). De las 678 familias atendidas en el año 2014, un total de 225 recibieron la intervención de un educador familiar (promedio total de 647 horas semanales, 2.9 horas por familia) y 147 recibieron terapia psicológica (promedio total de 103 sesiones por semana, 0.7 sesiones semanales por familia). En el año 2014, el presupuesto asignado a este programa fue de aproximadamente 2.000.000 €, incluyendo el coste de los denominados “responsables de caso”, que llevan a cabo la intervención con las familias que no reciben los recursos de educador familiar o terapia y coordinan la intervención con las familias que sí lo reciben.

Con la excepción de la información que se ha proporcionado sobre las razones de la baja en el programa Trebatu, ninguna de estas dos instituciones dispone de datos acerca de los resultados de esta inversión de dinero público. Las memorias anuales de los programas de intervención familiar incluyen datos de evaluación de cobertura, recursos utilizados e información sobre las características de los niños y familias atendidas. Hay pocos datos de evaluación de resultados que, en las escasas ocasiones que se incluyen, recogen exclusivamente el juicio subjetivo de los profesionales intervinientes.

Las conclusiones que se pueden obtener del análisis de los datos presentados en los párrafos anteriores y del conjunto de la información existente sobre los recursos de intervención familiar del Sistema de Protección Infantil de Gipuzkoa son las siguientes:

• •

  Los programas se basan fundamentalmente en la provisión de visitas domiciliarias y tratamiento psicológico.

• •

  La intervención en los casos de maltrato de mayor gravedad tiende a ser muy prolongada en el tiempo. Un porcentaje importante de estos casos pasan de una intervención familiar en el municipio a una intervención familiar en el ámbito especializado sin que se hayan resuelto los problemas que justifican la intervención.

• •

  Las intervenciones familiares en los casos de mayor gravedad suelen llevarse a cabo en momentos ya avanzados del desarrollo infantil y son muy poco frecuentes las intervenciones tempranas (por debajo de los cinco años de edad del niño).

• •

  Los programas de intervención familiar no pueden considerarse estructurados ni están manualizados.

• •

  Los resultados de los programas de intervención familiar no están adecuadamente evaluados y resulta imposible conocer su eficacia. La evaluación que se realiza de estos programas permite conocer el tipo de familias con las que se interviene y los recursos humanos utilizados para la intervención. No hay, por tanto, un rendimiento de cuentas de lo que se obtiene con los recursos económicos utilizados por las entidades que llevan a cabo la intervención y las instituciones públicas responsables de la protección de los niños, niñas y adolescentes no pueden dar cuenta de la eficacia o eficiencia de dichos recursos públicos.

Sin duda, estas conclusiones son extensibles al conjunto de Servicios de Protección Infantil de la Comunidad Autónoma del País Vasco y del resto de España. Aunque con grandes diferencias, en todas las comunidades autónomas y municipios se invierten recursos económicos en servicios y programas dirigidos a la prevención y atención de los niños, niñas y adolescentes víctimas de maltrato infantil y sus familias. Sin embargo, apenas se sabe nada de la eficacia y eficiencia de tales servicios y programas. No es posible encontrar informes ni publicaciones de evaluación de sus resultados más que de forma excepcional. Puede afirmarse que en España no existe una cultura de la evaluación en el ámbito de los Servicios de Protección Infantil.

Proceso de Implantación de Programas Basados en la Evidencia en los Servicios de Protección Infantil en Gipuzkoa

Fase I. Exploración (febrero-noviembre de 2013)

El inicio del proceso de implantación de programas basados en la evidencia en Gipuzkoa se produjo en febrero de 2013, a partir de una serie de reuniones de trabajo entre los responsables técnicos de los Servicios de Protección Infantil de la Diputación Foral de Gipuzkoa y Ayuntamiento de Donostia-San Sebastián y el grupo de investigadores de la Universidad del País Vasco (autores de este artículo). En estas reuniones, los hechos básicos que se analizaron fueron los siguientes: (1) el evidente incremento (sostenido a lo largo del tiempo) del número de niños y familias atendidos en los Servicios de Protección Infantil de ambas instituciones, que se mantenía estable a pesar del aumento permanente de recursos humanos, (2) la evidencia de que las intervenciones con las familias y los niños con problemas de mayor gravedad se llevaban a cabo en momento tardíos del desarrollo familiar, (3) los escasos resultados positivos obtenidos por los programas de intervención familiar con los casos de mayor gravedad, en ausencia de un conocimiento fiable sobre su eficacia real, (4) la elevada duración de las intervenciones familiares en este último tipo de casos y la tendencia a que en muchas familias se produjera el paso de la finalidad de capacitación parental a complemento familiar y (5) la dificultad para conocer de manera precisa cómo se llevaban a cabo las intervenciones con estas familias tanto por parte de los educadores familiares como por parte de los psicoterapeutas y, por tanto, la convicción de que se trataba de programas de intervención no estructurados en los que el qué, el cuándo y principalmente el cómo con los niños y familias descansaba básicamente en la valoración y criterios individuales de cada profesional.

Fruto de estas reflexiones, en el mes de abril de 2013 se concluyó en la necesidad de iniciar un proceso de implantación de programas basados en la evidencia para la intervención con las familias del Sistema de Protección Infantil de ambas instituciones (Diputación Foral y Ayuntamiento). Esta decisión fue adoptada asumiendo que, para alcanzar los objetivos perseguidos, las dos instituciones debían llevar a cabo este proceso de manera conjunta.

Para el inicio de este proceso de cambios se seleccionaron dos programas: SafeCare e Incredible Years. Estos programas fueron seleccionados por diferentes razones, entre las que deben destacarse tres fundamentales: (1) ambos van dirigidos a familias con niños de edades tempranas y pueden ser utilizados con carácter preventivo y rehabilitador, (2) intervienen con formatos diferentes (el primero de ellos se lleva a cabo en el domicilio familiar y el segundo en modalidad grupal) y (3) uno de ellos interviene con familias negligentes o en riesgo de negligencia y el otro en familias con riesgo de maltrato físico y emocional (para una descripción más detallada de ambos programas puede consultarse el Apéndice I y el número de agosto de 2012 de esta revista).

A lo largo de los meses siguientes, los investigadores de la Universidad del País Vasco contactaron y llevaron a cabo las negociaciones necesarias con las organizaciones que gestionan la diseminación de estos programas (National SafeCare Training and Research Center NS-TRC y The Incredible Years Inc.) con el propósito de presentarles los objetivos del proyecto, conocer los requisitos exigidos y el programa de formación y supervisión necesarios para la preparación de los profesionales que pudieran implantar los programas, conocer los materiales y documentación requeridos para la implantación —con especial atención a las necesidades de traducción y adaptación—, conocer el procedimiento a seguir para la implantación de los programas —con especial referencia a las fases de evaluación de proceso y evaluación de resultados— y conocer el coste económico total de la formación, supervisión y adquisición de materiales y documentación.

Con el presupuesto definitivo del proyecto, en el mes de junio de 2013 se obtuvo el acuerdo de los responsables políticos de la Diputación Foral de Gipuzkoa y el Ayuntamiento de Donostia-San Sebastián para proceder a la puesta en marcha de estos dos programas con carácter piloto y financiar el proyecto, materializando su ejecución en la firma de un Convenio de Colaboración entre la Diputación Foral, el Ayuntamiento y la Universidad del País Vasco en septiembre de 2013. En dicho convenio se estableció la creación de una comisión técnica de seguimiento, formada por dos representantes de cada una de las instituciones, encargada de la gestión y supervisión de todo el proceso. Posteriormente, la Universidad del País Vasco procedió a la firma de los correspondientes contratos con el NSTRC y The Incredible Years Inc., que poseen la propiedad intelectual de ambos programas en Estados Unidos.

El coste del contrato establecido con el NSTRC, que incluyó (1) un seminario de orientación inicial, (2) seminarios presenciales de formación y supervisión y acreditación de seis educadores familiares y dos coaches, (3) sesiones on-line de supervisión, (4) los materiales y documentación necesarios para la implantación del programa y (5) la licencia para su aplicación, ascendió a aproximadamente 38.000 €. A esta cantidad se le deben añadir los costes de desplazamiento y alojamiento de los formadores (cuatro viajes desde Estados Unidos y 18 días de alojamiento y manutención). En el caso del programa Incredible Years, el presupuesto establecido para (1) tres seminarios presenciales de formación y supervisión y los correspondientes viajes y dietas (posteriormente se organizó un cuarto seminario presencial, que se incluyó en un nuevo presupuesto), (2) sesiones on-line de supervisión y (3) los materiales necesarios para la implantación del programa, ascendió a aproximadamente 39.000 €. A esta cantidad han de añadírsele 18.000 € de servicios de traducción simultánea para los seminarios presenciales y sesiones on-line de supervisión.

Fase II. Preparación (diciembre de 2013 - mayo de 2015) Actividades comunes a los programas SafeCare e Incredible Years

Al inicio de esta fase, se mantuvieron reuniones con las entidades, equipos y profesionales de los Servicios de Protección Infantil de la Diputación Foral y Ayuntamiento de Donostia-San Sebastián, así como con ayuntamientos cercanos, para dar a conocer el diseño del proyecto y los detalles de los nuevos programas a implantar. En momentos posteriores se mantuvieron también reuniones con entidades vinculadas al ámbito de la protección infantil (p. ej., Cruz Roja, Cáritas) y responsables y representantes de la red educativa y sanitaria. Estas reuniones fueron constantes a lo largo de esta fase y proporcionaron un feedback imprescindible para la consecución de los objetivos del proyecto.

Además de lo anterior, se elaboraron y difundieron documentos escritos que definían entre otros los objetivos de cada programa y sus características básicas, los criterios y procedimiento a seguir para la selección, ofrecimiento de participación y derivación de familias, los criterios y procedimiento para la asignación de recursos adicionales de apoyo a las familias cuando fuera necesario y las funciones de los diferentes agentes implicados en la intervención.

Programa SafeCare

Adaptación de los materiales y documentos técnicos. La primera actividad que se llevó a cabo en esta segunda fase de la implantación del programa SafeCare se centró en la adaptación general de los documentos y los materiales a utilizar por los profesionales y las familias. Los materiales y documentos escritos, previamente traducidos al español por profesionales bilingües del NSTRC, debieron ser revisados por miembros del equipo de investigación de la Universidad del País Vasco para garantizar que utilizaban una terminología adecuada al contexto español. Estos documentos requirieron, además, una importante cantidad de adaptaciones de carácter menor derivadas, por ejemplo, de las diferentes formas de gestionar o denominar en Estados Unidos y Gipuzkoa los recursos de salud infantil o urgencias, los diferentes tipos de sustancias tóxicas más o menos frecuentes, las características propias de la seguridad de los hogares familiares, etc. Las adaptaciones de los materiales de salud infantil fueron realizadas con el asesoramiento de pediatras de la Comunidad Autónoma del País Vasco.

Selección y formación de profesionales. Los requisitos básicos para recibir la formación como “educadores familiares” de SafeCare fueron dos: (1) formación académica específica (trabajo social, psicología, etc.) y (2) experiencia previa de trabajo con familias del ámbito de la protección infantil. Sin embargo, en esta primera experiencia de implantación de SafeCare, se consideró que los aspectos más críticos debían incluir (1) una actitud positiva para trabajar según un modelo estructurado y para hacer algo nuevo y 2) el hecho de ser una persona bien respetada por otros en sus agencias (al ser las primeras personas en aplicar el programa tendrán la oportunidad de influir positivamente en que otros se impliquen en un programa basado en la evidencia). En función de dichos criterios se seleccionaron seis mujeres (cuatro trabajadoras sociales, una psicóloga y una educadora social).

En enero de 2014 se llevó a cabo una primera reunión de tres días que servía de orientación general con el programa. Una persona con acreditación como trainer del programa procedente del NTRSC (Georgia, Atlanta) presentó las características generales del programa y los requisitos para su aplicación a los profesionales, los responsables de caso y los cargos técnicos de las dos instituciones.

La formación de los educadores familiares de SafeCare (marzo, 2014) empezó con un seminario de cinco días de duración en el que los profesionales aprendieron a implantar los tres módulos del programa SafeCare y también recibieron formación en comunicación con las familias y resolución de problemas. El seminario de formación se llevó a cabo a través de presentaciones didácticas de la trainer, utilización de grabaciones de sesiones del propio programa, modelado de habilidades, ejercicios de role-play y retroalimentación de la trainer.

A partir de dicho seminario, las seis profesionales iniciaron las actividades con las familias. Todas las sesiones fueron audio-grabadas y compartidas con la trainer. Las profesionales recibieron retroalimentación semanal telefónica sobre la manera en que aplicaban el programa con las familias. Además, una vez al mes se celebraron sesiones grupales on-line de supervisión y consulta de las seis profesionales y la trainer.

En julio de 2014 se llevó a cabo un segundo seminario presencial de formación de tres días de duración. Las profesionales recibieron supervisión personal e individual de su trabajo con las familias. La trainer llevó a cabo varias sesiones de supervisión “en vivo” del trabajo de las educadoras familias en el propio domicilio familiar.

El contrato con el NTRSC incluyó la formación como coaches de dos de las seis educadoras familiares. La formación como coach prepara al profesional para supervisar el trabajo de las educadoras familiares y constituye un requisito para la implantación de SafeCare. Tras la selección de dos profesionales, estas sesiones de formación se llevaron a cabo durante dos días del mes de noviembre de 2014. Después de estas sesiones de formación, los profesionales que ejercen estas funciones deben demostrar sus competencias como coaches con sus educadoras familiares y su capacidad para mantener la fidelidad al programa original antes de ser certificadas como tales. En diciembre de 2014 las seis educadoras familiares recibieron su acreditación para aplicar el programa SafeCare. En la actualidad (junio de 2015), dos de ellas están finalizando su formación como coaches.

Aplicación del programa durante la fase de formación. Como se ha señalado previamente, en abril de 2014 y dentro de su proceso formativo, las seis educadoras familiares iniciaron la implantación preliminar de SafeCare con un grupo limitado de familias. Los criterios establecidos para la selección de dichas familias fueron los siguientes:

• •

  Criterios de inclusión: (1) presencia de negligencia física o emocional (o alto riesgo) hacia un niño/a de menos de 5 años (se incluyen niños/as víctimas de otros tipos de maltrato, excepto abuso sexual), (2) el niño/a vive en el hogar familiar con al menos uno de sus padres, (3) el objetivo de los Servicios de Protección Infantil es la preservación familiar y (4) los padres están de acuerdo para participar en el programa y en el proceso de evaluación.

• •

  Criterios de exclusión: abuso sexual (sospecha o confirmación) hacia el niño/a con el agresor viviendo en el domicilio, (2) las dos figuras parentales (o una de ellas si es familia monoparental) presentan problemas de adicción o de serios trastornos mentales no tratados o graves limitaciones cognitivas que reducen la posibilidad de que se beneficien del cualquier intervención de mejora de habilidades parentales y (3) hay un niño/a mayor de 5 años que vive en el hogar familiar que es víctima de maltrato de gravedad elevada y la familia debe recibir servicios adicionales.

Aplicando estos criterios, entre abril de 2014 y mayo de 2015 fueron derivadas a SafeCare un total de 37 familias. A cada una de las seis educadoras familiares le fue asignado un número similar de familias de manera que todas ellas pudieran cumplir los requisitos exigidos para su acreditación en los diferentes módulos del programa.

Durante los doce meses de la aplicación preliminar del programa, previa al inicio de la fase experimental, se llevó a cabo una evaluación de proceso que incluía diferentes aspectos. El considerado más relevante y necesario fue el control y análisis pormenorizado del tiempo que debían dedicar las educadoras familiares a las diferentes actividades del programa, diferenciando entre intervención directa con las familias y otras actividades (preparación de las sesiones, supervisión, cumplimentación de checklists, aplicación de instrumentos de evaluación, desplazamientos, etc.). Para ello, las educadoras familiares cumplimentaron hojas de registro de todas sus actividades.

A partir de dicho registro se pudo concluir que cada educadora familiar debía tener asignadas un total de cuatro horas semanales por cada familia (la intervención directa en visita domiciliaria supone unos 90 minutos por semana). Teniendo en cuenta que cada familia recibe un total de 24 sesiones durante aproximadamente 24 semanas consecutivas e ininterrumpidas (en la medida de lo posible), la intervención con cada familia supone unas 96 horas de dedicación. Si se tiene en cuenta, asimismo, que cada profesional (en base a su convenio laboral) debe cumplir un máximo de 1.600 horas anuales de dedicación y los sistemas de sustitución que permiten cubrir sus periodos vacacionales, se calculó que un equipo de seis educadoras familiares puede asumir la intervención con un máximo de aproximadamente 100 familias al año. En base a los salarios que en la actualidad recibe un educador familiar en la provincia de Gipuzkoa, el coste por familia de la aplicación del programa SafeCare es inferior a 3.000 €.

Programa Incredible Years

Cuestiones preliminares. Todas las condiciones de índole técnico requeridas para la implantación del programa Incredible Years fueron tratadas directamente con la Dra. Webster-Stratton tanto en la fase de preparación como en fases anteriores y posteriores. Entre las cuestiones más relevantes acordadas en esta fase, caben señalarse las siguientes:

• •

  Focalizar la implantación del programa en las edades de cuatro a ocho años, aplicando en consecuencia el Small Group Dinosaur Treatment Curriculum para los niños, pues es el curriculum ajustado a este rango de edad. En el caso de los padres/madres, se determinó implantar el Preschool Basic Parenting Program (para padres/ madres de niños entre tres y seis años), dejando la posible formación e implantación del School Age Basic Parenting Program (para edades entre seis y doce años) para momentos posteriores.

• •

  Restringir el número de niños participantes en cada grupo a un máximo de seis (dos menos del número que podría llegar a tener cada grupo bajo el liderazgo de terapeutas experimentados), incluir al menos dos niñas en cada grupo y formar grupos heterogéneos en cuanto a edades de los niños y gravedad y tipo de problemas de conducta.

• •

  Dar peso en la selección de los profesionales tanto a su formación y experiencia previas en el ámbito, como a su motivación por implicarse en el proyecto y su apertura hacia modelos de trabajo nuevos y estructurados.

• •

  Posponer a momentos posteriores la formación e implantación del programa Advance. Aunque la participación de padres y madres con problemas moderados o graves de maltrato infantil en el programa Advance podía resultar muy apropiada, la Dra. Webster-Stratton recomendó que la formación en este programa se iniciara una vez que los terapeutas hubieran completado exitosamente su proceso formativo en los Basic Parenting Programs. Hay que señalar, además, que los manuales y materiales escritos y audiovisuales del programa Advance no se encuentran traducidos al español.

• •

  Tomar en consideración las recomendaciones derivadas de aplicaciones previas del programa Incredible Years con padres y madres atendidos en Servicios de Protección Infantil. Estas recomendaciones, recogidas en Webster-Stratton y Reid (2010), incluyen consideraciones de contenido y clínicas, así como la idoneidad de aplicar conjuntamente las modalidades de intervención con los padres/madres y niños, y de incluir un mínimo de cuatro visitas domiciliarias a cada familia (siguiendo lo establecido en los Home Coaching Manuals for Preschool Basic).

Preparación de materiales e infraestructura. En esa fase preparatoria se adquirieron los manuales y materiales audiovisuales y escritos originales, así como otros elementos de apoyo requeridos para la implantación del Small Group Dinosaur Treatment Curriculum y el Preschool Basic Parenting Program. Las necesidades de adaptación se centraron principalmente en la traducción de algunos materiales del programa para niños (p. ej., láminas, fichas, cuentos). Todo ello fue realizado con la autorización y en determinados casos supervisión del equipo responsable de Incredible Years en Estados Unidos. Los manuales del programa se encuentran en inglés y así fueron utilizados por los profesionales que participaron en la formación. Los materiales audiovisuales a utilizar en el programa para padres y madres están en español. Esto no es así en el caso de los materiales audiovisuales para el programa para niños. Aunque se estudió la posibilidad de doblarlos al español, los responsables de Incredible Years aconsejaron no hacerlo, proponiendo como alternativa que los terapeutas de los grupos de niños doblaran en vivo su contenido tal como se había hecho en otros países que tampoco disponían de vídeos en su idioma nativo. No se consideró necesaria ninguna otra adaptación del contenido del programa más allá de aspectos menores (como, por ejemplo, sustitución de las canciones originales propuestas en el programa para ser utilizadas en los grupos de niños por canciones con contenido similar en el idioma autóctono).

La organización de la infraestructura necesaria para la ejecución del programa corrió a cargo del Ayuntamiento de Donostia-San Sebastián, principalmente la búsqueda de un local con las condiciones requeridas. Finalmente, los grupos se llevaron a cabo en un centro escolar público (Amara-Berri) que cedió sus locales. El Ayuntamiento de Donostia-San Sebastián se ocupó también de contratar los servicios de una persona cuidadora para padres y madres que no disponían de nadie con quien dejar a otros hijos mientras participaban en el grupo.

Selección y formación de profesionales. El proceso de selección y formación de profesionales para el programa Incredible Years se dividió en dos fases.

En una primera fase (enero-febrero de 2014), un total de 34 personas pertenecientes a los Servicios de Protección Infantil llevaron a cabo un proceso de estudio personal y grupal (self-study) en relación al contenido del programa y sus materiales básicos siguiendo las pautas establecidas por el propio programa (http://incredibleyears. com/programs/implementation/starting-the-programs/). Las personas orientadas hacia la formación para el programa de padres/madres (17) y para el programa de niños (17) llevaron a cabo este proceso de forma independiente.

Estas 34 personas participaron posteriormente en un seminario presencial de formación básica (febrero de 2014) a cargo de un formador acreditado de Incredible Years. Se celebraron dos seminarios formativos independientes para el programa de padres/madres y para el programa de niños, de cuatro días de duración (28 horas) cada uno.

Tras esta primera fase, se seleccionaron las doce personas que iban a continuar el proceso formativo como terapeutas de padres/ madres (seis personas) y terapeutas de niños (seis personas) e iban a participar en el proceso de implantación piloto del programa. Los requisitos que debían cumplir las personas seleccionadas fueron los siguientes: (1) licenciado o graduado en Psicología, preferentemente con experiencia de intervención con padres/madres o niños; en el caso de los terapeutas de niños, formación o experiencia de trabajo terapéutico con esta población, idóneamente como psicoterapeutas infantiles, (2) capacidad de lectura en inglés, (3) alta motivación, entusiasmo por probar un modelo de intervención nuevo y aplicar un modelo de trabajo estructurado y (4) disponibilidad y compromiso para participar de forma activa en el programa formativo y en reuniones y sesiones de trabajo, mantener la fidelidad al programa original y cumplimentar los correspondientes checklists, y mantenerse en el proyecto hasta la finalización de la fase experimental.

Durante los meses de febrero a abril 2014, las doce personas seleccionadas continuaron el proceso de estudio personal y grupal. Entre abril de 2014 y mayo de 2015, nueve de estas personas implantaron el programa completo con dos grupos sucesivos bajo la supervisión estrecha y con el apoyo técnico de los responsables de Incredible Years (ver apartado siguiente). Una vez concluido este período, la finalización de la fase formativa incluía una evaluación individualizada de cada terapeuta por parte de los responsables de Incredible Years con el objetivo, entre otros, de determinar si habían adquirido las habilidades requeridas para ejecutar el programa de forma adecuada y con fidelidad. Esta evaluación individualizada requería la remisión a los responsables del programa Incredible Years del vídeo de una sesión grupal completa y sus correspondientes transcripción y checklist de monitorización. En el momento de redacción del presente artículo (junio de 2015) se está llevando a cabo este proceso de evaluación individualizada. Los terapeutas que reciban una evaluación positiva (good enough) formarán parte de la fase experimental posterior. Teniendo en cuenta el proceso seguido hasta este momento, se espera que todos los terapeutas que han solicitado la evaluación consigan una evaluación positiva.

Como incidencia no prevista relacionada con la selección y formación de profesionales debe señalarse el abandono del programa formativo por parte de tres profesionales (en un caso por motivos de salud durante la ejecución del primer grupo y en dos casos por deseo expreso una vez finalizado el primer grupo). Estos profesionales fueron sustituidos por tres personas que habían participado en el selfstudy y en el seminario presencial de formación básica llevados a cabo en enero y febrero de 2014. Esto supuso la necesidad de organizar un séptimo grupo de padres/madres y de niños (mayo-noviembre de 2015 que posibilitara a estos tres nuevos profesionales completar el período formativo previo requerido para su incorporación a la fase experimental.

Aplicación del programa durante la fase de formación. En Abril 2014 se iniciaron los primeros grupos de Padres/Madres y Niños. Los criterios establecidos para la selección de familias fueron los siguientes:

• •

  Criterios de inclusión: (1) Padres y madres con dificultades significativas para controlar y manejar los problemas de comportamiento de su hijo, habiéndose producido como consecuencia de ello una situación de maltrato o valorándose que hay riesgo de que se produzca y apreciándose riesgo de que los problemas de comportamiento y las dificultades familiares se agraven; (2) edad del niño entre 4 y 8 años; (3) el niño vive en el domicilio familiar con al menos una de las figuras parentales; (4) el objetivo de los Servicios de Protección Infantil es la preservación familiar; y (5) los padres/madres aceptan participar en el programa y en el proceso de evaluación.

• •

  Criterios de exclusión: (1) Se sospecha o se ha confirmado la existencia de abuso sexual hacia cualquier niño de la familia y el possible perpetrador vive en el domicilio familiar; (2) ambas figuras parentales (en familias biparentales) o la única figura parental (en familias monoparentales) presenta trastornos mentales severos o problemas de adicción no tratados o limitaciones cognitivas que les impiden beneficiarse de cualquier intervención dirigida a la enseñanza de habilidades parentales; y (3) hay otros niños en la familia que son víctimas de maltrato grave y los padres/madres deben recibir otra intervención dirigida a la enseñanza de habilidades parentales.

Entre abril y octubre de 2014 se desarrollaron tres grupos de padres/madres y de niños y de noviembre de 2014 a mayo de 2015 se llevaron a cabo otros tres grupos. Los grupos tuvieron una duración entre 20-23 sesiones. Participaron un total de 36 niños y 47 padres y madres, correspondientes a 34 unidades familiares. Durante este período, los terapeutas en formación mantuvieron sesiones on-line de supervisión clínica con la Dra. Webster-Stratton cada mes o dos meses, y tres seminarios presenciales de formación y supervisión en junio de 2014 (7 horas), noviembre de 2014 (21 horas) y marzo de 2015 (21 horas). Además, los terapeutas mantuvieron reuniones mensuales de análisis y coordinación interna. Todas las sesiones de los grupos fueron grabadas en vídeo previa autorización expresa de los padres y madres, con el objetivo de que los terapeutas pudieran llevar a cabo un análisis posterior de las sesiones tanto de forma individual como grupal y los vídeos pudieran ser utilizados para la supervisión clínica de los formadores del programa Incredible Years.

Al igual que en el caso del programa SafeCare, se llevó a cabo una evaluación sobre diferentes aspectos del proceso de intervención de Incredible Years. Esto incluyó la monitorización continuada por parte de los terapeutas de la ejecución del programa y su fidelidad a través de la cumplimentación de los correspondientes checklists, así como la cumplimentación de las hojas de registro diseñadas para contabilizar el tiempo dedicado a las diferentes actividades (tanto de atención directa como indirecta) vinculadas a la ejecución del programa. Se definió entonces la estructura general de los grupos para la fase experimental: 20 sesiones grupales (frecuencia semanal, dos horas por sesión), complementadas (1) en la intervención con los padres/madres, con llamadas telefónicas semanales y cuatro visitas domiciliarias con cada familia tras las sesiones 4, 8, 12 y 16 y (2) en la intervención con los niños, con al menos tres reuniones presenciales (al inicio del programa, en su mitad y previo a su finalización) y llamadas telefónicas cada dos-tres semanas al profesor-tutor de cada niño para el diseño y evaluación del plan conductual individualizado y, en casos de especial dificultad, realización de sesiones de observación en el aula. Teniendo en cuenta lo anterior y la evaluación de proceso llevada a cabo en esta fase, se estableció el número de horas de dedicación terapeuta/grupo para la fase experimental: 222 horas para cada terapeuta de padres/madres (aproximadamente once horas semanales/ grupo) y 201.5 horas para cada terapeuta de niños (aproximadamente diez horas semanales/grupo). Se definieron las actividades a llevar a cabo en ese tiempo. Incluyendo gastos corrientes asociados a la ejecución de los grupos, el coste total de cada grupo se estimó en aproximadamente 25.000 €, esto es, 4.200 € por familia.

Evaluación de los resultados obtenidos en los programas SafeCare e Incredible Years en su aplicación durante la fase de formación.

Durante la aplicación de los dos programas en esta fase de preparación (que incluyó básicamente la formación de los profesionales), se administraron a las familias participantes una serie de medidas al inicio y al final de la intervención. Se trata, por tanto, de un diseño de evaluación con medidas prey post-tratamiento sin grupo control ni seguimiento posterior. Como ya se señala en este artículo, está previsto en la siguiente fase (implantación piloto) llevar a cabo una evaluación de los resultados de los dos programas siguiendo los requisitos de un diseño experimental y con un seguimiento post-tratamiento de doce meses.

Resultados de la aplicación de los programas SafeCare e Incredible Years durante la fase de formación de profesionales

Instrumentos

Los padres/madres participantes en ambos programas completaron medidas prey post-intervención de sintomatología depresiva, riesgo de maltrato físico, estrés parental, y percepción de los problemas de conducta del niño. Después de la intervención, informaron de su satisfacción con los programas. En el caso de Incredible Years, los padres/madres completaron también un autoinforme de evaluación de las habilidades parentales. Los instrumentos utilizados se describen a continuación.

• •

  Beck Depression Inventory-2 (BDI-2) (Beck, Steer y Brown, 1996). El BDI-2 es un cuestionario para adultos que evalúa, a través de 21 ítems, la presencia de sintomatología depresiva. Dispone de puntuaciones de corte que permiten establecer cuatro niveles de depresión: mínima, leve, moderada y grave. La sintomatología depresiva fue evaluada al entender que la mejora de las competencias parentales y, por tanto, de la competencia autopercibida y la autoestima puede ejercer un efecto en la mejora de la sintomatología depresiva y del estado de ánimo personal en general.

• •

  Brief Child Abuse Potential Inventory (B-CAP). Se utilizó la versión breve del CAP Inventory (De Paúl, Arruabarrena y Milner, 1991; Milner, 1986), compuesta por 34 ítems y validada por Ondersma, Chaffin, Simpson y LeBreton (2005). El cuestionario proporciona una puntuación total de Riesgo de Maltrato y puntuaciones para cada una de sus siete dimensiones: Infelicidad, Sentimientos de Persecución, Soledad, Conflicto Familiar, Rigidez, Malestar, e Inseguridad Económica.

• •

  Parenting Stress Index/Short Form (PSI/SF). El PSI/SF (Abidin, 1995) es un cuestionario para padres/madres compuesto por 36 ítems, que evalúa la percepción de los problemas de conducta del niño y el ajuste parental. El PSI/SF proporciona una puntuación total de estrés (grado de estrés que los padres/madres experimentan al desempeñar el rol parental) derivada de tres escalas: Malestar Parental (malestar experimentado por los padres/madres a causa de factores personales directamente relacionados con el ejercicio de las funciones del rol parental), Interacción Disfuncional Padre-Hijo (percepción de los padres/madres sobre el grado en que su hijo satisface o no las expectativas que tenían de él y el grado de reforzamiento que éste les proporciona en tanto que padres/madres) y Niño Difícil (percepción de los padres/madres acerca de la facilidad o dificultad de controlar a su hijo en función de sus rasgos conductuales y presencia de conductas desafiantes y de desobediencia).

• •

  Eyberg Child Behavior Inventory (ECBI). El ECBI (Eyberg y Pincus, 1999; Robinson, Eyberg y Ross, 1980) es un cuestionario de 36 ítems que evalúa los problemas de conducta en niños de edades comprendidas entre 2 y 16 años. Proporciona dos puntuaciones: Intensidad (que mide la frecuencia de las conductas según son informadas por los padres/madres) y Problemas de Conducta (que mide el grado en que los padres/madres perciben tales conductas como problemáticas).

• •

  Parent Practices Interview (PPI) (Webster-Stratton, 2001). El PPI es un cuestionario de 72 ítems utilizado para evaluar el estilo y prácticas disciplinarias de las personas que ejercen el rol parental. Se puede administrar en formato de entrevista o autoinforme. Está compuesto por siete escalas: Disciplina Severa, Disciplina Severa para la Edad, Disciplina Inconsistente, Disciplina Apropiada, Ejercicio Positivo del Rol Parental, Expectativas Claras y Supervisión.

La satisfacción de los padres/madres con el programa se evaluó mediante los cuestionarios desarrollados al efecto por SafeCare e Incredible Years respectivamente.

A continuación se presentan los resultados de los instrumentos aplicados a los padres/madres que completaron los programas. No hay datos disponibles de los padres/madres que los abandonaron prematuramente.

Análisis de Datos

Se llevaron a cabo análisis de comparación de medias (t-tests) con las puntuaciones prey post-test del BDI-2, B-CAP, ECBI, PSI y PPI para determinar si los padres y niños experimentaron cambios estadísticamente significativos en estas medidas. Los resultados obtenidos se presentan en la tabla 1.

Tabla 1.

Medias y desviaciones típicas de las medidas prey post-test de los padres y madres participantes en SafeCare e Incredible Years

Medida	SafeCare			Incredible Years
	N	Pre-test	Post-test	N	Pre-test	Post-test
		M (DT)	M (DT)		M (DT)	M (DT)
Sintomatología depresiva (BDI-2)	13	9.22 (11.32)	6.96 (8.19)	31	9.90 (8.60)	4.75 (6.83)***
Potencial de maltrato físico infantil (B-CAP)	12			33
Infelicidad		0.77 (1.04)	0.52 (0.99)		0.87 (1.16)	0.43 (0.83)**
Sentimientos de persecución		1.42 (1.24)	0.92 (1.08)		1.27 (1.21)	1.06 (1.12)
Soledad		1.42 (1.62)	1.08 (1.62)		1.48 (1.68)	0.73 (1.33)**
Conflicto familiar		1.08 (1.38)	0.67 (1.07)		0.27 (0.62)	0.22 (0.54)
Rigidez		1.23 (0.60)	1.16 (0.37)		1.30 (0.88)	1.22 (0.89)
Malestar		1.92 (2.31)	1.65 (2.00)		2.27 (2.05)	1.17 (1.60)**
Inseguridad económica		1.08 (0.67)	0.81 (0.91)		0.67 (0.78)	0.54 (0.66)
Puntuación total riesgo maltrato físico		8.92 (5.65)	6.80 (5.49)		8.14 (5.32)	5.26 (3.66)***
Estrés parental (PSI)	13			31
Malestar parental		27.63 (8.17)	24.46 (6.85)		30.90 (8.71)	24.11 (7.46)***
Interacción disfuncional padre-hijo		19.78 (7.47)	18.15 (4.72)		24.92 (6.97)	20.39 (6.71)**
Niño difícil		28.30 (8.25)	24.78 (6.25)		35.51 (6.54)	28.66 (7.44)***
Puntuación total estrés		75.70 (19.41)	67.40 (15.40)		91.34 (16.82)	73.16 (3.31)***
Problemas de conducta del niño (ECBI)
Intensidad	11	114.16 (28.84)	87.66 (22.46)*	28	122.36 (24.96)	97.23 (21.24)***
Problemas de conducta	8	12.50 (8.87)	4.50 (7.09)*	24	18.58 (6.89)	10.12 (6.43)***
Prácticas parentales (PPI)				33
Disciplina severa					2.81 (0.63)	1.92 (0.59)***
Severidad para la edad					2.07 (0.70)	1.91 (0.57)
Disciplina inconsistente					3.78 (0.95)	2.77 (0.64)***
Disciplina apropiada					4.09 (0.90)	4.39 (0.96)
Ejercicio positivo del rol parental					3.96 (0.58)	4.89 (0.67)***
Expectativas claras					4.68 (1.43)	5.92 (0.85)***
Supervisión					4.47 (0.49)	4.54 (0.75)

*p < .05, **p < .01, ***p < .001

Resultados

Programa SafeCare. Un total de 37 madres fueron derivadas al programa SafeCare. De ellas, diez (27.03%) lo abandonaron en los momentos iniciales de la intervención. De las 27 madres restantes, 12 se encuentran en tratamiento en el momento actual y 15 han finalizado el programa. De estas últimas, 13 completaron las medidas de evaluación prey post-tratamiento.

Los resultados muestran que las madres presentaron puntuaciones más bajas en el post-test que en el pre-test en sintomatología depresiva (BDI-2), Riesgo de Maltrato y todas las dimensiones del B-CAP, y en la puntuación total de Estrés Parental, Malestar, Interacción Disfuncional Padre-Hijo y Niño Difícil del PSI-SF. Sin embargo, en ninguna de estas medidas las diferencias alcanzaron la significación estadística (p > .05).

Los resultados obtenidos con las puntuaciones de las madres en el ECBI muestran reducciones significativas con respecto a los problemas de conducta de los niños tanto en la escala de Intensidad, t(10) = 2.29, p < .05, en la de Problemas de Conducta, t(10) = 2.58, p < .05.

Programa Incredible Years. En el programa Incredible Years fueron atendidas un total de 34 familias (36 niños y 47 padres/madres). Tres familias (8.8% del total, 3 padres/madres) abandonaron la intervención, dos de ellas por motivos justificados. De las 31 familias restantes, en once de ellas una o ambas figuras parentales (32.4% del total de familias, 14 padres/madres) faltaron a más de cuatro sesiones, aunque en la mayor parte de los casos las ausencias se recuperaron mediante sesiones individuales. Veinte familias (58.8% del total, 30 padres/madres) asistieron con regularidad a las sesiones, teniendo en cualquier caso menos de cuatro ausencias. De los 44 padres/madres que finalizaron el programa, 33 completaron las medidas de evaluación prey post-tratamiento.

Los resultados muestran que los padres y madres obtuvieron puntuaciones significativamente más bajas entre el pre-test y el posttest en sintomatología depresiva BDI-2, t(30) = 4.74, p < .001, Riesgo de Maltrato B-CAP, t(32) = 3.98, p < .001, y tres de las dimensiones del B-CAP: Infelicidad, t(32) =2.92, p < .006, Soledad, t(32) = 3.40, p < .002, y Malestar, t(32) = 3.61, p < .001.

Se obtuvieron resultados similares con las puntuaciones obtenidas en el PSI-SF. Los padres y madres notificaron puntuaciones significativamente más bajas en el post-test que en el pre-test en el Estrés Parental Total, t(30) = 4.95, p < .001, y las escalas de Malestar, t(30) = 4.98, p < .001, Interacción Disfuncional Padre-Hijo, t(30) = 3.21, p < .003, y Niño Difícil, t(30) = 4.53, p < .001.

De la misma manera que en el programa SafeCare, los resultados obtenidos con este programa muestran reducciones significativas en las puntuaciones de los padres y madres en el ECBI con respecto a su percepción de los problemas de conducta de los niños tanto en la escala de Intensidad, t(27) = 5.69, p < .001, como de Problemas de Conducta, t(23) = 5.61, p < .001.

Los resultados obtenidos con el Parenting Practices Interview señalan que los padres y madres presentan puntuaciones significativamente más bajas en el post-test que en el pre-test en las dimensiones de Disciplina Severa, t(32) = 10.41, p < .001, y Disciplina Inconsistente, t(32) = 5.57, p < .001, y puntuaciones significativamente más elevadas en las dimensiones de Ejercicio Positivo del Rol Parental, t(32) = 8.88, p < .001, y Expectativas Claras, t(32) = 4.29, p < .001. Las diferencias entre ambas evaluaciones no fueron significativas (p > .05) para las otras tres dimensiones (Disciplina Severa para la Edad, Disciplina Apropiada y Supervisión).

Significación clínica de las puntuaciones en sintomatología depresiva. Para conocer si se produjeron cambios clínicamente significativos en las puntuaciones obtenidas en el BDI-2 de los padres y madres participantes en ambos programas, se llevaron a cabo análisis de contingencia chi-cuadrado para comparar el porcentaje de padres que estaban por encima del rango clínico en el prey en el posttest. En el programa SafeCare, el porcentaje de madres por encima del rango clínico no se redujo entre los dos momentos de evaluación (p > .05). En el programa Incredible Years, el porcentaje de padres y madres que estaban por encima del rango clínico descendió de manera estadísticamente significativa entre el prey el post-test, χ2 = 4.83(1), p < .05. En el pre-test un 48.5% de los padres y madres puntuaron por encima del rango clínico para un trastorno depresivo menor. Esto ocurrió únicamente con un 12.1% en el post-test.

Satisfacción con la intervención. En el programa SafeCare, las puntuaciones de las medidas de satisfacción tienen un rango situado entre 1 (muy insatisfecho o poco confiado) a 5 (muy confiado o satisfecho). La satisfacción de las madres participantes fue muy elevada para los tres módulos: interacción padres-hijos (M = 4.78, SD = .31), seguridad (M = 4.56, SD = .63) y salud infantil (M = 4.80, SD = .25). La puntuación de Satisfacción Total fue también elevada (M = 166.0, SD = 11.31, para un máximo posible de 175 puntos. En el programa Incredible Years, las puntuaciones de las medidas de satisfacción tienen un rango situado entre 1 (muy insatisfecho o poco confiado) a 7 (muy confiado o satisfecho). La satisfacción de los padres y madres participantes fue también muy elevada con una puntuación media de 6.29 (SD = .71) para los ítems que miden la Utilidad del Programa y una puntuación media de 127.49 (SD = 11.68) para una puntuación máxima posible de 147 puntos en la escala de Satisfacción Total.

Fase III. Implantación piloto y evaluación con diseño experimental de los programas SafeCare e Incredible Years (septiembre de 2015 a noviembre de 2017)

Una vez terminado el proceso de formación de los profesionales de SafeCare e Incredible years, está previsto el inicio de un estudio con diseño experimental (RCT, Randomized Control Trial) en septiembre de 2015 para evaluar los resultados de ambos programas. Se pretende disponer en los próximos dos años de un total de 160 familias para cada programa, que serán asignadas aleatoriamente al correspondiente grupo de tratamiento (80 familias) o grupo de control (80 familias).

Las familias de los dos grupos de control recibirán los servicios habituales, mientras que las familias de los dos grupos de tratamiento recibirán el programa SafeCare y el programa Incredible Years. Las familias de todos los grupos serán evaluadas en cuatro momentos: al inicio del programa, a los seis meses de su inicio (finalización de la intervención en los grupos de tratamiento) y a los 12 y 18 meses de haberse iniciado el tratamiento. La previsión de entrada de familias a los programas debería permitir que al final del año 2017 se pueda disponer de información suficiente para presentar resultados del RCT de ambos programas.

Las características principales de la implantación piloto y evaluación experimental de los programas SafeCare e Incredible Years son las siguientes:

• •

  Para las familias que formen parte de los grupos de tratamiento, la necesidad considerada prioritaria y el foco principal de la intervención será el ejercicio del rol parental (parenting). Sólo cuando otros problemas o factores de riesgo en la familia interfieran en el éxito del tratamiento se añadirán intervenciones dirigidas a abordar dichos problemas (ver el apartado de Discusión para una descripción más detallada del enfoque para la planificación de servicios que se utilizará en la implantación piloto de SafeCare e Incredible Years). Las familias de estos grupos no recibirán ningún otro recurso específico dirigido a mejorar las habilidades parentales ni las pautas de relación paterno-filial.

• •

  Las familias que formen parte de los dos grupos de control recibirán los recursos de los programas tradicionales de intervención familiar (educador familiar, psicoterapia, asesoramiento) y los recursos comunitarios (p. ej., servicios de salud mental, tratamiento de toxicomanías o alcoholismo) que se consideren necesarios. No recibirán la intervención de SafeCare ni de Incredible Years.

• •

  En los dos grupos de tratamiento, la evaluación post-tratamiento coincidirá con la finalización de la intervención de SafeCare e Incredible Years. En los dos grupos de control, las evaluaciones posttratamiento y de seguimiento se llevarán a cabo habiendo terminado en algunos casos el tratamiento y no habiéndolo terminado en otros (como ya se ha señalado previamente, la intervención tradicional no tiene límite de duración máxima establecido, aunque tiende a acercarse a los 24 meses).

• •

  Todas las evaluaciones, tanto de las familias de los grupos de tratamiento como de control, serán realizadas por un único evaluador, ciego a la asignación de las familias a uno u otro grupo.

• •

  Además de las medidas de resultados utilizadas y descritas en la fase anterior, en los cuatro momentos de evaluación se aplicarán instrumentos de observación de la calidad de la interacción padres-hijos en el domicilio familiar: Keys Interactive Parenting Scales (KIPS; Comfort y Gordon, 2006) para la evaluación del programa SafeCare, y Dyadic Parent-child Interaction Coding System (DPICS; Eyberg, Nelson, Ginn, Bhiyan y Boggs, 2013) para la evaluación del programa Incredible Years. Además, se administrará el Sutter-Eyberg Student Behavior Inventory-Revised (SESBI-R; Eyberg y Pincus, 1999) a los profesores de los niños para evaluar la frecuencia y severidad de las conductas disruptivas en el centro escolar, así como el grado en que los profesores consideran que tales conductas son problemáticas. En las distintas evaluaciones se recabará información de los Servicios de Protección Infantil sobre primeras notificaciones de maltrato y recidivas.

• •

  Si finalizada la intervención en el programa SafeCare o Incredible Years, se valora que el maltrato hacia el niño ha aparecido o reaparecido (en cualquier nivel de gravedad), el caso deberá ser reabierto en los Servicios de Protección Infantil y asignados los recursos que en ese momento se consideren necesarios.

Discusión

El proyecto para la implantación piloto de los programas SafeCare e Incredible Years en Gipuzkoa constituye la primera experiencia en España promovida por los propios Servicios de Protección Infantil para la implantación y evaluación rigurosa de programas basados en la evidencia para la atención a niños y familias en situación de riesgo o con problemas de maltrato infantil. La experiencia es novedosa y presenta aspectos comunes con otros trabajos llevados a cabo en España, como el desarrollado por el Grupo de Investigación y Formación Educativa y Social de la Universitat de les Illes Balears con el Strengthening Families Program (SFP) —dirigido a la prevención del consumo de drogas, conductas antisociales y otros problemas de conducta en los niños (http://www.competenciafamiliar.com)— o el trabajo de Medina and Beyebach, 2014aMedina y Beyebach (2014a, 2014b) dirigido a promover un modelo de intervención en los Servicios de Protección Infantil más colaborativo, basado en las fortalezas (strengths-based) y focalizado en las soluciones (solution-focused).

La implantación piloto de los programas SafeCare e Incredible Years requiere tiempo (una previsión de cuatro años, de los cuales han transcurrido dos) y hasta la fecha no ha estado exento de desafíos. Ambas circunstancias no son inusuales ni anormales, sino más bien lo contrario (Fixen, Naoom, Blase, Friedmand y Wallace, 2005). Algunos de los desafíos encontrados han derivado de cálculos o previsiones no ajustadas a la realidad posterior (p. ej., grado de complejidad del proceso, dedicación requerida por el equipo técnico promotor y coordinador del proyecto, dificultades de los profesionales del Sistema de Protección Infantil para la introducción de nuevas prácticas y para la delimitación de funciones con los profesionales de los nuevos programas, suficiencia del nivel de capacitación previa de algunos de los profesionales seleccionados para el proceso formativo, coste económico de algunas actividades), mientras que otras han derivado de cuestiones no previstas que en algunos casos han tenido un correlato económico (p. ej., abandono del programa formativo por parte de algunos profesionales, nivel de capacitación requerido para lograr la acreditación como terapeuta del programa Incredible Years, condicionantes laborales y contractuales preexistentes no ajustados a las necesidades requeridas para la aplicación de los nuevos programas). A pesar de estas dificultades, el proceso seguido hasta la fecha con estos dos programas debe ser valorado de forma positiva: las dificultades han sido o están siendo solventadas, el proceso de implantación piloto continúa y las lecciones aprendidas serán de utilidad para la diseminación de estos programas y la implantación futura de nuevos programas basados en la evidencia. En este proceso, la flexibilidad, la orientación hacia la búsqueda de soluciones y la firmeza y estabilidad del compromiso con el proyecto por parte de los responsables políticos y técnicos de las instituciones promotoras (Diputación Foral de Gipuzkoa y Ayuntamiento de Donostia-San Sebastián) y de los responsables de los programas en Estados Unidos ha sido fundamental.

Los resultados obtenidos en la implantación de ambos programas durante la fase de formación de los profesionales son estimulantes. En SafeCare, las madres evaluadas han mostrado un descenso entre las evaluaciones prey post-tratamiento en las medidas de sintomatología depresiva, riesgo de maltrato físico, nivel de estrés asociado al ejercicio del rol parental y percepción de la cantidad e intensidad de los problemas de conducta del niño, aunque los cambios únicamente fueron significativos en esta última variable. Es posible que si la muestra hubiera sido más amplia los cambios observados hubieran alcanzado la significación estadística. En el caso de Incredible Years, en el que se disponen de puntuaciones prey post-tratamiento de un número mayor de padres/madres, se observa un descenso estadísticamente significativo en las puntuaciones de todas esas variables, además de un incremento también significativo en las medidas relacionadas con la utilización de estrategias disciplinarias adecuadas con el niño. Es particularmente relevante el hallazgo de una disminución significativa tras el tratamiento del porcentaje de padres/ madres participantes en Incredible Years que se encontraban por encima del rango clínico de trastorno depresivo menor, reduciéndose del 48.5% al 12.1%. Este hallazgo es congruente con otros estudios que muestran que la mejora de las habilidades parentales y consecuentemente de las pautas de interacción padres-hijos está asociada a efectos positivos en el bienestar psicológico de los padres/madres (Chaffin et al., 2004). Esto hace pensar que, al menos en un porcentaje de casos, los problemas de malestar psicológico de los padres/ madres pueden tener su origen o ser mantenidos o intensificados por las dificultades de relación con sus hijos, lo que aconsejaría la intervención sobre habilidades parentales y pautas de interacción padreshijos —y no la provisión de psicoterapia a los padres/madres— como primera alternativa de tratamiento. En cualquier caso, el diseño de evaluación de esta implantación preliminar no permite extraer ninguna conclusión sólida acerca de la eficacia y efectividad de los nuevos programas en nuestro contexto. Será en la implantación piloto, en la que los resultados serán evaluados a través de un diseño experimental con grupo control y se realizará un seguimiento de las familias participantes de al menos doce meses tras la intervención —con especial atención al impacto en los indicadores relacionados con el maltrato hacia los niños, como la existencia de nuevas notificaciones— cuando podrán extraerse conclusiones y comparar los resultados de estos programas con los obtenidos por los programas tradicionales implantados desde hace 25 años en la provincia de Gipuzkoa.

Aun estando en una fase intermedia, la experiencia está resultando muy aleccionadora. Entre otras cosas, ha aportado argumentos que permiten hacer frente a dos de las preocupaciones de los profesionales de los Servicios de Protección Infantil de Gipuzkoa (y con total seguridad, del conjunto de España) en relación a los programas basados en la evidencia: (1) la capacidad de los programas estructurados y manualizados para adaptarse y responder a las necesidades individuales de los niños y las familias y (2) la aplicabilidad en nuestro contexto de programas diseñados en otros países considerados culturalmente distantes.

Frente a la primera de esas preocupaciones, la experiencia desarrollada en la implantación preliminar de SafeCare e Incredible Years ha permitido evidenciar que ambos programas no sólo permiten, sino que sus principios enfatizan la necesidad de adecuar el tratamiento a las necesidades y circunstancias particulares de cada niño y cada familia. Mantener la fidelidad a los componentes centrales de los programas, flexibilidad y ajuste a las necesidades individuales deben ser, y así lo han sido en esta experiencia, compatibles.

Frente a la segunda preocupación, SafeCare e Incredible Years han podido ser aplicados apropiadamente sin requerir más que adaptaciones menores relacionadas con cambios de terminología (traducción y modificación de palabras o expresiones) y sustitución de referencias culturales. Ni los profesionales formados para su implantación ni las familias atendidas ni los resultados obtenidos en su implantación preliminar indican la presencia de ningún desajuste cultural relevante entre el contenido o procedimiento de los programas y el contexto cultural de Gipuzkoa. Los componentes centrales de los programas han sido preservados y sólo se han incluido adaptaciones aceptables, siempre bajo la supervisión de los responsables de los programas en Estados Unidos (Fixen et al., 2005; O’Connor, Small y Cooney, 2007). De esta forma, esta experiencia en Gipuzkoa apoya las conclusiones de la revisión de Gardner, Montgomery y Knerr (2015) en relación a la viabilidad de que los programas basados en la evidencia de habilidades parentales puedan ser transportados exitosamente a países diferentes de los que fueron desarrollados en su origen, sin necesidad de grandes adaptaciones.

Probablemente el único “desajuste cultural” que se ha presentado para la implantación preliminar de los programas SafeCare e Incredible Years ha estado relacionado con uno de los componentes centrales comunes a ambos programas: la utilización del refuerzo positivo en su intervención con las familias. En la cultura española, y particularmente en el País Vasco, la utilización de los elogios y del refuerzo positivo como pauta de interacción preferente no sólo en las relaciones padres-hijos sino en las relaciones interpersonales en general, es escasa y tiende a ser percibida como no genuina o provocar incomodidad. Los profesionales participantes en el proceso formativo de los programas SafeCare e Incredible Years debieron ser entrenados para incorporar esos componentes en sus valores y actitudes y utilizarlos en su intervención e interacción con los niños y los padres/madres. Es relevante señalar que, durante la fase formativa inicial de ambos programas, se evidenció el limitado vocabulario y herramientas de los profesionales para proporcionar refuerzo positivo, por lo que parte de la formación se dirigió a identificar, modelar y practicar nuevas y más variadas estrategias verbales y no verbales de refuerzo positivo. En la actualidad, estos profesionales perciben con naturalidad y de forma genuina estas nuevas estrategias y se sienten cómodos utilizándolas, refiriendo además su aceptación y efectos positivos en los niños y padres/madres participantes en SafeCare e Incredible Years.

Con respecto al futuro, probablemente los desafíos más importantes a los que se enfrenta este proyecto a corto y medio plazo son tres: la derivación de familias a los nuevos programas, el mantenimiento de la fidelidad y su inserción en la red de servicios ya existentes.

La escasa derivación de familias es un problema que afecta tanto a SafeCare como a Incredible Years, aunque de forma más acusada al primero de ellos. En su aplicación durante el proceso formativo de las educadoras familiares (doce meses), únicamente 37 familias fueron derivadas a SafeCare. Teniendo en cuenta los datos demográficos sobre niños y niñas menores de cinco años en la zona de influencia de este programa, el conocimiento actualmente disponible sobre la prevalencia de la negligencia y el hecho de que el programa se dirige también a familias en situación de riesgo, la infraderivación es patente. Como se ha señalado anteriormente, este problema afecta también al programa Incredible Years. Las causas de esta situación pueden ser múltiples. Por una parte se encuentran las dificultades para detectar, implicar y mantener a las familias en la intervención, que son habituales en el ámbito de la protección infantil, particularmente con poblaciones alto-riesgo y con las familias que presentan problemas de mayor gravedad (National Research Council, 2014). La aplicación de prácticas y técnicas basadas en la evidencia dirigidas a abordar estas dificultades —como la entrevista motivacional (Miller y Rollnick, 1991)— resultan altamente aconsejables. Por otra parte, otros factores que pueden estar relacionados con la infraderivación de casos a los nuevos programas incluyen la detección e intervención tardía por parte de los Servicios de Protección Infantil o las dificultades de estos últimos para incorporar e introducir nuevos modelos de intervención. De ahí la decisión adoptada por los responsables del proyecto de poner en marcha nuevas actuaciones dirigidas a reforzar la sensibilización tanto de los profesionales de los Servicios de Protección Infantil como de servicios comunitarios con acceso habitual a familias en situación de vulnerabilidad (p. ej., centros de salud, guarderías, centros escolares, ONG, servicios sociales de base), así como la incorporación de un filtro en el momento de entrada de los casos a los Servicios de Protección Infantil que identifique a todos los niños y niñas menores de ocho años para determinar si pueden ser beneficiados, como primera opción o posteriormente, con su participación en SafeCare o Incredible Years. Independientemente de lo anterior, parece claro que, dada la población destinataria de ambos programas, a medio plazo no deberían mantenerse vinculados exclusivamente al Sistema de Protección Infantil —percibido por muchas familias y profesionales de la red comunitaria como un sistema amenazante y estigmatizador—, sino integrarse, ofrecerse y proporcionarse como recursos normalizados ubicados en la red de servicios comunitarios (p. ej., sanitarios, educativos).

En el proyecto descrito en este artículo, el mantenimiento de la fidelidad (esto es, el grado en que la intervención proporcionada se adhiere a los componentes y procesos terapéuticos centrales del protocolo original de intervención) ha sido un objetivo prioritario de la fase de formación de profesionales e implantación preliminar. Esto ha requerido la provisión de formación de un elevado nivel de calidad, la monitorización y recogida de datos continuados sobre el contenido del programa y la adquisición de las habilidades requeridas para proporcionar la intervención y la provisión a los profesionales de coaching, supervisión y apoyo técnico y organizativo continuados. La fuerte relación existente entre el mantenimiento de la fidelidad y el logro de los resultados deseados no sólo se ha constatado en la investigación con SafeCare e Incredible Years, sino con la generalidad de los programas basados en la evidencia. El mantenimiento de la monitorización de la fidelidad es crucial, a la luz de los estudios que han mostrado que cuando se hace, la calidad de la implantación mejora y que las intervenciones que llevan a cabo dicha monitorización obtienen efectos entre dos y tres veces superiores a las intervenciones que no la realizan (Durlak y DuPre, 2008). Como consecuencia de lo anterior, el sistema para proporcionar apoyo técnico y organizativo continuado, monitorización regular de cómo se proporciona la intervención y la utilización de medidas de fidelidad deben mantenerse en la fase de implantación piloto de SafeCare e Incredible Years.

La inserción de los nuevos programas en la red de servicios existentes constituye otro desafío importante a corto y medio plazo. La perspectiva y procedimiento de intervención de los programas de intervención familiar actualmente implantados en Gipuzkoa y de los programas SafeCare e Incredible Years es muy diferente. En el primer caso, se trata de programas no estructurados, no manualizados, sin un modelo claramente articulado de los mecanismos a través de los cuales se prevén conseguir los cambios (modelo lógico), prolongados en el tiempo, centrados en la intervención sobre múltiples problemas, orientados al proceso, basados en la intervención sobre los déficits y problemas y con un enfoque de intervención con los padres/ madres predominantemente didáctico (qué hacer). Por el contrario, SafeCare e Incredible Years son programas estructurados, manualizados, con un sistema de monitorización continua de la fidelidad y de los servicios proporcionados, un modelo lógico claro, duración breve, orientados a los objetivos, centrados en el trabajo sobre habilidades parentales y en hacer/practicar (cómo hacer), con un enfoque colaborativo y basado en las fortalezas y aspectos positivos de la familias y llevados a cabo por profesionales que han sido formados específicamente para ello. En la fase de implantación piloto de SafeCare e Incredible Years, los programas tradicionales y nuevos van a coexistir. El problema de esa coexistencia se centra principalmente en la incompatibilidad del enfoque de ambos modelos para la planificación de la intervención y los recursos a utilizar. Los programas tradicionales en Gipuzkoa diseñan el plan de intervención con cada familia desde una perspectiva comprehensiva, abordando en primer lugar los problemas familiares que se considera subyacen y están causando la situación de alto-riesgo o maltrato (p. ej., problemas de salud mental o psicológicos en los padres/madres, conflictos de pareja, abuso de alcohol o drogas) antes de abordar los problemas en las habilidades parentales y en la relación paterno-filial. Si los nuevos programas se incorporan a esta perspectiva, quedarán simplemente absorbidos en el sistema tradicional de servicios. Pero más allá de eso, hay evidencia que cuestiona el enfoque para la planificación de la intervención de los programas tradicionales. Por una parte, “la evidencia de que la enseñanza de habilidades parentales no puede ser exitosa a menos que se aborden también otros problemas de la familia es anecdótica y débil (….) los hallazgos de la investigación muestran que factores que hacen vulnerable a una familia como el conflicto de pareja o la depresión pueden disminuir de dos formas diferentes: con intervenciones directas dirigidas a abordar dichos problemas o mejorando las habilidades parentales y las pautas de relación de los padres hacia los hijos” (Barth, 2009, p. 109). Por otra parte, diversas investigaciones han encontrado que las intervenciones que tienen múltiples componentes y abordan múltiples problemas simultáneamente son menos eficaces que las intervenciones que se focalizan en las habilidades parentales y las pautas de relación paterno-filial, quizás porque trabajar sobre diferentes objetivos a la vez puede hacer que los padres/ madres se sientan abrumados o porque desvía su atención y la de los profesionales de la adquisición de nuevas habilidades y formas de relacionarse con sus hijos (Centers for Disease Control and Prevention, 2009; Chaffin et al., 2004). De aquí que algunos autores (Barth, 2009) y organizaciones como la American Professional Society on the Abuse of Children (Berliner et al., 2015) aboguen por que, una vez atendidas las necesidades básicas o urgentes de los niños y las familias (p. ej., seguridad, vivienda, tratamiento farmacológico para trastornos mentales graves), la necesidad prioritaria y el foco primero y principal de la intervención con familias alto-riesgo y maltratantes deben ser las habilidades parentales y las pautas de relación paternofilial. En casos de maltrato infantil, las intervenciones eficaces sobre habilidades parentales se han identificado como “la primera opción de tratamiento tanto para abordar los problemas de comportamiento de los niños víctimas, como para reducir el riesgo de maltrato futuro” (National Research Council, 2014, p. 248). En este enfoque, sólo cuando otros problemas familiares (como conflictos de pareja, problemas psicológicos de los padres/madres, nivel de estrés familiar) interfieran con el éxito del tratamiento deberían incluirse intervenciones dirigidas a abordar dichos problemas aunque, como algunos autores han advertido, todavía se requiere más investigación para conocer las circunstancias (p. ej., problemas a abordar, servicios a proporcionar, momento de provisión, familias destinatarias) bajo las cuales estos servicios adicionales aportan beneficios a los programas de habilidades parentales (Centers for Disease Control and Prevention, 2009). En algunos casos, puede ser necesaria además la provisión de tratamiento específico para los niños dirigido a tratar las secuelas psicológicas del maltrato. En conclusión, parece que el marco de referencia del proceso de implantación piloto de SafeCare e Incredible Years en Gipuzkoa, así como de la implantación estable de éstos y futuros programas basados en la evidencia en nuestro contexto, debe incorporar un enfoque para la planificación de la intervención y de los recursos a utilizar con cada familia cuyos principios se centren en la priorización de la eficacia y eficiencia, la focalización en las habilidades parentales y la relación padres-hijos y la parsimonia (es decir, prescribir la mínima cantidad de recursos suficientes para lograr el objetivo perseguido). Este cambio en el enfoque general de la intervención con las familias es sin duda un gran reto para este proyecto, pues supone un cambio importante para los profesionales de los Servicios de Protección Infantil que diseñan y supervisan el plan de intervención con cada familia (responsables o coordinadores de caso). El número de profesionales que actualmente ejercen esa función en el Ayuntamiento de Donostia-San Sebastián y la Diputación Foral de Gipuzkoa es elevado, por lo que la alternativa más realista y adecuada para el éxito de este proyecto parece ser la de asignar la coordinación de caso de las familias que van a ser atendidas en la implantación piloto de SafeCare e Incredible Years a un número restringido de profesionales, seleccionados por su disposición y motivación para probar y evaluar nuevos marcos de intervención y para alinearse con el enfoque descrito anteriormente. De esta manera, además, el nuevo enfoque podrá ser concretado y testado durante la fase de implantación piloto de los nuevos programas.

La implantación piloto de SafeCare e Incredible Years sólo tiene sentido para la mejora de la eficacia y eficiencia de los Servicios de Protección Infantil en Gipuzkoa si se entiende como el inicio de un largo proceso. Si estos programas son exitosos, deberán mantenerse, expandirse e integrarse en el sistema habitual de servicios, lo que supondrá hacer frente a nuevos desafíos (por ejemplo, mantenimiento de la fidelidad, formación y supervisión de nuevos profesionales). Pero el proceso no puede terminar ahí, sino que ha de continuar con la implantación progresiva de nuevos programas y prácticas basadas en la evidencia que vayan conformando un sistema integrado, capaz de dar respuesta a la diversidad de necesidades de los niños y familias en situación de vulnerabilidad o con problemas de maltrato infantil: “Una respuesta eficaz al problema del maltrato infantil se vería facilitada por un foco más explícito en la creación de una infraestructura que pueda apoyar las intervenciones más prometedoras a medida que vayan emergiendo y las integre y conecte de formas que maximicen su impacto conjunto” (National Research Council, 2014, p. 276). En este panorama, los programas y prácticas actualmente existentes que sean eficaces deberán mantenerse y los que no lo sean deberán ser sustituidos. Deberá potenciarse, además, que haya profesionales que vayan adquiriendo niveles más altos de capacitación en los diferentes programas, de forma que las tareas de formación y supervisión técnica puedan ser ejercidas por ellos. Y todo este proceso ha de ir parejo al cambio que debe producirse en la cultura organizacional de los Servicios de Protección Infantil: la orientación a los resultados, a la eficacia y a la eficiencia, la inclusión de la evaluación rigurosa de los resultados como parte ineludiblemente integrante de los programas de intervención y el rendimiento de cuentas del uso y resultados de la importante cantidad de dinero de los ciudadanos que, año a año, se destina a los servicios, equipos y profesionales del Sistema de Protección Infantil. El recorrido es largo y no es fácil. La tendencia hacia el mantenimiento del statu quo es fuerte, pero con una perspectiva clara de hacia dónde hay que avanzar y un liderazgo y compromiso fuertes por parte de los responsables políticos y técnicos de los Servicios de Protección Infantil, sin duda puede hacerse.

El trabajo descrito en este artículo es un proyecto compartido por la Diputación Foral de Gipuzkoa y el Ayuntamiento de Donostia-San Sebastián —dos instituciones situadas en los niveles secundario y primario con competencias complementarias en materia de protección a la infancia— que va más allá de la mera colaboración (en sí misma importante). En este proyecto, ambas instituciones han llevado a cabo un proceso conjunto de análisis y diagnóstico global de la situación de partida, búsqueda de soluciones, toma de decisiones y asunción de liderazgo y responsabilidad (incluida la responsabilidad de su financiación). Trascender las competencias particulares para disponer de una visión del funcionamiento del conjunto del Sistema de Protección Infantil, diseñar un único plan de actuación y asumir una responsabilidad igualitaria en su ejecución merece ser destacado. Quien conozca el funcionamiento de los Servicios de Protección Infantil en España y las características de la relación entre servicios sociales municipales y especializados, coincidirá que una experiencia de este tipo no es frecuente, al igual que no lo es la apuesta de ambas instituciones por superar el statu quo, comenzar un proceso de cambio real (no meramente cosmético o poco eficaz para corregir las limitaciones del sistema), con perspectiva a largo plazo y siguiendo el camino sugerido por el conocimiento científico actualmente disponible: la implantación de programas basados en la evidencia y la promoción de la intervención precoz.

Conflicto de intereses

Los autores de este artículo declaran que no tienen ningún conflicto de intereses.

Apéndice Programa SafeCare

El programa SafeCare se gestiona desde el National SafeCare® Training and Research Center (NSTRC) con base en Georgia (Atlanta, USA). EL programa se dirige a familias identificadas por los SPI por haberse producido situaciones de maltrato/negligencia infantil, así como familias en situación de alto-riesgo, pero es especialmente aplicable en familias negligentes de gravedad moderada. Se excluyen casos de abuso sexual y consumo de drogas o alcohol no tratados. Su formato estándar está diseñado para aplicarse en familias con niños menores de 5 años, aunque ha sido adaptado a familias con niños de edades superiores (hasta 12 años) o a poblaciones específicas (Guastaferro, Lutzker, Graham, Shanley y Whitaker, 2012). Recientemente se ha diseñado y evaluado una versión reforzada, el SafeCare Augmented, que incluye la aplicación de la entrevista motivacional. Los contenidos del programa se pueden incorporar (añadir) a los programas existentes de trabajo en el domicilio familiar.

En su formato estándar, SafeCare tiene una duración de 18 a 22 semanas, dependiendo de la evolución del caso. Se lleva a cabo mediante visitas domiciliarias semanales de una duración de entre 60 y 90 minutos. Cada uno de los tres componentes sobre los que se trabaja (cuidado de la salud del niño, interacción paterno-filial y seguridad en el hogar) ocupa entre cinco y siete sesiones. El programa proporciona un protocolo estructurado que define las actividades a llevar a cabo en cada módulo y su secuenciación. Cada módulo incluye instrumentos para la evaluación de la situación inicial de la familia y evaluaciones de seguimiento para monitorizar los cambios.

En base a la teoría del aprendizaje social y a la evidencia de investigaciones previas, los padres reciben entrenamiento utilizando un formato de siete pasos: (1) se describe la conducta “diana” esperada, (2) se explica la razón por la que cada conducta es pertinente, (3) se modela cada conducta (se muestra la conducta deseada), (4) se pide al padre/madre que practique la conducta, (5) se proporciona retroalimentación positiva (se señalan todos los aspectos positivos del intento), (6) se proporciona retroalimentación positiva (se señalan los aspectos que necesitan mejora) y (7) se revisa el rendimiento de los padres, se practican aspectos que necesitan mejora y se establecen metas para la semana siguiente. La estructuración del programa exige la aplicación de los contenidos previstos y el seguimiento de los protocolos específicos. Las actividades del programa se basan en la utilización del modelado, role playing y constante feedback a los padres/madres. Hay un esfuerzo importante en precisar al máximo lo que se espera en cada momento de los padres/madres (el comportamiento concreto que se les pide que lleven a cabo).

Los objetivos del Módulo de Salud Infantil se centran en entrenar a los padres para utilizar los materiales de salud infantil que se les proporcionan, prevenir enfermedades, identificar síntomas y proporcionar un adecuado tratamiento siguiendo unos pasos concretos de análisis de tareas. Para evaluar su conducta habitual en relación con la salud infantil, se utilizan una serie de viñetas con situaciones habituales y se decide si lo adecuado es tratar al niño/a en casa, llamar al servicio de salud o conseguir tratamiento de urgencia. A los padres se les proporciona un manual de salud infantil que incluye una guía de síntomas, información sobre prevención, atención al niño/a enfermo en casa, qué hacer si hay que llamar al médico o acudir a urgencia. Se les proporcionan utensilios básicos de salud (fichas para recoger información, termómetro, etc.). Después de completar este módulo los padres deben ser capaces de identificar síntomas de enfermedades o lesiones, así como determinar y conseguir el el tratamiento de salud más adecuado para su hijo/a.

El Módulo de Seguridad del Hogar implica la identificación y eliminación de peligros para la seguridad y la salud haciéndolos inaccesibles a los niños/as. El Home Accident Prevention Inventory (HAPI) es un instrumento de evaluación fiable y válido diseñado para ayudar a medir el número de “peligros” para los niños/as en sus casas. Se evalúan las diferentes habitaciones de la casa utilizando este instrumento y luego se ayuda a los padres a reducir este tipo de peligros y hacerlos inaccesibles a los niños/as. Se les proporcionan a los padres instrumentos para mejorar la seguridad.

El Módulo de Interacción Padres-Niños/as consiste en la formación de los padres para mejorar las interacciones con sus hijos/as. Tiene dos versiones, una para niños/as de menos de 10 meses y otros para niños/as de 10 meses a 5 años. El objetivo de este módulo es enseñar a los padres para que proporcionen a sus hijos/as actividades estimulantes, para que aumenten las interacciones positivas y para prevenir problemas de comportamiento. El método se basa en el instrumento denominado Entrenamiento en Actividades Planificadas (PAT). Los profesionales observan el juego de los padres con los niños/as y las rutinas diarias para poder codificar determinadas conductas parentales. Las conductas positivas de los padres son reforzadas y las negativas se señalan y se tratan de modificar durante las sesiones de trabajo en el domicilio. Los profesionales enseñan a los padres a utilizar el PAT para que les sirva de ayuda en la estructuración de las actividades de cada día. Los padres reciben una serie de “tarjetas” que sirven para la planificación de estas actividades cotidianas de interacción con los niños/as.

Dos puntos centrales del modelo SafeCare son el de habilidades de comunicación y el de habilidades de resolución de problemas. En el primero de ellos se enseña a los profesionales buenas y positivas habilidades de comunicación como las siguientes: cómo enmarcar una sesión de trabajo con los padres, como construir un buen contacto personal, cómo hacer preguntas para obtener información, cómo proporcionar refuerzos positivos y retroalimentación correctora y cómo cerrar las sesiones. Además, se enseña a los profesionales para que sean capaces de ayudar a los padres a hacer frente a sus problemas de manera adaptativa y adecuada. Esto implica enseñar técnicas para que los padres aprendan a enmarcar correctamente un problema, para generar diferentes posibles soluciones, identificar los pros y los contras de cada solución, para escoger la mejor solución y para llevarla a cabo.

El programa SafeCare ha mostrado ser eficaz y efectivo en una variedad de ambientes, contextos sociales y poblaciones. Se ha aplicado en diferentes lugares de Estados Unidos; en Europa se ha implantado en Reino Unido y Bielorrusia y en la actualidad se está implantando en Israel. Se han llevado a cabo múltiples investigaciones dirigidas a evaluar sus resultados, varias de ellas con diseño experimental. Estas investigaciones muestran que SafeCare produce efectos positivos significativos en la capacidad de los padres/madres para identificar problemas de salud en sus hijos y buscar tratamiento médico, implicarse en actividades organizadas con sus hijos, utilizar técnicas adecuadas de manejo de la conducta infantil y conductas positivas hacia los niños/as y mejorar la seguridad en el hogar (Bigelow y Lutzker, 2000; Gershater-Molko, Lutzker y Wesch, 2003). SafeCare ha mostrado eficacia en la reducción de situaciones de maltrato/negligencia en familias alto-riesgo y en la reducción de recidivas en familias maltratantes/ negligentes en evaluaciones de seguimiento de hasta seis años (Chaffin, Hecht, Bard, Silovsky y Beasley, 2012; Lutzker y Bigelow, 2002).

SafeCare está incluido en varias bases de datos de programas basados en evidencia. De acuerdo a los criterios de la California Evidence-Based Clearinghouse for Child Welfare, constituye un programa de gran relevancia para el ámbito de la protección infantil (calificación máxima) y dispone de evidencia empírica (supported research evidence, segundo nivel de un total de cinco) para la prevención y tratamiento del maltrato y negligencia infantil. La Administration for Children and Families del US Department of Health and Human Services califica al SafeCare Augmented como modelo basado en la evidencia para la provisión de servicios en el domicilio, dirigidos a la temprana infancia (Evidence-based early childhood home visiting service delivery model, máximo nivel). El Washington State Institute for Public Policy (Lee et al., 2012) propone su calificación como programa basado en la evidencia (Evidence-based Program, máximo nivel).

Programa Incredible Years

El programa Incredible Years se diseñó a principios de la década de los ochenta por Carolyn Webster-Stratton. Incluye tres currículos complementarios —que pueden ser aplicados de manera independiente o combinada— para padres/madres, niños y profesores. Puede definirse como un programa de intervención precoz, concebido para prevenir y tratar de forma temprana problemas de conducta en los niños con el objetivo último de evitar su agravamiento y la aparición de conductas antisociales y delictivas en etapas posteriores. El programa se basa en las teorías del aprendizaje social, de la auto-eficacia, de la coerción de Patterson y del apego. A pesar de ser un programa muy estructurado en relación a los contenidos a abordar, su temporalización y el procedimiento a seguir para ello, Incredible Years permite adaptar la intervención a las necesidades individuales de cada familia y al contexto concreto de aplicación del programa (para una descripción más detallada, puede consultarse www.incredibleyears.com;Webster-Stratton, 2012aWebsterStratton, 2012a, 2012b).

El programa para padres/madres (Basic Parenting Program) se subdivide en cuatro subprogramas en función de la edad de los niños y niñas: 0-12 meses, 1-3 años, 4-6 años y 6-12 años. Se desarrolla en sesiones grupales semanales (entre doce y veinte sesiones, según el subprograma) de dos horas de duración. Cada grupo se compone de un máximo de doce participantes y es dirigido por dos terapeutas. En las sesiones grupales se trabaja sobre escenas de vídeo, modelado y role-playing. Las sesiones grupales se complementan con tareas para el domicilio y llamadas telefónicas inter-sesiones,y pueden reforzarse con visitas domiciliarias que, al igual que el trabajo grupal, disponen de un diseño estructurado en cuanto a su metodología y contenido. Por último, el programa básico puede complementarse con el programa Advance (4-12 años), que se desarrolla en 9-11 sesiones en las que se abordan, también en formato grupal, dificultades personales e interpersonales de los padres y madres relacionadas con sintomatología depresiva, problemas de pareja, problemas de comunicación, autocontrol y resolución de problemas.

El programa para niños (Small Group Dinosaur treatment curriculum) desarrolla su intervención con grupos de niños de edades comprendidas entre 4 y 8 años. Consta de 18-22 sesiones semanales de dos horas de duración. Aunque puede aplicarse de forma independiente a la intervención con los padres/madres, se aconseja desarrollar ambas modalidades de intervención de forma simultánea y coordinada. El grupo es dirigido por dos terapeutas y requiere la presencia de una tercera persona de apoyo. Los contenidos principales que se trabajan en los grupos de niños y niñas hacen referencia a reglas, empatía y emoción, resolución de problemas, control de la ira, habilidades para la relación con iguales, habilidades de comunicación y habilidades escolares.

Los resultados del programa Incredible Years han sido evaluados en múltiples estudios, más de 20 con diseño experimental. Aunque se ha aplicado principalmente en el ámbito de la salud mental con familias con niños con diagnóstico de TDAH, trastorno oposicionista-desafiante y trastornos de conducta, resulta también apropiado para familias atendidas por los Servicios de Protección Infantil (Webster-Stratton and Reid, 2010aWebster-Stratton y Reid, 2010a, 2012), habiéndose obtenido resultados prometedores con familias maltratantes y negligentes o en situación de riesgo (Hurlburt, Nguyen, Reid, Webster-Stratton y Zhang, 2013; Letarte, Normandeau y Allard, 2010) y con familias acogedoras (Bywater et al., 2011; Linares, Montalto, Li y Oza, 2006). Incredible Years ha sido también recientemente aplicado con profesionales de centros residenciales del Sistema de Protección Infantil (Silva, Gaspar y Anglin, 2014).

Para el programa de padres/madres, la investigación ha mostrado que, en comparación a familias control, los padres/madres participantes en Incredible Years experimentan mayor aumento de las expresiones afectivas positivas (elogio, refuerzo), en la utilización de técnicas eficaces para el establecimiento de límites y sustitución de la disciplina punitiva y del castigo físico por técnicas disciplinarias no violentas y mayor monitorización del niño, reducción de las críticas y órdenes negativas hacia el niño, reducción de sintomatología depresiva e incremento en la autoconfianza parental, incremento de la comunicación familiar y capacidad para la resolución de problemas por parte de los padres/madres, reducción de los problemas comportamentales del niño en su interacción con los padres/madres e incremento de sus expresiones afectivas positivas y obediencia a las demandas parentales. Para el programa de niños, estudios con diseño experimental han mostrado su eficacia en la reducción de los problemas de conducta del niño, el incremento de su competencia social y emocional y la mejora de sus habilidades de resolución de problemas y de manejo de los conflictos con adultos e iguales (Drugli y Larsson, 2006; Lavigne et al., 2008; Mentinga, Orobio de Castro y Matthys, 2013; Reid, Webster-Stratton y Beauchaine, 2001; Reid, Webster-Stratton y Hammond, 2007; Taylor, Schmidt, Pepler y Hodgins, 1998; Webster-Stratton, 1984, 1992, 1994; Webster-Stratton, Hollinsworth y Kolpacoff, 1989; Webster-Stratton, Kolpacoff y Hollinsworth, 1988;Webster-Stratton y Reid, 2010b; Webster-Stratton, Reid y Beauchaine, 2011; Webster-Stratton, Reid y Hammond, 2004). Varios estudios de seguimiento realizados 1, 3, 8 y 12 años después de finalizado el tratamiento han mostrado el mantenimiento de sus efectos (Webster-Stratton, Rinaldi y Reid, 2010). El programa se ha aplicado con poblaciones diversas, incluyendo comunidades latinas, asiáticas, afro-americanas y caucásicas en Estados Unidos (Reid et al., 2001) y poblaciones de otros países como Reino Unido, Irlanda, Noruega, Suecia, Holanda, Nueva Zelanda, Gales, Rusia y Portugal (Gardner, Burton y Klimes, 2006; Hutchings, Bywater, Eames y Martin, 2008; Larsson et al., 2009; Posthumus, Raaijmakers, Maassen, van Engeland y Matthys, 2012; Scott, Spender, Doolan, Jacobs y Aspland, 2001; Webster-Stratton, Gaspar y Seabra-Santos, 2012).

Incredible Years es uno de los programas de enseñanza de habilidades parentales más citados en la bibliografía internacional. Ejemplos de ello son la inclusión de varias investigaciones llevadas a cabo sobre su eficacia en la revisión sistemática realizada para la Campbell Collaboration por Piquero, Farrington, Welsh, Tremblay y Jennings (2008) en relación a los efectos de los programas tempranos de enseñanza de habilidades parentales en la conducta antisocial y delictiva o su inclusión muy destacada por parte de la United Nations Office on Drugs and Crime en su compilación sobre programas basados en la evidencia de enseñanza de habilidades parentales (UNODOC, 2010).

Incredible Years está incluido en las principales bases de datos de los programas basados en evidencia, con calificaciones máximas o elevadas en la mayor parte de ellos. De acuerdo a los criterios de la California Evidence-Based Clearinghouse for Child Welfare, Incredible Years dispone de evidencia empírica sólida (Well-Supported Research Evidence, máximo nivel de un total de cinco) para la prevención y tratamiento del maltrato y negligencia infantil, la enseñanza de habilidades parentales y el tratamiento de niños con conductas disruptivas. En el mismo nivel máximo se sitúa la calificación de la Office of Juvenile Justice and Delinquency Prevention OJJDP estadounidense, donde Incredible Years es calificado como eficaz (Effective, máximo nivel de un total de tres). Por su parte, el National Registry of Evidence-based Programs and Practices estadounidense (NREPP-SAMSHA) otorga puntuaciones entre 3.5 y 3.8 (puntuación máxima: 4) a la calidad de la investigación sobre sus resultados y la puntuación máxima de 4 a la viabilidad de su diseminación. El programa Incredible Years también está recogido en la Blueprints for Youth Development del Center for the Study and Prevention of Violence (CSPV) y en la European Platform for Investing in Children-EPIC; en ambos casos, el programa es calificado como prometedor (Promising, segundo nivel de calificación). Respecto a la relación costes-beneficios, el Washington State Institute for Public Policy informa de un retorno de la inversión para este programa de 1.20 y 1.14 $ por cada dólar invertido en su formato para padres/madres y en su formato combinado para padres/madres y niños, respectivamente, incluyendo los costes de formación, asesoramiento y todos los materiales necesarios para su implantación (Lee et al., 2012).