covid
Buscar en
Psicología Educativa - Educational Psychology
Toda la web
Inicio Psicología Educativa - Educational Psychology Evaluar el bullying y el cyberbullying validación española del EBIP-Q y del EC...
Información de la revista
Vol. 22. Núm. 1.
La ciberconducta y la psicología educativa: retos y riesgos [Cyberbehavior and educational psychology: challenges and risks]
Páginas 71-79 (junio 2016)
Compartir
Compartir
Descargar PDF
Más opciones de artículo
Visitas
13774
Vol. 22. Núm. 1.
La ciberconducta y la psicología educativa: retos y riesgos [Cyberbehavior and educational psychology: challenges and risks]
Páginas 71-79 (junio 2016)
Open Access
Evaluar el bullying y el cyberbullying validación española del EBIP-Q y del ECIP-Q
Assessing bullying and cyberbullying: Spanish validation of EBIPQ and ECIPQ
Visitas
13774
Rosario Ortega-Ruiza,b, Rosario Del Reyc, José A. Casasa,
Autor para correspondencia
jacasas@uco.es

Autor para correspondencia. Facultad Ciencias de la Educación. Avda. San Alberto Magno, S/N. 14004 Córdoba.
a Universidad de Córdoba, España
b University of Greenwich, Reino Unido
c Universidad de Sevilla, España
Este artículo ha recibido

Under a Creative Commons license
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Figuras (3)
Mostrar másMostrar menos
Tablas (4)
Tabla 1. Estadísticos descriptivos de los ítems de la escala de bullying
Tabla 2. Matriz de correlaciones policóricas entre los ítems de la escala de bullying
Tabla 3. Estadísticos descriptivos del los ítems de la escala de cyberbullying
Tabla 4. Matriz de correlaciones policóricas de la escala de cyberbullying
Mostrar másMostrar menos
Material adicional (2)
Resumen

El bullying es un fenómeno de agresión injustificada que actualmente sucede en dos formatos: cara a cara y como una conducta que se realiza a través de dispositivos digitales (cyberbullying). Ampliamente estudiado tanto el primero como el segundo, hay sin embargo escaso conocimiento sobre la homogeneidad de ambos problemas y no disponemos de instrumentos de medida que permitan valorar las dos dimensiones del fenómeno: la agresión y la ciberagresión, la victimización y la cibervictimización. Este trabajo presenta la validación del European Bullying Intervention Project Questionnaire y del European Cyberbullying Intervention Project Questionnaire, que evalúan la implicación en bullying y en cyberbullying, respectivamente. Ambos se han administrado a 792 estudiantes de secundaria y se han obtenido unos buenos resultados de ajuste y propiedades psicométricas. La realización de un modelo de ecuaciones estructurales ha evaluado la concurrencia y relaciones entre ambos fenómenos, encontrando la influencia del bullying sobre el cyberbullying, pero no al contrario. Estos resultados muestran la idoneidad de ambos instrumentos para evaluar de forma conjunta bullying y cyberbullying, dada su importante relación y similitud, lo que los convierten en buenas herramientas para la intervención psicoeducativa destinada a prevenir y reducir ambos fenómenos.

Palabras clave:
Bullying
Cyberbullying
Validación
Cuestionarios
Abstract

Bullying is a phenomenon of unjustified aggression which actually takes place in two formats: face to face and as a behavior that is carried out through digital devices (cyberbullying). Both have been widely studied, though currently there is little knowledge about the homogeneity of both phenomena and we do not have measuring instruments for evaluating their two dimensions: aggression and cyber-aggression, victimization and cyber-victimization. This paper presents the validation of the European Bullying Intervention Project Questionnaire and the European Cyberbullying Intervention Project Questionnaire, that assess respectively the involvement in bullying and cyberbullying. Both have been administered to 792 high school students and have achieved good fit and good psychometric properties. The use of a structural equations modelling has allowed us to evaluate the concurrence and the relations between the two phenomena, finding the influence of bullying on cyberbullying, but not vice versa. These results show the suitability of the two instruments to assess together bullying and cyberbullying, given their important relationship and similarity, which makes them good tools for educational intervention to prevent and reduce both phenomena.

Keywords:
Bullying
Cyberbullying
Validation
Questionnaires
Texto completo

La investigación sobre el bullying, conocido en el contexto español como acoso escolar, no ha dejado de crecer desde que fue identificado en la década de los años 70 del pasado siglo (Zych, Ortega-Ruiz y Del Rey, 2015). Ha recibido atención científica desde diferentes aproximaciones teóricas y metodológicas en las que se focaliza algún elemento del fenómeno (Kowalski, Giumetti, Schroeder y Lattanner, 2014). A pesar de ello, existe cierta unanimidad en su delimitación conceptual. Así, se asume que el bullying es un fenómeno de agresión intencional de uno o unos sobre otro u otros de forma reiterada y mantenida en el tiempo, en la que existe desequilibrio de poder entre quien agrede y es agredido, la víctima (Olweus, 1993), definición en la que se destacan tres criterios fundamentales: (1) la intencionalidad, (2) la reiteración y (3) el desequilibrio de poder. Adicionalmente, se han hecho aportaciones que concretan o complementan ciertos aspectos del fenómeno (Kalliotis, 2000; Smith, Pepler y Rigby, 2004). A este respecto, Ortega (1998, 2010) incluyó la dimensión ética (4), en el sentido de considerar el acoso escolar como una conducta de transgresión moral, en la medida en que tanto el agresor como los observadores directos del fenómeno lo reconocen como una conducta inmoral e injusta.

El bullying es un fenómeno grupal que no debe entenderse solo como una conducta agresiva. En este sentido, Salmivalli, Lagerspetz, Björkqvist, Österman y Kaukiainen (1996) describieron la estructura social de participación en el seno del bullying, incluyendo, además de los roles tradicionales de víctima, agresor y doble rol (Ortega y Mora-Merchán, 2000), una diversidad de roles entre los espectadores que permite comprender el acoso entre iguales como un fenómeno de la microcultura escolar y juvenil.

A partir de las características previamente definidas, el bullying ha sido ampliamente investigado utilizando instrumentos de medida que provienen del original, Olweus Bullying Victimization Questionnaire–OBVQ (Olweus, 1996), del que se puede decir que ha sido fuente de inspiración de otras medidas con las que se ha buscado la prevalencia del mismo (Craig y Pepler, 2007; Salmivalli et al., 1996). Sin embargo, hasta la fecha no existe la certeza de que sean instrumentos consistentes y válidos en las dos dimensiones que componen las conductas del bullying: la agresión y la victimización (Greif y Furlong, 2006). De hecho, el propio cuestionario OBVQ, validado con buenos resultados en un primer momento, ha recibido críticas de ser poco riguroso (Kyriakides, Kaloyirou y Lindsay, 2006), ya que presenta ciertas limitaciones con muestras amplias (Chen, Liu y Cheng, 2012) y con su validez para evaluar la dimensión de la conducta agresiva (Green, Felix, Sharkey, Furlong y Kras, 2013). De hecho, se sabe que el bullying es un fenómeno grupal, que no debería solo verse como comportamiento agresivo. En ese sentido Salmivalli et al. (1996) describieron la estructura social de la participación en el bullying, que comprende, amen de los roles tradicionales de víctima y el rol doble de acosador (Ortega y Mora-Merchán, 2000), una variedad de funciones en los testigos, para explicar el acoso de compañeros como un fenómeno de la microcultura escolar y juvenil. Con frecuencia, para solventar estas dificultades, se ha optado por focalizar los instrumentos en uno de los roles de implicación, centrando los estudios la mayoría de las veces en las víctimas y en otros casos en los agresores, pero por separado (Bettencourt y Farrell, 2013; Yang y Salmivalli, 2013). Esta focalización disminuye algunos de los problemas procedimentales, pero podría decirse que no indaga en el fenómeno en sí, es decir, la conducta de agresión injustificada en un contexto en el que la víctima se percibe a sí misma como agredida y victimizada o dañada por otro, sin que se pueda hablar de que se trate ni de un conflicto, ni de una pelea. Espelage y Swearer (2008) señalan, en consonancia con Green et al. (2013), que los instrumentos desarrollados hasta la fecha presentan muchos problemas y son poco fiables respecto a la agresión. Pero no sólo, porque también existen evidencias de la necesidad de que los instrumentos incorporen más formas de agresión y victimización que las exploradas hasta la fecha (Haataja, Sainio, Turtonen y Salmivalli, 2015). Es decir, actualmente podemos asumir que el acoso escolar es un fenómeno bien conocido (Smith et al., 2004; Zych et al., 2015), pero siguen abiertos importantes interrogantes derivados de los procedimientos de medida.

Por otro lado, sería necesario incluir además del bullying físico y verbal los dos prototipos más fácilmente reconocibles, el bullying psicológico y el relacional (Furlong et al., 2005; Olweus, 1993). Por otro lado, es necesario analizar el bullying realizado a través de Internet y, en general, los dispositivos digitales de tan amplio uso por los adolescentes y jóvenes y que es reconocido como cyberbullying o ciberacoso (Casas, Del Rey y Ortega-Ruiz, 2013; Slonje, Smith y Frisén, 2013; Tokunaga, 2010). El ciberacoso mantiene algunas de las cuatro características que definen el bullying, aunque tiene características idiosincráticas, como la posibilidad de realizar un ataque en cualquier momento y lugar, el denominado 24/7, la posibilidad de anonimato, la potencialidad de una mayor audiencia o la suplantación de identidad como una forma de causar grave daño moral (Gradinger, Strohmeier y Spiel, 2010; Nocentini et al., 2010; Spears, Slee, Owens y Johnson, 2009). Dichas características permiten una serie de acciones distintas a las del bullying tradicional, como el envío de mensajes ofensivos, groseros o amenazantes a través de medios electrónicos, difusión de rumores en la red, revelación de información personal privada, publicación y exposición de fotos indignas o embarazosas, exclusión de la comunicación en línea o suplantación de la identidad virtual (Perren et al., 2012).

Las investigaciones recientes han mostrado una cierta superposición entre bullying y cyberbullying, ya que los jóvenes que están siendo acosados en la vida real tienden a ser intimidados también a través de los dispositivos digitales con los que se comunican (Dooley, Pyzalski y Cross, 2009; Elledge et al., 2013; Gradinger, Strohmeier y Spiel, 2009; Rey, Elipe y Ortega-Ruiz, 2012). De hecho, se ha demostrado que en su conformación intervienen múltiples variables, lo que complica la investigación sobre cyberbullying y, por tanto, el desarrollo de instrumentos válidos para estudiarlo (Ybarra, Mitchell y Korchmaros, 2011). Esta dificultad se puede observar en estudios que se centran en el desarrollo de instrumentos de medida exclusivamente en la agresión online u otros que abordan la victimización (Calvete, Orue, Estévez, Villardón y Padilla, 2010; Law, Shapka, Domene y Gagné, 2012; Tynes, Rose y Williams, 2010), reduciendo las variables a tener en cuenta y parcelando el objeto de estudio (Dempsey, Sulkowski, Nichols y Storch, 2009). Parece pues necesario el diseño y validación de instrumentos que evalúen tanto el acoso como el ciberacoso y que permitan además de conocer su prevalencia y su posible cambio tras intervenciones psicoeducativas, analizando las relaciones latentes entre ambos fenómenos (Casas et al., 2013; Perren et al., 2012). Por ello, la investigación que se presenta tiene como objetivo principal el desarrollo y validación de dos instrumentos, uno sobre bullying y otro sobre cyberbullying, que integran las dos principales dimensiones de los fenómenos, la (ciber)victimización y (ciber)agresión. Un segundo objetivo de este trabajo es analizar la relación entre la implicación en uno y otro fenómeno, indagación que esperamos muestre con más detalle el solapamiento de ambos problemas.

MétodoParticipantes

La muestra utilizada fue de 792 estudiantes (46.1% chicas) con edades comprendidas entre doce y diecinueve años (M=13.8, DT=1.47) y escolarizados entre los cursos 1° y 4° de educación secundaria obligatoria de unas 40 clases diferentes en 3 centros de educación secundaria.

Instrumentos

Se utilizó el European Bullying Intervention Project Questionnaire, elaborado por Brighi et al., 2012, que está compuesto por 14 ítems, 7 que describen aspectos relacionados con la victimización y 7 en correspondencia con la agresión. Para ambas dimensiones los ítems hacen referencia a acciones como golpear, insultar, amenazar, robar, decir palabras malsonantes, excluir o difundir rumores. Todos los ítems tienen un diseño tipo Likert, con una puntuación entre 0 y 4, donde 0 significa nunca y 4 siempre, referidos a un intervalo de tiempo de los últimos dos meses.

La traducción del instrumento original del inglés al castellano se realizó en tres fases. En primer lugar, una persona bilingüe tradujo los ítems del inglés al castellano. Posteriormente, otro investigador bilingüe realizó la traducción inversa. Finalmente, un conjunto de expertos en la temática revisaron ambos trabajos y tomaron las decisiones pertinentes.

Para evaluar la posible implicación en ciberacoso se ha utilizado la versión española del European Cyberbullying Intervention Project Questionnaire (ECIPQ) (Del Rey et al., 2015) de 22 ítems tipo Likert de cinco opciones de respuesta, con una puntuación entre 0 y 4, donde 0 significa nunca y 4 siempre. Consta de dos dimensiones: cibervictimización y ciberagresión, con buenos índices de fiabilidad (α total=.87, α victimización=.80, α agresión=.88). Para ambas dimensiones los ítems hacen referencia a acciones como decir palabras malsonantes, excluir o difundir rumores, suplantar la identidad, etc., todos ellos en medios electrónicos y referidos a un intervalo de tiempo de los últimos dos meses.

Procedimiento y análisis de los datos

Se seleccionaron los centros mediante un muestreo intencional por accesibilidad y se contactó con los centros para invitarles a participar en el estudio. Una vez aceptada la invitación se realizaron entrevistas con los equipos directivos de varios centros de la ciudad de Córdoba para trasladarles nuestra intención de realizar un estudio sobre el fenómeno del acoso escolar o bullying y sobre el cyberbullying, La recogida de datos se realizó por personal del grupo de investigación. Tras explicar a los alumnos cómo cumplimentar el cuestionario, su administración fue individual y duró un máximo de 15 minutos. Se recogieron el mismo día para su posterior análisis de los datos.

En cuanto a los análisis estadísticos realizados para alcanzar el objetivo de este estudio se han empleado análisis factoriales confirmatorios (AFC) para someter a contraste las estructuras factoriales de los dos instrumentos, así como la realización de un modelo de ecuación estructural para contrastar la relación e influencia entre los dos fenómenos estudiados. Para todo ello fueron tenidas en cuenta las recomendaciones de Hu y Bentler (1999), en las cuales un modelo ajusta adecuadamente a los datos observados cuando el estadístico chi-cuadrado en comparación con sus grados de libertad presenta una ratio inferior a cinco, así como RMSEA (Root Mean Square Error of Approximation), SRMR (Standardized Root Mean Square Residual), cuyos valores recomendables son<.08, los índices NNFI (Non-NormedFit Index), IFI (Incremental Fit Index) y CFI (ComparativeFitIndex), cuyos valores recomendables son>.95 (Jöreskog y Sörbom, 1993). Como método de estimación se utilizó el de máxima verosimilitud robusta, que permite utilizar correlaciones policóricas, cuyo uso es más idóneo en variables con las características señaladas de altos índices de normalidad y curtosis multivariante y con una clara naturaleza ordinal (Flora y Curran, 2004).

La fiabilidad de las dimensiones de los modelos y del total de cada una de las tres estructuras factoriales propuestas también fueron examinadas mediante el cálculo del alfa de Chronbach.

Los programas informáticos utilizados para realizar los análisis mencionados fueron el SPSS 18 para los análisis de fiabilidad y la versión 6.1 del programa estadístico EQS para los análisis factoriales confirmatorios.

Resultados

En primer lugar se ha desarrollado el AFC de la escala de bullying, para lo cual se han realizado los análisis estadísticos descriptivos básicos (ver tabla 1), y se ha calculado el coeficiente de Mardia de 472.76, que indica la ausencia de normalidad y curtosis multivariante. De esta forma, se ha empleado el método robusto de máxima verosimilitud

Tabla 1.

Estadísticos descriptivos de los ítems de la escala de bullying

Ítems del cuestionario  M  SD  Skew  Kurt 
VB1. Alguien me ha golpeado, me ha pateado o me ha empujado  0.30  0.72  3.12  10.87 
VB2. Alguien me ha insultado  0.96  1.20  1.41  1.07 
VB3. Alguien le ha dicho a otras personas palabras malsonantes sobre mi  0.81  1.11  1.56  1.72 
VB4. Alguien me ha amenazado  0.19  0.59  4.03  18.71 
VB5. Alguien me ha robado o roto mis cosas  0.23  0.60  3.43  14.35 
VB6. He sido excluido o ignorado por otras personas  0.36  0.85  2.96  8.83 
VB7. Alguien ha difundido rumores sobre mi  0.54  0.89  2.11  4.56 
AB1. He golpeado, pateado o empujado a alguien  0.26  0.65  3.37  13.55 
AB2. He insultado y he dicho palabras malsonantes a alguien  0.63  0.95  2.07  4.38 
AB3. He dicho a otras personas palabras malsonantes sobre alguien  0.37  0.77  2.75  8.53 
AB4. He amenazado a alguien  0.10  0.42  5.35  35.75 
AB5. He robado o he estropeado algo de alguien  0.05  0.31  8.86  96.04 
AB6. He excluido o ignorado a alguien  0.23  0.56  3.50  16.38 
AB7. He difundido rumores sobre alguien  0.10  0.40  5.31  35.71 

Se ha calculado la matriz de correlaciones policóricas, con correlaciones que oscilan entre el .72 y .21 (ver tabla 2).

Tabla 2.

Matriz de correlaciones policóricas entre los ítems de la escala de bullying

  VB1  VB2  VB3  VB4  VB5  VB6  VB7  AB1  AB2  AB3  AB4  AB5  AB6  AB7 
VB1                           
VB2  .61                         
VB3  .45  .67                       
VB4  .60  .65  .60                     
VB5  .58  .52  .50  .53                   
VB6  .50  .54  .59  .54  .50                 
VB7  .33  .50  .70  .52  .47  .53               
AB1  .44  .33  .22  .26  .26  .19  .20             
AB2  .33  .50  .41  .26  .20  .25  .28  .63           
AB3  .22  .33  .44  .25  .17  .32  .38  .48  .67         
AB4  .22  .31  .24  .36  .25  .21  .25  .72  .56  .57       
AB5  .48  .36  .31  .37  .45  .35  .28  .66  .55  .57  .69     
AB6  .26  .27  .28  .25  .25  .39  .32  .31  .48  .52  .50  .60   
AB7  .32  .30  .31  .34  .31  .32  .35  .53  .52  .57  .52  .62  .59 

La solución factorial más adecuada (ver fig. 1) muestra dos factores correlacionados con un ajuste óptimo, unos índices de ajuste con valores de χ2 de Satorra Bentler=270.11, p=.00, NNFI=.95, CFI=.96, IFI=.96, RMSEA=.05 y SRMR=.06

Figura 1.

Solución factorial más adecuada de la escala de bullying.

(0.16MB).

En segundo lugar se han realizado los análisis sobre el instrumento de cyberbullying. Así, se han calculado los estadísticos descriptivos de los ítems que componen el cuestionario (ver tabla 3).

Tabla 3.

Estadísticos descriptivos del los ítems de la escala de cyberbullying

Items del cuestionario  M  SD  Skew  Kurt 
CybV1 Alguien me ha dicho palabras malsonantes o me ha insultado usando el email o SMS.  0.18  0.57  4.32  22.46 
CybV2 Alguien ha dicho a otros palabras malsonantes sobre mí usando internet o SMS.  0.22  0.62  3.68  16.04 
CybV3 Alguien me ha amenazado a través de mensajes en internet o SMS.  0.11  0.46  5.50  35.27 
CybV4 Alguien ha pirateado mi cuenta de correo y ha sacado mi información personal.  0.06  0.33  7.63  75.14 
CybV5 Alguien ha pirateado mi cuenta y se ha hecho pasar por mi  0.11  0.36  4.39  28.22 
CybV6 Alguien ha creado una cuenta falsa para hacerse pasar por mí.  0.02  0.22  10.70  145.72 
CybV7 Alguien ha colgado información personal sobre mí en internet.  0.06  0.41  7.60  63.34 
CybV8 Alguien ha colgado videos o fotos comprometidas mías en internet.  0.05  0.28  6.96  68.03 
CybV9 Alguien ha retocado fotos mías que yo había colgado en internet.  0.10  0.41  5.38  37.55 
CybV10 He sido excluido o ignorado de una red social o de chat.  0.06  0.36  7.48  64.24 
CybV11 Alguien ha difundido rumores sobre mí por internet.  0.13  0.49  5.04  30.52 
CybB1 He dicho palabras malsonantes a alguien o le he insultado usando SMS o mensajes en internet.  0.12  0.44  5.05  33.02 
CybB2 He dicho palabras malsonantes sobre alguien a otras personas en mensajes por internet o por SMS  0.11  0.44  5.57  38.54 
CybB3 He amenazado a alguien a través de SMS o mensajes en internet.  0.04  0.29  9.40  106.49 
CybB4 He pirateado la cuenta de correo de alguien y he robado su información personal.  0.05  0.36  8.15  72.93 
CybB5 He pirateado la cuenta de alguien y me he hecho pasar por él/ella.  0.04  0.32  9.28  98.11 
CybB6 He creado una cuenta falsa para hacerme pasar por otra persona.  0.04  0.33  9.49  99.75 
CybB7 He colgado información personal de alguien en internet.  0.03  0.30  9.79  104.56 
CybB8 He colgado videos o fotos comprometidas de alguien en internet.  0.02  0.20  12.80  197.08 
CybB9 He retocado fotos o videos de alguien que estaban colgados en internet.  0.07  0.40  7.43  62.31 
CybB10 He excluido o ignorado a alguien en una red social o chat.  0.14  0.53  5.02  29.02 
CybB11He difundido rumores sobre alguien en internet.  0.05  0.32  8.12  76.47 

Posteriormente se ha calculado el coeficiente de Mardia, obteniendo un valor de 2876.64, que indica nuevamente la ausencia de normalidad y curtosis multivariante, por lo que también se ha empleado el método robusto de máxima verosimilitud. Se ha calculado la matriz de correlaciones policóricas, con correlaciones que oscilan entre el .89 y .31 (ver tabla 4).

Tabla 4.

Matriz de correlaciones policóricas de la escala de cyberbullying

  10  11  12  13  14  15  16  17  18  19  20  21  22 
1. CybV1                                           
2. CybV2  .71                                         
3. CybV3  .74  .68                                       
4. CybV4  .51  .45  .61                                     
5. CybV5  .45  .46  .52  .83                                   
6. CybV6  .58  .48  .57  .73  .82                                 
7. CybV7  .53  .46  .48  .58  .53  .74                               
8. CybV8  .47  .37  .48  .51  .47  .72  .76                             
9. CybV9  .46  .54  .51  .43  .50  .57  .62  .72                           
10. CybV10  .50  .53  .58  .58  .62  .70  .66  .65  .67                         
11. CybV11  .62  .71  .68  .63  .57  .66  .70  .64  .57  .68                       
12. CybB1  .58  .47  .52  .46  .41  .58  .51  .47  .48  .43  .46                     
13. CybB2  .53  .62  .53  .49  .45  .57  .54  .47  .55  .56  .62  .78                   
14. CybB3  .59  .53  .63  .66  .59  .72  .66  .63  .60  .68  .61  .79  .78                 
15. CybB4  .48  .47  .50  .55  .57  .66  .60  .62  .56  .69  .61  .71  .73  .80               
16. CybB5  .50  .44  .50  .55  .61  .71  .60  .65  .57  .64  .60  .68  .72  .80  .89             
17. CybB6  .44  .47  .50  .61  .61  .71  .62  .63  .61  .70  .52  .61  .69  .74  .79  .84           
18. CybB7  .44  .44  .54  .62  .58  .72  .72  .70  .70  .66  .54  .57  .64  .76  .76  .76  .79         
19. CybB8  .63  .66  .64  .68  .72  .74  .69  .72  .74  .70  .72  .75  .75  .82  .84  .84  .78  .84       
20. CybB9  .41  .55  .45  .51  .49  .67  .61  .64  .80  .64  .51  .59  .68  .71  .71  .73  .79  .82  .84     
21. CybB10  .38  .34  .41  .44  .38  .49  .47  .42  .51  .62  .53  .63  .74  .73  .74  .70  .66  .64  .71  .63   
22. CybB11  .54  .47  .55  .55  .50  .64  .58  .60  .55  .65  .56  .71  .77  .78  .82  .81  .75  .72  .81  .67  .69 

La solución factorial hallada (ver fig. 2) replica la encontrada por Del Rey et al. (2015) en una muestra europea, con dos factores correlacionados con un ajuste óptimo, unos índices de ajuste con valores de χ2 de Satorra Bentler=495.93, p=.00, NNFI=.98, CFI=.98, IFI=.98, RMSEA=.042 y SRMR=.065

Figura 2.

Solución factorial de la escala de cyberbullying.

(0.3MB).

Por último, se ha realizado un modelo de ecuación estructural en relación con el segundo objetivo de esta investigación, la relación entre la implicación en uno y otro fenómeno. Para tal fin se han realizado diferentes modelos para contrastar la relación entre uno y otro fenómeno. El modelo hallado (ver fig. 3), muestra un excelente ajuste, χ2 de Satorra Bentler=1105.74, p=.00, NNFI=.96, CFI=.97, IFI=.97, RMSEA=.033 y SRMR=.055, señalando la influencia del bullying tradicional sobre el cyberbullying, pero no se ha hallado un ajuste en la relación inversa. Este resultado obtiene además un valor de R2 de la variable victimización en cyberbullying de .41 y de .36 sobre agresión en cyberbullying. El modelo muestra la influencia de la victimización tradicional con la cibervictimización (β=.51, p=.032) y de la agresión tradicional sobre la ciberagresión (β=.60, p=.027). Pero también se señala la influencia de la agresión tradicional en la cibervictimización (β=.23, p=.045). La influencia de la victimización tradicional sobre la ciberagresión es necesaria para el ajuste del modelo, pero no se muestra como una relación significativa (β=.08, p=.072).

Figura 3.

Modelo de ecuación estructural hallado.

(0.05MB).
Discusión y conclusiones

Como se recordará, el primer objetivo de esta investigación ha sido la validación de dos instrumentos de medida sobre bullying y cyberbullying, considerando que ambos incluyen las dos principales dimensiones de este fenómeno: la victimización versus cibervictimización y la agresión versus ciberagresión. Respecto de dicho objetivo, puede decirse que los resultados son muy positivos. Tanto el instrumento de bullying como el de cyberbullying muestran la adecuación y validez de las dos dimensiones principales de este fenómeno y pueden describirse en un solo modelo, que incluye correlación entre ambas subescalas, tal y como se ha ido hallando en estudios previos (Völlink, Bolman, Dehue y Jacobs, 2013). Se podría decir que la totalidad de los participantes perciben estos dos fenómenos desde una doble dimensión, de agresión y victimización, que se muestra de forma empírica con un buen ajuste y con muchas similitudes. Si la decisión de desarrollar nuevos instrumentos debe basarse en una cuidadosa consideración de las ventajas y desventajas de los ya existentes (Berne et al., 2013), esta validación aporta dos ventajas importantes: a) la posibilidad de medir y evaluar en un mismo instrumento la dimensión de la victimización y de la agresión, tanto de bullying tradicional, como de cyberbullying y b) estos cuestionarios son una aportación al campo de estudio ya que es muy reducido el número de instrumentos que han sido sometidos a un riguroso análisis empírico y han sido replicados mediante análisis factoriales confirmatorios para contrastar sus fortalezas y debilidades. Disponer de instrumentos fiables y empíricamente contrastados cobra importancia en la investigación sobre el bullying tradicional, en un momento en que muchos problemas de intimidación y acoso tradicional están transformándose en intimidación y acoso a través de medios digitales (Slonje y Smith, 2008) ya que, en palabras de los autores citados, puede decirse que se está produciendo una reducción del bullying tradicional al mismo tiempo que un incremento en la prevalencia del cyberbullying. Por otro lado, se han evidenciado diferencias en el tipo, tiempo o forma de uso de la tecnología y el predominio de plataformas muy diferentes en el acceso a las redes sociales virtuales (Drabowicz, 2012), lo que asemeja más y más el contexto de entramado relacional del bullying tradicional (Salmivalli, 2010) al contexto de escenario del cyberbullying, igualmente apoyado en el uso masivo de redes sociales virtuales. Por ello cobra mayor importancia este estudio que integra dos instrumentos muy similares y fáciles de administrar por su sencillez y poca cantidad de ítems que analizan comportamientos de bullying y cyberbullying, según el caso de forma muy similar, tal y como están señalando otros autores (Olweus, 2012).

Pensando en la necesidad de la intervención psicoeducativa y la práctica de la psicología escolar, disponer de ambos instrumentos homogéneos en cuanto a sus medidas para su uso en el contexto del centro y el aula escolar puede facilitar la rápida descripción de los niveles de prevalencia de ambos problemas, lo que puede ser muy útil a los profesionales de la psicología escolar y a los agentes del sistema educativo, en su trabajo de prevención tanto del bullying como del cyberbullying (Del Rey et al., 2015).

El segundo objetivo de este trabajo ha buscado descubrir la relación de influencia y solapamiento o tránsito de un fenómeno al otro y viceversa. Nuestros resultados nos acercan más a la idea de que el cyberbullying es un tipo de bullying (Slonje y Smith, 2008), ya que no sólo existe una relación entre ambos con una ajuste estadístico adecuado, sino que se muestra una influencia importante de la victimización sobre la cibervictimización y de la agresión sobre la ciberagresión. Estos resultados apoyan la idea de que los principales roles de implicación (el de agresor y el de víctima) se mantienen cuando el bullying pasa a realizarse y quizás a perpetrarse con el uso de medios tecnológicos de comunicación (Casas et al., 2013). Además de esta relación, clarificadora al respecto de la naturaleza muy semejante de ambos fenómenos, los resultados obtenidos muestran una influencia significativa de la agresión tradicional en la cibervictimización, mientras es casi inexistente la influencia de la victimización tradicional sobre la ciberagresión. No es fácil aventurar una explicación, pero cabría pensar que el agresor directo o de bullying tradicional puede llegar a convertirse en una cibervíctima cuando está en un medio en el que no domina a los otros de forma corporalmente directa, como lo hace en la vida real. No olvidemos que estas conductas son muy emocionales y que la comunicación mediante dispositivos digitales es más fría y requiere de recursos y competencias cognitivas de los que quizás el agresor prototípico del bullying tradicional no está tan dotado. A este respecto, se ha informado que la ciberconducta exige una cierta competencia técnica (Casas et al., 2013; Menesini, Nocentini y Palladino, 2012). Quizás el factor de dominio tecnológico parece que podría estar jugando contra el agresor tradicional, que sabiendo cómo controlar, intimidar y acosar a otro de forma directa, en el escenario virtual es menos hábil porque no necesariamente el agresor es más competente digitalmente que los demás. Lo que definitivamente se evidencia en nuestros resultados es que el agresor de bullying tradicional puede volverse víctima (cibervíctima) a través de medios digitales. Sin embargo, no parece que la cibervictimización se transforme en agresión tradicional.

En general, estos resultados arrojan una mayor concreción de los estudios que han estudiado el solapamiento entre bullying y cyberbullying (Del Rey et al., 2012), marcando en el sentido en el que se puede estar produciendo este solapamiento o tránsito entre un fenómeno y otro, y de un rol a otro, pero también refuerzan la interpretación que los autores y otros investigadores (Olweus, 2012; Slonje y Smith, 2008) expresan sobre la homogeneidad básica de ambos fenómenos, así como las propias características comunes a ambos problemas: la intencionalidad, el desequilibrio de poder, la repetición y muy especialmente la inmoralidad de estas conductas (Ortega, 2010).

Debemos tener en cuenta las limitaciones que presenta este trabajo, que son las propias de la mayor parte de los autoinformes, donde la deseabilidad social puede afectar a los resultados. También, aunque en el estudio ha participado una muestra amplia, no ha sido una muestra representativa española, por lo que las futuras líneas de investigación deberán seguir desarrollando y actualizando estos instrumentos que, debido a la temática tan relevante y actual que abordan, necesitan incorporar aspectos vinculados a la tecnología y al uso que hacen de ella los adolescentes o de nuevas formas de agresión en las que se pueda concretar el bullying tradicional.

Extended Summary

Research on bullying has not stopped growing since it was identified in the early 70s of last century (Zych, Ortega-Ruiz, & Del Rey, 2015). It has received scientific attention from different theoretical and methodological approaches (Kowalski et al., 2014). However, there is some unanimity in its conceptual delimitation. Thus, it is assumed that bullying is a phenomenon of intentional assault of one or one on one or more other repeatedly and maintained over time where there is an imbalance of power between those who assaulted and the one who is attacked, the victim (Olweus, 1993). Definition is made in terms of three key criteria: (1) the intent, (2) the repetition, and (3) the imbalance of power. In addition, contributions have been realized or complement certain aspects of the phenomenon (Kalliotis, 2000; Smith, Pepler, & Rigby, 2004).

Bullying is a group phenomenon, which should not be understood only as an aggressive behavior. In this sense, Salmivalli, Lagerspetz, Björkqvist, Österman, & Kaukiainen (1996) described the social structure of participation within the bullying, including, in addition to the traditional roles of victim and perpetrator dual role (Ortega & Mora-Merchán, 2000), a variety of roles among viewers for understanding peer harassment as a phenomenon of school and juvenile microculture.

Recent research has shown some overlap between bullying and cyberbullying, as young people being bullied in real life tend to be also intimidated through digital devices (Del Rey, Ellipe, & Ortega-Ruiz, 2012; Dooley et al., 2009; Elledge et al., 2013; Gradinger et al., 2009). Some studies focus their research on the development of measuring instruments exclusively in the online aggression, or others who do victimization (Calvete et al., 2010; Law et al., 2012; Tynes Rose et al., 2010), reducing the variables to consider and parcelling the object of study (Dempsey et al., 2009).

Accordingly, it seems that designing and validating instruments to assess an evaluation of both the harassment and cyberbullying and that, additionally, provide the ability to know their prevalence and eventual psycho-educational interventions, might necessary further the analysis of latent relationship between the two phenomena (Casas, Del Rey, & Ortega-Ruiz 2013; Perren et al., 2012). Therefore, the main objective of this research is the development and validation of two instruments, one about bullying and cyberbullying, that make up the two main dimensions of the phenomena, the (cyber)victimization and the (cyber)attack. A second objective of this paper is to analyze the relationship between the involvement in the two phenomena, an inquiry we hope will show in more detail the overlap of both problems.

Methodology and Results

This study has involved 792 (46.1% girls) students, age ranging between 12 and 19 years old (M=13.8, SD=1.47) of secondary education. The two Spanish versions of the questionnaires European Bullying Intervention Project Questionnaire (EBIPQ) (Brighi et al., 2012) and European Cyber-bullying Intervention Project Questionnaire (ECIPQ) (Del Rey et al., 2015) have been used. Both questionnaires are of Likert nature and evaluate behaviors related to bullying and cyber-bullying. The statistical analyses assessed to achieve the objectives of this study envisage a Confirmatory Factor Analysis (CFA) in order to obtain a contrast of the factorial structures of both instruments and to develop a structural equation model to test the relationship and influence between the two phenomena studied. For such purposes, it has been very important to consider a maximum estimation of robust likelihood, which allows us to use polychoric correlations and is suitable where high values of normality and kurtosis, multivariate with a clear categorical nature, take place (Flora & Curran, 2004).

The results show optimum indexes for each of the scales subject to factor analysis and the solutions are similar to the adjustment of the European versions. The EBIPQ scale shows a two-factor solution correlated with optimal fit and values: chi-square of Satorra Bentler=270.11, p=.00, NNFI=.95, CFI=.96, IFI=.96, RMSEA=.05, and SRMR=.06. The scale replicate ECIPQ solution in a European sample, two factors correlated with optimal adjustment, adjustment indexes values: chi-square of Satorra Bentler=495.93, p=.00, NNFI=.98, CFI=.98, IFI=.98, RMSEA=.042, and SRMR=.065.

Finally there has been a structural equation model to test the influence relationship between the involvement in the two phenomena. The model found shows an excellent fit, chi-square of Satorra Bentler=1105.74, p=.00, NNFI=.96, CFI=.97, IFI=.97, RMSEA=.033, and SRMR=.055, indicating the influence of traditional bullying on cyberbullying, but has not found a setting in the inverse relationship. This result also obtained an R2 value of the variable in cyberbullying victimization of .41 and .36 on cyberbullying aggression. It is relevant in this model, as one of its main aspects, the influence of traditional aggression on cybervictimization (β=.23, p=.045), which shows that a traditional bullying aggressor can turn into cyber-victim.

Discussion

Both instruments about bullying and cyber-bullying, respectively, show the appropriateness and validity of the two major dimensions of this phenomenon which can be described in one model, including the correlation between both subscales, as has been found in previous studies (Völlink et al., 2013). One could contend that all of the participants perceive these two phenomena in two dimensions, aggression and victimization, empirically showing a good fit with many similarities. Both instruments have reliable tools and empirically contrasted which becomes important in research on traditional bullying, in a time when many traditional problems of intimidation and harassment are transformed into intimidation and harassment through digital media (Slonje & Smith, 2008) as, in the words of these authors, we can state that a reduction in traditional bullying while an increase in the prevalence of cyberbullying are taking place simultaneously.

The second objective of this research has aimed to reveal the relationship of influence and overlap or transition from one phenomenon to the other and vice versa. Our results bring us closer to the idea that cyber-bullying is a type of bullying (Slonje & Smith, 2008), as there is only a relationship between a proper statistical adjustment, but an important influence of victimization is shown on cyber-victimization and aggression on the cyber-aggression. These results support the idea that the main roles of involvement (the aggressor and the victim) are maintained when bullying happens to take place and perhaps perpetrated with the use of communications technology (Casas et al., 2013). In addition to this relationship, clarifying the very similar nature of the two phenomena, the results show a significant influence of traditional cyber-victimization aggression, while the influence of traditional victimization on cyber-aggression is almost non-existent.

Financiación

Este trabajo ha sido realizado en el marco del proyecto “Sexting, cyberbullying y riesgos emergentes en la red: claves para su comprensión y respuesta educativa” (EDU2013-44627-P), del Plan Nacional de Investigación, al que los autores agradecen la financiación.

Conflicto de intereses

Los autores de este artículo declaran que no tienen ningún conflicto de intereses.

Referencias
[Berne et al., 2013]
Berne, S., Frisén, A., Schultze-Krumbholz, A., Scheithauer, H., Naruskov, K., Luik, P., … Zukauskiene, R. (2013). Cyberbullying assessment instruments: A systematic review. Aggression and Violent Behavior, 18, 320-334. http://doi.org/10.1016/j.avb.2012.11.022.
[Bettencourt y Farrell, 2013]
A.F. Bettencourt, A.D. Farrell.
Individual and Contextual Factors Associated with Patterns of Aggression and Peer Victimization During Middle School.
Journal of Youth and Adolescence, 42 (2013), pp. 285-302
[Brighi et al., 2012]
Brighi, A., Ortega, R., Pyzalski, J., Scheithauer, H., Smith, P. K., Tsormpatzoudis, C., … Thompson, J. (2012). European Bullying Intervention Project Questionnaire (EBIPQ) (Unpublished manuscript). University of Bologna.
[Calvete et al., 2010]
E. Calvete, I. Orue, A. Estévez, L. Villardón, P. Padilla.
Cyberbullying in adolescents: Modalities and aggressors’ profile.
Computers in Human Behavior, 26 (2010), pp. 1128-1135
[Casas et al., 2013]
J.A. Casas, R. Del Rey, R. Ortega-Ruiz.
Bullying and cyberbullying: Convergent and divergent predictor variables.
Computers in Human Behavior, 29 (2013), pp. 580-587
[Chen et al., 2012]
L.M. Chen, K.S. Liu, Y.Y. Cheng.
Validation of the perceived school bullying severity scale.
Educational Psychology, 32 (2012), pp. 169-182
[Craig y Pepler, 2007]
W.M. Craig, D.J. Pepler.
Understanding bullying: From research to practice.
Canadian Psychology/Psychologie Canadienne, 48 (2007), pp. 86-93
[Del Rey et al., 2015]
Del Rey, R., Casas, J.A., Ortega-Ruiz, R., Schultze-Krumbholz, A., Scheithauer, H., Smith, P., … Plichta, P. (2015). Structural validation and cross-cultural robustness of the European Cyberbullying Intervention Project Questionnaire. Computers in Human Behavior, 50, 141-147. http://doi.org/10.1016/j.chb.2015.03.065.
[Del Rey et al., 2012]
R. Del Rey, P. Elipe, R. Ortega-Ruiz.
Bullying and cyberbullying: Overlapping and predictive value of the co-occurrence.
Behavior Psychology, 24 (2012), pp. 608-613
[Dempsey et al., 2009]
A.G. Dempsey, M.L. Sulkowski, R. Nichols, E.A. Storch.
Differences between peer victimization in cyber and physical settings and associated psychosocial adjustment in early adolescence.
Psychology in the Schools, 46 (2009), pp. 962-972
[Dooley et al., 2009]
J.J. Dooley, J. Pyzalski, D. Cross.
Cyberbullying versus face-to-face bullying: A theoretical and conceptual review.
Journal of Psychology, 217 (2009), pp. 182-188
[Drabowicz, 2012]
Drabowicz, T.P. (2012). Digital Inequalities as Class Inequalities? A comparison of youth in advanced societies in-and outside Europe. European University Institute, Florence. Retrieved from http://hdl.handle.net/1814/23751.
[Elledge et al., 2013]
L.C. Elledge, A. Williford, A.J. Boulton, K.J. DePaolis, T.D. Little, C. Salmivalli.
Individual and Contextual Predictors of Cyberbullying: The Influence of Children's Provictim Attitudes and Teachers’ Ability to Intervene.
Journal of Youth and Adolescence, 42 (2013), pp. 698-710
[Espelage y Swearer, 2008]
D.L. Espelage, S.M. Swearer.
Current Perspectives on Linking School Bullying Research to Effective Prevention Strategies.
School Violence and Primary Prevention, pp. 335-353
[Flora y Curran, 2004]
D.B. Flora, P.J. Curran.
An Empirical Evaluation of Alternative Methods of Estimation for Confirmatory Factor Analysis With Ordinal Data.
Psychological Methods, 9 (2004), pp. 466-491
[Furlong et al., 2005]
M.J. Furlong, J.L. Greif, M.P. Bates, A.D. Whipple, T.C. Jimenez, R. Morrison.
Development of the California school climate and safety survey-short form.
Psychology in the Schools, 42 (2005), pp. 137-149
[Gradinger et al., 2009]
P. Gradinger, D. Strohmeier, C. Spiel.
Traditional bullying and cyberbullying: Identification of risk groups for adjustment problems.
Zeitschrift Für Psychologie/Journal of Psychology, 217 (2009), pp. 205-213
[Gradinger et al., 2010]
P. Gradinger, D. Strohmeier, C. Spiel.
Definition and Measurement of Cyberbullying.
Cyberpsychology: Journal of Psychosocial Research on Cyberspace, 1 (2010), pp. 1-14
[Green et al., 2013]
J.G. Green, E.D. Felix, J.D. Sharkey, M.J. Furlong, J.E. Kras.
Identifying bully victims: Definitional versus behavioral approaches.
Psychological Assessment, 25 (2013), pp. 651-657
[Greif y Furlong, 2006]
J.L. Greif, M.J. Furlong.
The Assessment of School Bullying.
Journal of School Violence, 5 (2006), pp. 33-50
[Haataja et al., 2015]
A. Haataja, M. Sainio, M. Turtonen, C. Salmivalli.
Implementing the KiVa antibullying program: recognition of stable victims, (2015),
[Hu y Bentler, 1999]
L. Hu, P.M. Bentler.
Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives.
Structural Equation Modeling: A Multidisciplinary Journal, 6 (1999), pp. 1-55
[Jöreskog y Sörbom, 1993]
K.G. Jöreskog, D. Sörbom.
Lisrel 8: Structural Equation Modeling with the Simplis Command Language.
Scientific Software International, (1993),
[Kalliotis, 2000]
P. Kalliotis.
Bullying as a Special Case of Aggression Procedures for Cross-Cultural Assessment.
School Psychology International, 21 (2000), pp. 47-64
[Kowalski et al., 2014]
R.M. Kowalski, G.W. Giumetti, A.N. Schroeder, M.R. Lattanner.
Bullying in the digital age: A critical review and meta-analysis of cyberbullying research among youth.
Psychological Bulletin, 140 (2014), pp. 1073-1137
[Kyriakides et al., 2006]
L. Kyriakides, C. Kaloyirou, G. Lindsay.
An analysis of the Revised Olweus Bully/Victim Questionnaire using the Rasch measurement model.
The British Journal of Educational Psychology, 76 (2006), pp. 781-801
[Law et al., 2012]
D.M. Law, J.D. Shapka, J.F. Domene, M.H. Gagné.
Are Cyberbullies really bullies? An investigation of reactive and proactive online aggression.
Computers in Human Behavior, 28 (2012), pp. 664-672
[Menesini et al., 2012]
E. Menesini, A. Nocentini, B.E. Palladino.
Empowering students against bullying and cyberbullying: Evaluation of an Italian peer-led model.
International Journal of Conflict and Violence, 6 (2012), pp. 314-321
[Nocentini et al., 2010]
A. Nocentini, J. Calmaestra, A. Schultze-Krumbholz, H. Scheithauer, R. Ortega, E. Menesini.
Cyberbullying: Labels, Behaviours and Definition in Three European Countries RID D-4268-2011.
Australian Journal of Guidance and Counselling, 20 (2010), pp. 129-142
[Olweus, 1993]
D. Olweus.
Bullying at school: what we know and what we can do.
Blackwell, (1993),
[Olweus, 1996]
D. Olweus.
The Revised Olweus Bully/Victim Questionnaire for students.
University of Bergen, (1996),
[Olweus, 2012]
D. Olweus.
Cyberbullying: An overrated phenomenon?.
European Journal of Developmental Psychology, 9 (2012), pp. 520-538
[Ortega, 1998]
R. Ortega, I. Fernández.
Violencia, agresión y disciplina.
Prevención de la Violencia y Resolución de Conflictos. El clima escolar como factor de calidad, Narcea Ediciones, (1998), pp. 19-29
[Ortega, 2010]
R. Ortega.
Agresividad injustificada, bullying y violencia escolar.
Alianza Editorial, (2010),
[Ortega y Mora-Merchán, 2000]
R. Ortega, J.A. Mora-Merchán.
Violencia escolar: mito o realidad.
Mergablum, (2000),
[Perren et al., 2012]
Perren, S., Corcoran, L., Cowie, H., Dehue, F., Garcia, D., Mc Guckin, C., … Völlink, T. (2012). Tackling cyberbullying: Review of empirical evidence regarding successful responses by students, parents, and schools. International Journal of Conflict and Violence, 6, 283-293.
[Salmivalli, 2010]
C. Salmivalli.
Bullying and the peer group: A review.
Aggression and Violent Behavior, 15 (2010), pp. 112-120
[Salmivalli et al., 1996]
C. Salmivalli, K. Lagerspetz, K. Björkqvist, K. Österman, A. Kaukiainen.
Bullying as a group process: Participant roles and their relations to social status within the group.
Aggressive Behavior, 22 (1996), pp. 1-15
[Slonje y Smith, 2008]
R. Slonje, P.K. Smith.
Cyberbullying: Another main type of bullying?.
Scandinavian Journal of Psychology, 49 (2008), pp. 147-154
[Slonje et al., 2013]
R. Slonje, P.K. Smith, A. Frisén.
The nature of cyberbullying, and strategies for prevention.
Computers in Human Behavior, 29 (2013), pp. 26-32
[Smith et al., 2004]
P.K. Smith, D. Pepler, K. Rigby.
Bullying in Schools: How Successful Can Interventions Be?.
Cambridge University Press, (2004),
[Spears et al., 2009]
B. Spears, P. Slee, L. Owens, B. Johnson.
Behind the Scenes and Screens.
Zeitschrift Für Psychologie /Journal of Psychology, 217 (2009), pp. 189-196
[Tokunaga, 2010]
R.S. Tokunaga.
Following you home from school: A critical review and synthesis of research on cyberbullying victimization.
Computers in Human Behavior, 26 (2010), pp. 277-287
[Tynes Rose et al., 2010]
C.A. Tynes Rose, D.R. Williams.
The Development and Validation of the Online Victimization Scale for Adolescents.
Cyberpsychology: Journal of Psychosocial Research on Cyberspace, 4 (2010), pp. 1-15
[Völlink et al., 2013]
T. Völlink, C.A. Bolman, F. Dehue, N.C. Jacobs.
Coping with cyberbullying: Differences between victims, bully-victims and children not involved in bullying.
Journal of Community and Applied Social Psychology, 23 (2013), pp. 7-24
[Yang y Salmivalli, 2013]
A. Yang, C. Salmivalli.
Different forms of bullying and victimization: Bully-victims versus bullies and victims.
European Journal of Developmental Psychology, 10 (2013), pp. 723-738
[Ybarra et al., 2011]
M.L. Ybarra, K.J. Mitchell, J.D. Korchmaros.
National trends in exposure to and experiences of violence on the internet among children.
Pediatrics, 128 (2011), pp. e1376-e1386
[Zych et al., 2015]
I. Zych, R. Ortega-Ruiz, R. Del Rey.
Scientific research on bullying and cyberbullying: Where have we been and where are we going.
Aggression and Violent Behavior, 24 (2015), pp. 188-198
Copyright © 2016. Colegio Oficial de Psicólogos de Madrid
Descargar PDF
Opciones de artículo