La evaluación de revistas de psicología: correlación entre el factor de impacto, el índice h y los criterios de Latindex

Resumen

El objetivo de este trabajo fue comprobar el grado en que dos criterios basados en el recuento de citas, como el factor de impacto propuesto por el journal Citation Reports y el índice h de Hirsch (2005), y otro criterio más relacionado con la calidad del proceso editorial, como el grado de cumplimiento de los criterios propuestos por el catálogo Latindex, ordenan de forma similar un conjunto de revistas de psicología. Utilizamos estos tres criterios para confeccionar sendas clasificaciones de estas revistas y encontramos que la correlación entre la clasificación Latindex y cualquiera de las otras dos no fue significativamente distinta de cero. Se discute la conveniencia de disponer de criterios ajenos al recuento de citas para evaluar la calidad de las revistas científicas de psicología y se propone el uso combinado de criterios como la difusión, la internacionalidad, el proceso de revisión de los manuscritos o la política editorial de la revista.

Abstract

The goal of this study is to explore the extent to which several psychology journals may be similarly classified on the basis of citation count through the impact factor proposed by Journal Citation Reports and the h-index (Hirsch, 2005), against a given journal’s compliance with the Latindex Catalogue criteria for assessing editorial quality. Using these parameters, we carried out three separate journal rankings and found that the correlation between the Latindex ranking and either of the former is not statistically distinct from zero. The suitability of applying editorial- rather than citation-based criteria to evaluate the quality of psychology journals is discussed. This discussion proposes using a mix of editorial criteria such as circulation, international reach and the journal’s manuscript review process and editorial policies.

Introducción

Un aspecto fundamental en la valoración de la actividad científica de un investigador o una institución es la calidad de los trabajos en los que se concreta dicha actividad. Resulta razonable pensar que una revista prestigiosa sólo publicará artículos de calidad, aunque en parte sean éstos los que le dan prestigio a la revista (Sternberg, 2001). Por tanto, en la práctica es frecuente evaluar la calidad de un artículo científico a partir de la calidad de la revista en que se ha publicado. Sin embargo, entre la comunidad científica no existe mucho consenso acerca de cómo evaluar esta calidad (Buela-Casal, Carretero-Dios y Santos-Roig, 2002). Distintos autores han utilizado criterios diferentes para aproximarse a la evaluación de las publicaciones científicas, de modo que resulta arriesgado hacer afirmaciones en este sentido basándonos en cualquiera de ellos (Carbonell y Calvó, 2009; Carretero-Dios, Santos-Roig y Buela-Casal, 2005).

En la actualidad el criterio más utilizado para evaluar la calidad de la actividad científica es el factor de impacto (fi). A modo de ejemplo, en España la Agencia Nacional de Evaluación de la Calidad y Acreditación (aneca) indica que los “indicios de calidad” de las publicaciones que incluyamos en nuestro curriculum investigador vendrán dados fundamentalmente por el factor de impacto (aneca, 2008), publicado anualmente por el Journal Citation Reports (jcr) del Institute for Scientific Information (isi). El FI se calcula dividiendo el total de citas que reciben en un año determinado los artículos publicados en una revista durante los dos años anteriores, entre el total de artículos citables publicados por la revista en esos dos años, por lo que nos proporciona el promedio de citas que recibe cada artículo de la revista. Por ejemplo, el FI de la revista Annual Review of Psychology para el año 2011 es de 16.833. Este índice representa el número medio de citas que han recibido durante 2011 los artículos publicados en esa revista en 2009 y 2010. Si consideramos que la calidad de un artículo puede reflejarse en el número de citas que recibe, entonces una revista que publica artículos de calidad recibirá muchas citas y tendrá un elevado FI (Garfield, 2003). Sin embargo, esto no siempre es así. Un elevado FI no implica que todos los artículos de una revista determinada tengan una alta calidad. Así, en los volúmenes de 2009 y 2010 de Annual Review of Psychology seguramente podamos encontrar artículos que durante 2011 han recibido un número de citas muy superior a 16, mientras que otros quizá apenas han recibido citas. Otro factor que afecta al FI y que tiene poco que ver con la calidad es el hecho de que los contenidos de esta revista son artículos de revisión, que como es sabido son citados en mayor medida que los artículos originales de investigación. Por otro lado, es espera-ble que las revistas cuyo idioma de publicación es el inglés tengan un mayor número de lectores, lo que probablemente llevará a recibir un elevado número de citas y, por tanto, a obtener un mayor FI. Por razones parecidas, dada la escasez de revistas del ámbito iberoamericano que el ISI tiene en cuenta para el recuento de citas, muchas de las citas que reciben los artículos publicados en revistas de este ámbito no son computadas para calcular su FI. Concretamente, como puede observarse en la Tabla 1, del total de revistas fuente del Science Citation Index sólo un 3.05 % son revistas iberoamericanas. En el caso del Social Science Citation Index y del Arts & Humanities Citation Index estos porcentajes son de 3.97 y de 5.4 respectivamente. La Tabla 1 presenta además el número y porcentaje de revistas iberoamericanas que el ISI emplea como fuente en función del país de publicación.

Tabla 1.

Representatividad de las revistas del ámbito Iberoamericano utilizadas en este estudio en las revistas fuente empleadas por las bases de datos del Journal Citation Reports para el recuento de citas en 2011. Núm. hace referencia al número de revistas de un país determinado consideradas como fuente; % es el porcentaje que representa ese número de revistas del total de revistas fuente.

Base de datos	País	Núm.	%
Science Citation Index	Argentina	14	0.17
	Brasil	93	1.12
	Chile	23	0.28
	Colombia	12	0.14
	España	78	0.94
	México	27	0.33
	Portugal	6	0.07
	Total	253	3.05
Social Science Citation Index	Argentina	3	0.10
	Brasil	24	0.82
	Chile	15	0.51
	Colombia	7	0.24
	España	54	1.83
	México	13	0.44
	Portugal	1	0.03
	Total	117	3.97
Arts & Humanities Citation Index	Argentina	1	0.06
	Brasil	14	0.83
	Chile	15	0.89
	Colombia	3	0.18
	España	53	3.14
	México	3	0.18
	Portugal	2	0.12
	Total	91	5.4

El Índice de Impacto de las Revistas Españolas de Ciencias Sociales (inr-ecs) viene a solventar al menos el problema de la representatividad de las revistas españolas en el ISI, ya que en el área de psicología se toma como revistas fuente para el cálculo de su índice de impacto 28 publicaciones españolas de psicología (in-recs, 2010). Por su parte, el indicador SJR (scimago Journal & Country Rank) toma como revistas fuente para el recuento de citas aquellas indizadas en la base de datos SCOPUS y además tiene en cuenta la relevancia de las revistas que realizan las citas, de modo que tienen más peso las citas que proceden de revistas relevantes que aquellas que vienen de revistas de menor relevancia (González-Pereira, Guerrero-Bote y Moya-Anegón, 2010; SCImago, 2007). Por último, el índice h refleja el número de artículos publicados que tienen al menos h citas. Para su cálculo se ordenan los artículos publicados por un autor o una revista científica en orden decreciente de citas y se toma como índice h el número de orden (rango) del primer artículo cuyo número de citas es mayor o igual que su rango. Así, si una revista científica tiene un índice h de 60 para 2011, significa que ha publicado ese año 60 artículos que han recibido al menos 60 citas (Braun, Glänzel y Schubert, 2006; Hirsch, 2005). Aunque se basa igualmente en el recuento de citas, este índice evita el sesgo que producen los artículos altamente citados y los que no reciben ninguna cita en el FI. No obstante, cualquiera de estos índices por sí solo resulta tan inapropiado para evaluar la calidad de una revista como el empleado por el ISI.

Por estas y otras razones cada vez son más numerosos los estudios que ponen de manifiesto la inconveniencia del uso aislado del fi para evaluar la calidad de la actividad científica y, más específicamente, de las publicaciones científicas (Aleixandre-Benavent, Valderrama-Zurián y González-Alcaide, 2007; Bordons, Fernández y Gómez, 2002; Buela-Casal, 2001, 2003; Camí, 1997; Seglen, 1997). Actualmente podemos encontrar distintas aproximaciones a la evaluación de la calidad de las revistas científicas ajenas al recuento de citas, como las centradas en el proceso de revisión (Coslado, Lacunza y Ros, 2011), las evaluaciones que utilizan juicios emitidos por expertos o por pares (Alcain y Román, 2005; Carretero-Dios et al., 2005; López, Valcárcel y Barbancho, 2005) o aquellas que combinan varios criterios, como dice (Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas, 2011), erih (European Reference Index for the Humanities, 2011) o resh (Revistas Españolas de Ciencias Sociales y Humanidades, 2012). En este apartado podemos incluir también a Latindex, un sistema de información sobre las revistas de investigación científica editadas en los países de América Latina, el Caribe, España y Portugal cuyo directorio ofrece datos bibliográficos y de contacto de todas las revistas registradas, y cuyo catálogo incluye sólo las revistas que cumplen los criterios de calidad editorial diseñados por Latindex. Concretamente este sistema incluye 33 criterios de calidad para revistas impresas y 36 para revistas en línea. De esos criterios podríamos destacar cuatro como especialmente relacionados con la calidad científica de las publicaciones: Contenido (criterio 2), Sistema de arbitraje (criterio 20), Evaluadores externos (criterio 21) y Autores externos (criterio 22). La evaluación realizada por Latindex es considerada por otros sistemas de evaluación de publicaciones científicas. Por ejemplo, en Españadice y resh aplican como criterio de calidad el número de criterios Latindex que cumple la revista. Es lógico pensar que una revista que cumple todos estos criterios tendrá mayor calidad que otra que los cumple en menor medida.

Independientemente del criterio utilizado, el objetivo de cualquier trabajo encaminado a evaluar la calidad de publicaciones científicas suele ser confeccionar un listado en el que éstas aparezcan clasificadas en función de su calidad o su relevancia (Alcain y Román, 2005; Cangas, Pérez y Gázquez, 2006; dice, 2011; erih, 2011; Gámez, 2011; resh, 2012). Dada la relevancia que estas clasificaciones tienen en la toma de decisiones tan importantes como las relativas a la acreditación del personal docente e investigador de las universidades españolas, la contratación de profesorado universitario o la concesión de un proyecto de investigación por parte de una administración pública, podríamos esperar que cualquiera de ellas ordenara de forma similar las revistas evaluadas.

Esto es, pese a que el FI, el índice h y los criterios Latindex son indicadores de distinta naturaleza, deberían de llevar a tomar decisiones parecidas acerca de la calidad de una publicación científica. Si una revista es considerada de alta calidad en función de las citas que reciben sus artículos, también debería de serlo en función de criterios relacionados más directamente con su calidad editorial y científica. Para comprobar si esto era realmente así en las publicaciones científicas de psicología, se evaluó en qué medida correlacionaban tres clasificaciones de un grupo de revistas de esta disciplina, realizadas con sendos índices: el FI del ISI correspondiente a 2011, el índice h de cada revista en 2011 y los criterios de calidad recogidos en el catálogo Latindex.

Método

Muestra

Para conformar la muestra utilizada en este trabajo se partió de las revistas impresas de psicología incluidas en el catálogo Latindex que aparecen al mismo tiempo en el Journal Citation Report. De esta forma, la muestra final estuvo compuesta por las 19 revistas que aparecen en la Tabla 2.

Tabla 2.

Clasificación de las revistas de psicología empleadas en este estudio en función de su factor de impacto (Journal Citation Reports de 2011). Se presenta además el país de edición, el índice h, la puntuación obtenida en función del grado de cumplimiento de los criterios del catálogo Latindex(Punt. Latindex) y el orden que ocupa cada revista con base en estos aspectos (Rango Fl, Rango h y Rango Latindex).

Título de la revista	País	Fi	índice h	Punt. Latindex	Rango Fl	Rango h	Rango latindex
International Journal of Clinical and Health Psychology	España	2.787	4	1	1	1	5
Revista de Psicodidáctica	España	2.667	3	1	2	3.5	5
Psicothema	España	1.016	3	0.81	3	3.5	19
SpanishJournal of Psychology	España	0.740	3	0.97	4	3.5	11
Behavioral Psychology-Psicología Conductual	España	0.683	2	0.97	5	8.5	11
Revista Latinoamericana de Psicología	Colombia	0.642	2	0.94	6	8.5	13.5
European Journal of Psychology of Education	Portugal	0.612	1	0.91	7	15.5	15
Terapia Psicológica	Chile	0.609	2	1	8	8.5	5
Anales de Psicología	España	0.568	2	1	9	8.5	5
Revista de Psicología del Deporte	España	0.543	3	1	10	3.5	5
Revista de Psicología Social	España	0.500	2	1	11	8.5	5
Infancia y aprendizaje	España	0.400	1	0.97	12	15.5	11
Universitas Psychologica	Colombia	0.395	1	0.88	13	15.5	16.5
Revista Argentina de Clínica Psicológica	Argentina	0.356	1	0.88	14	15.5	16.5
Psicológica	España	0.296	2	0.85	15	8.5	18
Revista Mexicana de Psicología	México	0.286	1	0.94	16	15.5	13.5
Estudios de Psicología	España	0.275	1	1	17	15.5	5
Psicología: Reflexão e Crítica	Brasil	0.087	1	1	18	15.5	5
Revista Latinoamericana de Psicopatología Fundamental	Brasil	0.035	1	1	19	15.5	5

Procedimiento

Una vez construido el listado con estas 19 revistas, se consultó el FI de cada una de ellas en la edición de 2011 del JCR y se añadió en la columna correspondiente (fi). Las revistas fueron ordenadas con base en este índice y se estableció el número de orden de cada revista en función de este criterio (Rango Fl). A continuación se calculó el índice h de cada revista, para lo cual se consultaron en la Web of Science los artículos publicados por cada una en 2011, y ordenados en función del número de citas, tal y como recomiendan Braun, Glänzel y Schubert (2005). Después se estableció el rango de cada revista con base en este índice h (Rango h). Por último, se consultó el número de criterios que cada revista cumplía en el catálogo Latindex y se calculó el grado de cumplimiento de los mismos dividiendo el número de criterios cumplidos entre 33, que es, como se ha dicho, el número de criterios que Latindex establece para revistas impresas. Este dato aparece en la columna Punt. Latindex. A partir de aquí establecimos el rango de cada revista en función de esta puntuación (Rango Latindex). A las puntuaciones idénticas se les asignó como rango el promedio de los rangos que le hubiera correspondido a cada una de ellas en caso de no ser idénticas.

Análisis de datos

Como las variables a correlacionar están en una escala de medida ordinal, se empleó el coeficiente de correlación rho (ñ) de Spearman. Además, para comprobar en cada caso si este coeficiente de correlación era significativamente distinto de cero, se realizaron pruebas de significación en las que se fijó un criterio de rechazo p ≤ .05.

Resultados

En la Tabla 2 se presentan las 19 revistas de psicología objeto de estudio junto con sus factores de impacto, sus índices h y sus puntuaciones en los criterios Latindex, clasificadas de mayor a menor impacto. También se incluye en la tabla el número de orden de cada revista con base en cada uno de estos tres criterios. Si estas revistas quedaran clasificadas de forma similar independientemente del criterio empleado, los rangos correspondientes a esos criterios serían similares. Un simple vistazo a las columnas relativas a estos rangos nos servirá para comprobar que esto no es así, sobre todo en el caso del Rango Latindex.

Esta percepción se ve claramente apoyada por los análisis estadísticos realizados. Así, el coeficiente de correlación de Spearman entre las variables Rango FI y Rango h es de 0.791, p < .000. Que el p-valor de la prueba de significación sea de 0.000, y por tanto menor de 0.05, que es el valor fijado como criterio de rechazo, nos permite afirmar que el valor del coeficiente de correlación rho es significativamente distinto de cero. Por tanto, los rangos correspondientes al FI y al índice h se encuentran correlacionados positivamente, lo que nos lleva a afirmar que estos dos criterios producirán clasificaciones similares de revistas científicas. Sin embargo, el valor de rho para las variables Rango FI y Rango Latindex es de -0.036, p = 0.883, lo que significa que dos clasificaciones realizadas por estos dos criterios serán completamente independientes. Lo mismo ocurre con las variables Rango h y Rango Latindex, cuyo coeficiente de correlación es de 0.178, p = 0.467.

Discusión

Recordemos en primer lugar que el objetivo de este trabajo era comprobar el grado en que dos criterios basados en el recuento de citas, como el FI y el índice h, y otro criterio más relacionado con la calidad científica y editorial, como Latindex, ordenan de forma similar un conjunto de revistas científicas. Tras utilizar estos tres criterios para confeccionar sendas clasificaciones de una serie de revistas encontramos que la correlación entre las clasificaciones basadas en el recuento de citas y la basada en los criterios Latindex no era significativamente distinta de cero. Es decir, el FI y el índice h llevaron a clasificaciones similares, mientras que no existía ninguna relación entre las obtenidas usando el FI o el índice h y la producida por los criterios Latindex. Es conveniente insistir en que no se ha evaluado la relación existente entre los valores de estos tres índices, sino entre las clasificaciones a que da lugar cada uno de ellos.

Si observamos los primeros puestos de la Tabla 2 veremos que International Journal of Clinical and Health Psychology, que ocupa la primera posición de la clasificación realizada en función del FI, también se sitúa en los primeros puestos en las otras clasificaciones. Algo parecido ocurre con Revista de Psicodidáctica. Sin embargo, resulta llamativo que Psicothema ocupe la tercera posición FI y descienda al último puesto en la clasificación Latindex. Esto significa que si nos centramos en criterios como los recogidos en Latindex, esta revista es la que menos calidad tiene de las revisadas en este estudio, mientras que si atendemos a su impacto debemos concluir que es de las de mayor calidad. Y decimos calidad porque aunque el FI haga referencia específicamente al promedio de citas que ha recibido una revista en un año determinado, en gran medida se emplea como criterio de calidad de las publicaciones científicas, como ya se apuntó en la introducción. Siendo esto así, al autor de un artículo publicado en Psicothema claramente le conviene que las decisiones que se vayan a tomar sobre la calidad de su publicación se tomen con base en el impacto de la revista. Sin embargo, para el autor de un artículo publicado en Revista Latinoamericana de Psicopatología Fundamental esto no es así, puesto que aunque ocupa una de las primeras posiciones en la clasificación Latindex, con la misma puntuación que Journal of Clinical and Health Psychology, baja hasta el último puesto de la clasificación FI. Podemos encontrar una disparidad similar en la clasificación de Psicológica, situada en la primera mitad de la tabla con base en su índice h y en penúltimo lugar de la clasificación Latindex.

Conclusión

En un estudio reciente en el que se evaluó la correlación que existe entre las clasificaciones de una serie de publicaciones científicas pertenecientes a distintas áreas, realizadas con base en distintos indicadores, Torres-Salinas y Jiménez-Contreras (2010) concluyen que una correlación elevada muestra que estos indicadores generan clasificaciones similares, es decir, tienen un funcionamiento similar a la hora de ordenar las revistas y por tanto son intercambiables. Con los datos de nuestro estudio parece que los criterios basados en el recuento de citas no miden de la misma forma la calidad de las revistas científicas de psicología del ámbito iberoamericano que otros criterios centrados más directamente en la calidad del proceso editorial. Esto es, estos índices no son intercambiables, unos y otros no proporcionan la misma información. Por tanto, parece poco acertado tomar decisiones referentes a la evaluación de profesores, investigadores o instituciones basándonos en el fi, por ejemplo, tal y como se viene haciendo en los últimos años (aneca, 2008). Resulta paradójico que la comunidad científica no tenga una herramienta fiable para evaluar su propia actividad.

Considerando las limitaciones del fi para evaluar la calidad de las publicaciones científicas, parece conveniente disponer de criterios más integrado-res que no se basen exclusivamente en el mero recuento de citas. De esta forma podremos evaluar la calidad de una revista basándonos en la revista en sí misma y en su proceso editorial, sin tener en cuenta exclusivamente las citas que puedan haber recibido los artículos publicados en ella. Aun asumiendo que el número de citas recibidas pueda ser un indicador de calidad, el impacto de una revista en un año determinado nos da una idea de la calidad de esa revista durante los dos años anteriores, pero no nos dice nada acerca de su calidad actual y mucho menos de la futura. En cambio, si nos centramos en criterios como el proceso de revisión de los manuscritos, la difusión, la internacionalidad o la política editorial de la revista para determinar su calidad, como ya realizan bases de datos como dice, incluso en combinación con un índice de impacto, como hace resh, podremos tomar decisiones más fiables acerca de, por ejemplo, qué revistas elegir para intentar publicar nuestros trabajos. En este caso será conveniente comprobar que tales criterios lleven a resultados parecidos en la evaluación de la calidad de las revistas científicas de psicología, para lo que se requerirá investigación adicional similar a la que se ha presentado en este trabajo.