Factor de impacto agregado según campos científicos

Resumen

Los indicadores de impacto de revistas no son comparables entre campos científicos debido a las diferencias significativas en los hábitos de publicación y citación. Una descomposición del factor de impacto agregado muestra, para los 22 campos y cuatro áreas consideradas en las bases de datos del principal proveedor de indicadores científicos (Thomson Reuters), que existen cinco variables que en mayor medida explican la varianza del factor de impacto de un campo. Por ello es necesario tener en cuenta estas fuentes de variación en el proceso de normalización de los indicadores de impacto. Para localizar las fuentes de la varianza se emplea un Análisis de componentes principales y para detectar las semejanzas se utiliza un Análisis clúster.

Abstract

Science journal impact indicators are not comparable because of inherent differences in publication and citation behaviors from field to field. A breakdown of the field aggregate impact factor of databases shows that for the 22 fields and four areas considered by Thomson Reuters, the leading provider of science indicators, five variables largely explain variance in impact factor of a given field. Therefore, it is necessary to consider all these sources of variance in the standardization process of the impact indicators. A Principal Component Analysis is employed to find the sources of the variance and a Cluster Analysis is used to detect similarities.

Introducción

El Factor de Impacto (Fl) publicado en el Journal Citation Reports (JCR) por Thomson Reuters se define como el número de las referencias promedio que recibe una revista en un año determinado de los ‘ítems citables’ publicados en esa revista durante los dos años previos. Desde su presentación (Garfield, 1972), el FI ha sido criticado por algunas decisiones arbitrarias en su formulación. En la literatura se han discutido aspectos como la definición de ítems citables (artículos, revisiones, actas de congresos y cartas), y el hecho de centrarse en los dos años precedentes como parte representativa del frente de investigación, etc. (Bensman, 2007), y han sido sugeridas numerosas modificaciones (Althouse et al. 2009; Bornmann y Daniel, 2008; Dorta-González y Dorta-González, 2013a, b).

El origen del problema de comparar revistas de diferentes campos científicos proviene de la evaluación institucional (Leydesdorff y Opthof, 2010; Opthof y Leydesdorff, 2010; Van Raan et al, 2010). La distribución de citas varía según los campos científicos y, en algunos casos, dentro de las propias especialidades de los campos (Dorta-González y Dorta-González, 2010, 2011a, b). Sin embargo, los centros de investigación están integrados por investigadores de disciplinas muy diversas y tienen con frecuencia entre sus misiones el objetivo de integrar grupos multidisciplinares (Leydesdorff y Ra-fols, 2011; Wagner et al, 2011).

La mayoría de los trabajos sobre clasificación de revistas en campos científicos se han centrado en la correlación entre los patrones de citación (Leydesdorff, 2006; Rosvall y Bergstrom, 2008). Índices como el JCR Subject Category List clasifican las revistas en diferentes grupos (Pudovkin y Garfield, 2002; Rafols y Leydesdorff, 2009). En este sentido, Egghe y Rousseau (2002) definen el Relative Impact Factor de forma similar al FI, agregando todas las revistas de una categoría como una única meta-revista. Este indicador se denomina Aggregate Impact Factor en el JCR.

Existen algunos patrones estadísticos propios de los campos. Garfield (1979a, b) propone el término potencial de citación, con base en el número de referencias promedio, para justificar las diferencias sistemáticas entre campos científicos. Por ejemplo, en biomedicina son comunes los listados con más de 50 referencias, mientras que en matemáticas lo frecuente es incluir menos de 20 referencias. Estas diferencias se deben a las distintas culturas de citación y afectan significativamente al FI debido a que condicionan la probabilidad de ser citado. El recuento fraccional corrige estas diferencias basándose en las fuentes de las citas (Leydesdorff y Bornmann, 2011; Moed, 2010; Zitt y Small, 2008). Así, una cita de un artículo citante que contiene n referencias cuenta 1/n en el caso del recuento fraccional, mientras que vale 1 en el caso del recuento entero.

Otra fuente importante de varianza entre los campos es el canal de difusión que muestra los resultados de la actividad investigadora. Por ejemplo, los investigadores de ciencias sociales y humanidades publican más en libros que en revistas, y los investigadores de ciencias de la computación publican más en actas de congresos que en artículos de revistas. Las diferencias entre los campos se deben principalmente a la proporción de referencias del JCR frente a otras como libros, revistas no incluidas en el JCR, etc. (Althouse et al, 2009).

El objetivo de este trabajo es identificar las fuentes de varianza de acuerdo con los campos científicos. La identificación de estas fuentes es fundamental a la hora de implementar indicadores bibliométricos normalizados y ajustados a las particularidades de cada campo. Además de las variables estudiadas en la literatura (el número de referencias promedio y la proporción de referencias en el JCR, en este trabajo se consideran tres nuevas variables: el índice de crecimiento del campo, la proporción de referencias del JCR en la ventana de citas y la proporción entre los ítems citados y los citantes. Se presenta una descomposición del factor de impacto en estas cinco fuentes principales de varianza para todos los campos y áreas científicas considerados en las bases de datos de Thomson Reuters.

Descomposición del factor de impacto en sus componentes

El impacto de una revista es una medida del número de veces que los artículos de cierto periodo censal citan artículos publicados durante una ventana de citación previa. El Factor de Impacto (FI) de una revista proporcionado por Thomson Reuters utiliza un periodo censal de un año y una ventana de citación de dos años.

El Factor de Impacto Agregado (FIA) de un campo se obtiene al considerar todas las revistas de dicho campo como un todo. Como un promedio, el cálculo del FIA depende de dos elementos: el numerador es el número de citas en el año actual sobre cualquiera de los ítems publicados en las revistas del campo en los dos años previos, y el denominador es el número de ítems citables publicados en esos dos años. Los ítems publicados incluyen los ítems citables (artículos, revisiones, actas de congresos y cartas), pero también correcciones, editoriales y noticias, entre otros.

Es factible comprobar que el factor de impacto agregado del campo F en el año t se puede descomponer de la siguiente manera:

donde atF es un indicador del crecimiento del campo y rtF⋅ptF⋅wtF⋅btF, son cuatro indicadores del hábito de citación en dicho campo. Estas variables se definen en la Tabla 1.

Tabla 1.

Variables empleadas en la descomposición del factor de Impacto.

Notación	Definición	Descripción
atF	Ratio de crecimiento.	Cociente entre los ítems citables en el año ty aquellos que aparecen en la ventana de citación.
rtF	Número de referencias promedio.	Cociente entre el número total de referencias y el número total de ítems citables.
ptF	Proporción de referencias del JCR	Cociente entre el número total de referencias a revistas del JCR (excluidos documentos de trabajo, actas, libros y revistas no indexadas) y el total de referencias.
wtF	Proporción de referencias del JCR en la ventana de citación.	Cociente entre el total de referencias del JCR en la ventana de citación y el total de referencias del propio JCR.
btF	Proporción entre ítems citados y citantes en la ventana de citación.	Cociente entre el total de citas recibidas y el de citas realizadas dentro de la ventana de citación.

El crecimiento de un campo se puede deber a dos razones principales, la incorporación de nuevas revistas y la publicación de ítems adicionales en las revistas ya incluidas. No obstante, un campo también puede decrecer. Téngase en cuenta que atF=0.5 cuando coincide el número de ítems citables en los años t, t-1, t-2. Si atF>0.5, se produce un crecimiento del campo con respecto al número de ítems citables. En otro caso, atF>0.5, se produce un decrecimiento.

Aunque la mayoría de las citas a una revista proceden de revistas del mismo campo, algunas otras provienen de revistas de otros campos. Cuando btF>1, las citas recibidas por el campo F son mayores que las producidas en ese campo. En otro caso, btF<1, las citas recibidas en el campo F son menores que las producidas en ese campo. Este indicador es, por tanto, una medida del intercambio de citas entre campos. Por ejemplo, si btF=1.1, el campo F recibe un 10 % más de citas de las que produce.

El resto de las variables son proporciones. Por ejemplo, si ptF=0.5, la mitad de las referencias son ítems JCR, y si wtF=0.25, una cuarta parte de las referencias JCR pertenecen a la ventana de citación.

Materiales y métodos

Los datos bibliométricos se obtuvieron de la versión en línea del Journal Citation Reports (JCR) durante la primera semana de octubre de 2011 (t=2010). La base de datos del JCR (proporcionada por Thomson Reuters, Philadelphia, USA) está disponible en la dirección www.webofknowledge.com.

Thomson Reuters asigna cada revista JCR a una o más categorías de acuerdo con sus revistas citantes y citadas (Pudovkin y Garfield, 2002). La edición de Ciencias 2010 contiene 8 073 revistas clasificadas en 174 categorías, y la edición de Ciencias Sociales 2010 contiene 2 731 revistas clasificadas en 56 categorías.

En este trabajo se consideran dos niveles de agregación de datos. El primer nivel se corresponde con los 22 campos científicos y el segundo con las cuatro áreas científicas, ambos considerados en las bases de datos de Thomson Reuters.

Las variables empleadas se describen en la Tabla 1. Respecto a los métodos utilizados, para localizar las fuentes de la varianza se emplea un Análisis de Componentes Principales y para detectar las semejanzas se utiliza un Análisis Clúster.

Resultados y discusión

La Tabla 2 muestra el Impacto Agregado y las componentes para los campos científicos de las bases de datos de Thomson Reuters. Las categorías de las revistas del JCR que constituyen cada campo aparecen en el Anexo 1 junto al FIA de la categoría y al porcentaje obtenido dentro del campo. El FIA de Ciencias es 2.920, un 58 % mayor que el de Ciencias Sociales (1.848).

Tabla 2.

Factor de impacto agregado y componentes para los campos científicos de las bases de datos de Thomson Reuters.

Código	Campo	Núm. categorías	Componentes del FIA
			atF	rtF	ptF	wtF	btF	FIAtF
C1	Agricultural Sciences	6	0.58	35.93	0.80	0.16	0.80	2.142
C2	Biology & Biochemistry	12	0.56	45.86	0.90	0.18	0.92	3.859
C3	Clinical Medicine	50	0.56	38.84	0.87	0.19	0.92	3.330
C4	Computer Science	9	0.54	30.22	0.63	0.21	0.72	1.529
C5	Chemistry	15	0.55	37.20	0.90	0.19	0.87	3.061
C6	Economics & Business	8	0.62	45.82	0.66	0.15	0.59	1.642
C7	Engineering	39	0.55	27.74	0.77	0.19	0.84	1.931
C8	Environment/ Ecology	8	0.54	44.55	0.76	0.19	0.75	2.569
C9	Geosciences	13	0.55	42.96	0.79	0.15	0.77	2.232
C10	Immunology	2	0.52	42.66	0.90	0.22	1.01	4.342
C11	Materials Science	11	0.55	30.80	0.88	0.20	0.91	2.714
C12	Mathematics	6	0.55	25.75	0.77	0.15	0.82	1.345
C13	Microbiology	5	0.56	43.25	0.90	0.19	0.91	3.638
C14	Molecular Biology & Genetics	5	0.53	51.64	0.92	0.19	1.06	5.083
C15	Multidisciplinary	1	0.58	36.81	0.84	0.21	2.55	9.747
C16	Neuroscience & Behavior	5	0.54	49.19	0.90	0.16	0.95	3.653
C17	Pharmacology & Toxicology	3	0.55	46.16	0.87	0.20	0.69	3.013
C18	Physics	11	0.52	30.21	0.90	0.19	0.97	2.617
C19	Plant & Animal Science	15	0.54	43.27	0.81	0.14	0.75	1.980
C20	Psychiatry/Psychology	17	0.55	50.28	0.79	0.15	0.83	2.663
C21	Social Sciences, general	51	0.63	44.33	0.61	0.21	0.49	1.736
C22	Space Science	1	0.47	56.59	0.78	0.24	0.92	4.621

El tamaño de los campos es muy heterogéneo, mientras que algunos están constituidos por una única categoría, otros incluyen más de 50. Los mayores impactos corresponden a C15 (9.747, Multidisciplinary), C14 (5.083, Molecular Biology & Genetics) y C22 (4.621, Space Science). Los menores impactos se alcanzan en C12 (1.345, Mathematics), C4 (1.529, Computer Science) y C6 (1.642, Economics & Business).

Los campos de mayor crecimiento son C21 (0.63, Social Sciences, general) y C6 (0.62, Economics & Business). Esto se debe a la importante incorporación de revistas en algunas de sus categorías en los últimos años. El único que reduce su tamaño, con un ratio por debajo del 0.5, es C22 (0.47, Space Science).

Las mayores referencias promedio se producen en C22 (56.59, Space Science) y C14 (51.64, Molecular Biology & Genetics). Los menores promedios se obtienen en C12 (25.75, Mathematics) y C7 (27.74, Engineering). La mayor proporción de referencias JCR se alcanza en C14 (0.92, Molecular Biology & Genetics) y las menores en C21 (0.61, Social Sciences, general), C4 (0.63, Computer Science) y C6 (0.66, Economics & Business). La mayor proporción de ítems del JCR en la ventana de citación se alcanza en C22 (0.24, Space Science), y la menor en C19 (0.14, Plant & Animal Science). Los mayores ratios entre ítems citados y citantes se obtienen en C15 (2.55, Multidisciplinary) y C14 (1.06, Molecular Biology & Genetics). Los menores ratios corresponden a C21 (0.49, Social Sciences, general) y C6 (0.59, Economics & Business).

Un Análisis Clúster ha determinado que C15 (Multidisciplinary) presenta componentes significativamente diferentes al resto, por lo que no puede ser agrupado junto a ningún otro campo. Los campos C6 (Economics & Business) y C21 (Social Sciences, general) comparten un primer clúster mientras que los restantes 19 campos estarían asignados a un segundo clúster.

La Tabla 3y laFigura 1 muestran las componentes para las áreas científicas. El área con mayor impacto agregado es Life Sciences & Biomedicine. La componente más determinante sobre este valor es el número de referencias promedio. Las Social Sciences tienen el menor impacto agregado a pesar de contar con los mayores crecimientos y referencias promedio. Su bajo impacto viene justificado por la pequeña proporción de referencias del JCR y el ratio entre ítems citados y citantes. Technology tiene el segundo impacto agregado más pequeño a pesar de contar con la mayor proporción de ítems del JCR en la ventana de citación.

Tabla 3.

Factor de impacto agregado y componentes para las áreas científicas de las bases de datos de Thomson Reuters.

Área	Campos	Componerites del FlA
		atF	rtF	ptF	wtF	btF	FIAtF
Life Sciences & Biomedicine	C1,C2,C3,C8,C10,C13,C14,C16,C17,C19	0.55	42.80	0.87	0.18	0.90	3.391
Physical Sciences	C5,C9,C12,C18,C22	0.54	34.97	0.87	0.18	0.88	2.667
Technology	C4,C7,C11	0.55	28.66	0.78	0.20	0.85	2.058
Social Sciences	C6,C20,C21	0.60	46.15	0.67	0.18	0.60	2.001

Figura 1.

Componentes del factor de impacto agregado de las áreas Thomson Reuters,

El Anexo 1 muestra las categorías de revistas del JCR que constituyen cada campo junto al impacto agregado de la categoría y su porcentaje dentro de todo el campo. El impacto en Ciencias es un 58 % mayor que en Ciencias Sociales. Esto se debe a que, a pesar de que en promedio existe un 30 % más de referencias en los artículos de Ciencias Sociales, una parte importante de éstas son ítems no incluidos en el JCR. En concreto, un 40 % de las referencias en Ciencias Sociales son libros y revistas no indexadas en el JCR, mientras que en Ciencias este porcentaje es sólo del 20 %.

La varianza del impacto es grande dentro de cada edición. En Ciencias, las categorías con mayor impacto están relacionadas con la biomedicina, mientras que los menores impactos se obtienen en ingeniería y matemáticas. Con respecto a Ciencias Sociales, las categorías con mayor impacto corresponden a psicología y economía, mientras que los menores impactos se obtienen en categorías relacionadas con la historia.

Un Análisis de Componentes Principales ha determinado que la mayor parte de la varianza del impacto en Ciencias se explica con tres componentes principales: la proporción de referencia del JCR, la proporción de referencias del JCR en la ventana de citación y el crecimiento del propio campo. Por otro lado, en Ciencias Sociales la mayor parte de la varianza se explica con sólo dos componentes principales: la proporción de referencias del JCR en la ventana de citación y el ratio entre ítems citados y citantes. Las componentes principales son diferentes dependiendo de la edición del JCR. Esto es debido a que las Ciencias Sociales incluyen disciplinas tan heterogéneas en sus hábitos de publicación y citación como la economía, la psicología y la historia, por ejemplo.

Un Análisis Clúster ha identificado en primer lugar dos grupos de categorías de revistas que incluyen, en general, las ciencias de la vida que tienen un componente social más importante, y aquellas ciencias sociales que usan en mayor medida métodos matemáticos (psicología, economía y empresa). Sin embargo, existen importantes diferencias entre estos dos grupos. Un tercer grupo contiene aquellas áreas de ciencias sociales que usan en menor medida los métodos matemáticos (educación, sociología, lengua y derecho). Finalmente, un cuarto grupo incluye a las ciencias físicas y las de la vida (matemáticas, física, química, ingeniería y biomedicina).

Conclusiones

Los indicadores de impacto de las revistas no son comparables entre campos científicos debido a diferencias sistemáticas en los hábitos de publicación y citación. El objetivo de este trabajo es identificar las fuentes de varianza basándose en campos científicos. La identificación de dichas fuentes es fundamental a la hora de llevar a la práctica los indicadores bibliométricos normalizados y ajustados a las particularidades de cada campo.

Se presenta aquí una descomposición del factor de impacto en cinco fuentes principales de varianza. Además de las variables identificadas en la literatura (el número de referencias promedio y la proporción de las referencias del JCR), en este trabajo se constatan tres nuevas fuentes de varianza: el índice de crecimiento del campo, la proporción de referencias del JCR en la ventana de citación y la proporción entre ítems citados y citantes. Por tanto, es necesario considerar también estas nuevas variables cuando se quieren normalizar los factores de impacto y no sólo las dos variables que se han propuesto en la literatura.