La perspectiva socio-hermenéutica en la evaluación del trabajo científico en España

Resumen

La intención de este trabajo es analizar la evaluación del trabajo científico a través de las publicaciones científicas. La calidad de un trabajo o artículo no depende exclusivamente del número de citas y del lugar de publicación. Hay otros aspectos cualitativos que le confieren dicha calidad a un texto, especialmente a su contenido. Este artículo pretende hacer una aproximación socio-hermenéutica sobre la evaluación y valoración del trabajo científico. Esto se hará a través del análisis cualitativo de los textos y del establecimiento de unas pautas sobre corrección sobre problemas existentes.

Abstract

Socio-hermeneutical perspective in the assessment of the scientific work in Spain

Jesús A. Valero-Matas, Elena Jiménez-García and Juan R.-Coca

By examining scientific journals, this paper attempts an analysis of how scientific articles are evaluated. The quality of a piece of science is not solely a function of the number of references it boasts or a given journal’s reputation. There are other qualitative aspects that confer quality to a text, not the least of which is content. By means of a qualitative analysis of texts, the author offers a socio-hermeneutic approach to the evaluation of a scientific writing, in order to posit guidelines for solving correction problems.

A modo de introducción: la evaluación por pares

Generalmente la evaluación de los trabajos y proyectos de investigación se centran en un examen humano por medio de la revisión por pares (peer review) o por medio del sistema de arbitraje (Refereeing System). Estas modalidades de evaluación no son nuevas, pues ya en el siglo XVIII The Royal Society (1753) puso en escena la revisión por pares como mecanismo de evaluación a la hora de publicar en la revista The Philosophical Transaction of the Royal Society (Hernon y Schwartz, 2006).

Tanto la revisión por pares como el sistema de arbitraje son un proceso que se inicia cuando un investigador somete un trabajo para su publicación en una revista científica o presenta un proyecto de investigación para ser subvencionado por una institución u organismo público o privado. Es entonces cuando se pone en funcionamiento uno u otro procedimiento con el objeto de conferir una calidad a la publicación o al proyecto evaluado.

Este sistema, que hoy anida en todas o casi todas las revistas consideradas de calidad científica, emplea estos procesos de evaluación, aunque no siempre ha sido así. Por ejemplo a principios de la pasada centuria, científicos como Einstein publicaron sus artículos, muchos de los cuales eran tan novedosos que se consideraron dañinos a la ciencia, ya que no habían pasado por estos sistemas de control de calidad, únicamente por los criterios del editor o co-editor. No obstante, con la intención de conferirles una mayor exigencia a los trabajos o a los proyectos, las revistas y organismos optaron por establecer un procedimiento selectivo que podría ser universal y lo más objetivo posible, y establecieron la revisión por pares a mediados del siglo pasado en la mayoría de las revistas norteamericanas.

Dicho modelo (establecido como el más objetivo en el proceso de concederle a un trabajo o proyecto de investigación su objetividad y calidad) presenta en la actualidad diversos problemas que hacen que se pongan en cuestión su objetividad y calidad. De hecho en un artículo clásico sobre el tema Seglen muestra que el factor de impacto de una revista no puede extenderse a todos los trabajos de ésta, ya que el factor de impacto es una medida que se aparta de la normal (Seglen, 1997). Además, según Moed y Van Leeuwen (1995), el índice de impacto de las revistas más prestigiosas está sobrevalorado.

Realizando un análisis hermenéutico de los artículos publicados en revistas sociológicas se puede concluir que dicho procedimiento se mantiene para un sector importante de investigadores, mientras que para otro no rige dicha actitud de calidad. La razón de esta exención se debe a cuestiones que trataremos más adelante.

Material y método

Para la realización del presente trabajo hemos seleccionado cuatro artículos de cada una de las revistas que indicaremos más adelante. La mitad de los trabajos seleccionados eran de autores consolidados y por tanto no fueron seleccionados aleatoriamente, mientras que la otra mitad la compusieron un conjunto de trabajos de autores poco conocidos y elegidos aleatoriamente. A su vez, el número de revistas revisadas ascendió a un total de 20 y son las siguientes: American Journal of Sociology, British Journal of Sociology, Current Sociology, Dados, European Journal of Sociology, Human Studies, International Sociology, International Social Science Journal, Journal of Sociology, Media Culture and Society, Minerva, Race and Class, Revista Internacional de Sociología, Revista Española de Investigaciones Sociológicas, Revista Mexicana de Sociología, Perfiles L atinoame-ricanos, Social Epistemology, Society, Sociology and Theory and Society.

Se revisaron un total de 80 artículos: 40 de personas de reputación consolidada y otros 40 de personas no consolidadas en su reputación y con una carrera de investigación incipiente. Para la evaluación de estos textos publicados hemos empleado sólo cuatro criterios cualitativos que usualmente son empleados en los informes de evaluación de los evaluadores externos de las publicaciones científicas y que son los siguientes: innovación (es decir desarrollo de textos novedosos), actualidad bibliográfica (referida a textos de reciente publicación), precisión de la información y, por último, justificación del contenido del artículo.

El análisis de estos materiales de trabajo se realizó gracias a una metodología cualitativa: la hermenéutica. Esta metodología ha pasado de ser un conjunto de reglas de interpretación de textos bíblicos (fundamental en el medioevo) a convertirse en un método crítico de comprensión social, pasando por un nuevo sistema filosófico. Como es obvio en este trabajo sólo nos interesa la aplicación de la hermenéutica para comprender la elaboración de las publicaciones científicas sociológicas. Dicha comprensión la obtendremos yendo a una hermenéutica crítica, de vocación emancipatoria, capaz de sacar a la luz las relaciones de dominación o explotación que no son visibles (Beltrán, 2003: 215). Pues bien, como es conocido, la hermenéutica se sitúa en el polo contrario al del positivismo y de parte del racionalismo; más aún, si cabe, si nuestro objetivo de interés es el metodológico. De hecho la hermenéutica puede concebirse como un eje de (des)organización transdisciplinaria del saber en un nuevo horizonte interpretativo (Vidal, 2012: 45).

Hacia finales del siglo XIX y comienzos del XX se adoptó en Europa lo que dio en llamarse el giro lingüístico. Una de las aportaciones de este giro fue que la relación sujeto/objeto (S/O) dejó de ser concebida como directa, y en cambio comenzó a aparecer mediada por el lenguaje. Es decir que de un esquema directo de S⇒O se pasó a un esquema del tipo S⇒lenguaje (L)⇒O. Esto hace que se cambie el problema epistémico del acercamiento del sujeto al objeto de conocimiento, centrándolo en la adecuación del lenguaje epistémico con lo real (realistas), o con la realidad (constructivistas).

Este aspecto que acabamos de mencionar tiene una profunda analogía con los elementos del acto hermenéutico, que son: texto (T), autor (A) y lector (L). De ahí que el giro lingüístico (S⇒L⇒O) se identifique, en ciertos aspectos, con el giro hermenéutico (A⇒T⇒L). En este sentido es posible afirmar que el énfasis pueda ponerse en el lado del autor, en el lado del lector o bien en el del texto. En el primer polo, en el del autor, se le da prioridad al aspecto objetivo, a la intención del constructor del texto. En el lado contrario nos encontramos con el lector, con la subjetividad de la interpretación de quien se acerca al texto sin tener en cuenta al autor.

En este trabajo circunscribiremos el amplio abanico de posibilidades hermenéuticas actuales a la hermenéutica analógica desarrollada por el profesor Mauricio Beuchot (1999, 2000, 2002, 2003, 2004, 2005 y 2008). En este planteamiento el acto hermenéutico será el de análisis interpretativo de un texto (entendiendo como tal el escrito —cualquier tipo de texto—, el oral —debates, entrevistas, etc.—, el actuado —gestos, expresiones corporales, etc.—, los objetos —una escultura, una pintura, etc.—, etcétera) sin centrarnos, exclusivamente, en el autor (objetivismo), ni en el lector (subjetivismo), sino que se aplicará una estrategia intermedia balanceando la información aportada por el análisis de la interpretación más la objetivista y la subjetivista.

Pues bien, para interpretar un texto es imprescindible conocer el código (lenguaje), el autor y el destinatario. En este triángulo es posible comprender lo que me “dice” el texto tanto a mí mismo como a las personas de mi época y de mi cultura (Beuchot y Arenas-Dolz, 2008: 61). Pero no olvidemos que la hermenéutica social (y analógica en nuestro caso) servirá como herramienta crítica, de tal modo que se subrayarán los aspectos de intencionalidad, significación, comunicación e interpretación, que harán posible el desvelamiento de lo ideológico (Beltrán, 2003: 221).

En nuestro caso, tras haber realizado diversos trabajos de aplicación de la hermenéutica analógica a diversas áreas sociológicas (Coca y Valero, 2010; Coca, Valero y Randazzo, 2010; González Correa y Coca, 2011; Coca y Valero, 2012), hemos querido aplicar esta metodología al ámbito de la bibliotecología (especialmente al estudio de la mejora de calidad de las publicaciones científicas). Para ello consideraremos que los textos objeto de nuestro análisis serán los artículos publicados en las revistas previamente expuestas. Antes de continuar es necesario tener en cuenta que autores como el propio Beltrán consideran que la hermenéutica social sólo es viable a través del análisis formal de los textos escritos. No obstante, nosotros asumiremos un planteamiento más general que viene a afirmar que “texto” es aquello que ya ha sido considerado y analizado como tal. Pues bien, en este trabajo de investigación hemos entendido que el texto objeto de nuestro estudio no es tanto el contenido del propio artículo científico, sino que además de dicho contenido, el autor del mismo, la revista y el contexto serán considerados dentro de este marco.

Resultados y discusión

El análisis de las revistas antedichas se ha realizado mediante una hermenéutica analógica crítica y nos ha conducido a la consideración general de que el hecho de que un artículo se encuentre sometido a una revisión por pares no le confiere a la revista una calidad, y mucho menos al artículo publicado. Un ejemplo lo tenemos en el famoso caso Sokal (1999), donde fue publicado un artículo en una revista de gran prestigio en el ámbito de las ciencias sociales, Social Context, y posteriormente se demostró la infamia del artículo y la debilidad de la revista ante las aportaciones de una persona con prestigio académico e intelectual. En el caso de los proyectos de investigación sucede lo mismo, ya que en muchos casos se valora la figura del investigador principal en lugar del contenido del proyecto, el alcance del mismo y sus beneficios sociales y económicos.

El caso Sokal llevó a muchas revistas a fiscalizar la calidad de los trabajos de investigación, pero aun así, a nuestro juicio, se han ido cometiendo injusticias hacia investigadores con una trayectoria incipiente a favor de investigadores con una trayectoria consolidada, aun cuando los trabajos o proyectos de estos últimos no ofrecen gran aportación al conocimiento.

Esta afirmación la hemos visto refrendada en el análisis de los textos antedichos. Los trabajos de investigación científicos firmados por autores consolidados muestran a veces niveles inferiores de innovación y de actualidad bibliográfica (45% y 67,5%, respectivamente) frente a los autores no consolidados (72,5% y 77,5%). Los textos de los autores consolidados están más próximos a los artículos de revisión que a los textos científicos novedosos. De hecho es habitual comprobar cómo, una vez que un autor realiza una propuesta exitosa, realiza una serie de publicaciones reiterando e implementando su propuesta. En este proceso los niveles de reiteración son elevados y los autores tienden a resumir elementos previamente publicados reduciendo así su innovación. En cambio los autores poco consolidados tienden a realizar estudios en los que pretenden desarrollar investigaciones poco trabajadas y hacen así sus artículos más innovadores. Ello no quiere decir que exista una relación directa indefectible entre innovación y poca consolidación. En ocasiones, aunque en menor medida, se produce un bajo nivel de innovación en los autores poco consolidados puesto que ellos parecen sentir la necesidad de incorporarse a una determinada corriente de investigación para obtener así más facilidad en la publicación de sus textos. En este caso, las publicaciones de estos autores son también repetitivas y poco novedosas.

En relación con los criterios de justificación y precisión, los datos no difieren de manera notable. Estos datos pueden ser explicados de manera rápida, si afirmamos que los autores consolidados suelen tener un mayor bagaje cognoscitivo, lo que los lleva a desarrollar referencias bibliográficas de autores clásicos. Además, este mismo background epistémico limita las posibilidades innovadoras, puesto que estos autores suelen estar inmersos en sus particulares paradigmas epistémicos y tienen problemas a la hora de asumir otro tipo de propuestas gnoseológicas diferentes e incluso contrarias a sus propias perspectivas. Pero esto no tiene por qué ser un factor negativo, al contrario. Lo único que nos muestra es que los criterios que suelen ser empleados de manera habitual son insuficientes. Por esta razón nos vemos en la obligación de ahondar en los factores externos que condicionan la dificultad que tienen los principiantes (en su sentido etimológico).

La información que hemos detectado en nuestro análisis nos permite afirmar que el procedimiento de revisión de pares dista mucho de ser un método infalible, debido a que está sujeto a un potencial proceso de manipulación, a un conflicto de intereses y a conductas antiéticas por parte de autores, editores o árbitros (Hernon y Schwartz, 2011). Estos elementos poco científicos se ven incrementados cuando los textos han sido realizados por personas de alta consideración internacional. Pongamos un ejemplo. Si una publicación científica recibe un texto de un Premio Nobel y de un autor novel, como es previsible, aceptará con más facilidad al primero puesto que la publicación de personas de alto prestigio incrementa, también, el impacto y la internacionalización de la publicación. Con base en esto podemos plantearnos una serie de cuestiones respecto a la revisión por pares (Hernon y Schwartz, 2006).

• •

  ¿Los revisores pueden errar en sus juicios?

• •

  ¿Existe objetividad cuando emiten sus juicios?

• •

  ¿Están dispuestos a aceptar nuevas ideas?

• •

  ¿A pesar del arbitraje, los autores son capaces de tener malas conductas?

Desmembraremos una a una estas preguntas ya que existe en ellas una fundamentación importante que, con base en nuestro análisis, pone en tela de juicio que la revisión por pares sea el procedimiento empleado como instrumento para considerar a una revista de investigación de alta calidad.

• a)

  Si nos fijamos en los datos previos y empleamos también el sentido común (en el sentido en que lo desarrolló Alfred Schutz (1972))¹, está claro que el revisor o árbitro es un ser humano y como tal, puede errar en sus juicios, siempre y cuando esto sea de manera involuntaria y no querida o deseada. La posibilidad de error en la emisión de un juicio dependerá de la selección de la persona adecuada para revisar el texto o proyecto. En ocasiones se recurre a personas sin un conocimiento exhaustivo del tema, pero que han tenido un contacto previo con el mismo. En otras a colegas del área de conocimiento, y en otras a amigos que sirvan como elemento de haber pasado por el proceso de revisión de pares. Otras veces se valora el estilo y no el contenido del trabajo o proyecto de investigación.

• b)

  En cuanto a la objetividad en la revisión del trabajo o proyecto, se ha demostrado su inexistencia por diferentes motivos habidos en los evaluadores. Entre los comportamientos inapropiados de los evaluadores, encontramos emisión de informes falsos, o demora en la evaluación del trabajo sin ningún tipo de cuestiones formales sino con el objeto de retrasar la publicación, porque se solapa con un artículo idéntico del evaluador, por estar el árbitro trabajando en cuestiones similares, etc. En definitiva, con la finalidad de beneficiar al evaluador o colegas. Otra de las conductas inadecuadas de estas personas es la apropiación de ideas del texto objeto de evaluación. Se ha dado en ocasiones la publicación por parte de una persona de cierta posición en la vida académica de un texto con los contenidos generales de otro previamente sometido a evaluación. No sólo incurren en actos antiéticos los evaluadores; también los editores actúan de manera indigna. Entre los comportamientos poco éticos cometidos por los editores asistimos a actos fraudulentos sobre los resultados de una evaluación. Esto es, mentir sobre el autor y, en algunos casos, incluso atribuirse la autoría del trabajo. Dentro de esta actitud inapropiada está evitar las evaluaciones por pares de determinados trabajos, porque corresponden a autores con una cierta posición de prestigio en la esfera intelectual, o por ser amigos, colegas, etc., de personas cercanas a las revistas o a los responsables de las mismas. Entonces, el texto será publicado o el proyecto de investigación concedido, sin haber pasado por los procesos ordinarios, lo que está mermando la calidad de la publicación o del organismo, con el objeto de favorecer otros intereses.

• c)

  Los evaluadores están dispuestos a aceptar ideas nuevas. Este es otro de los puntos difíciles y escabrosos a la hora de evaluar. En ocasiones esas ideas que rompen el paradigma dominante, por seguir con la línea de Kuhn (1973), resultan negativos para el autor de un trabajo o proyecto de investigación. Las ideas con savia nueva son tomadas como algo snob, y esto frena la aparición de nuevas tesis que avancen en el conocimiento. Concederle cierta validez a un trabajo o proyecto novedoso implica, para una corriente determinada, perder cierto control sobre la investigación en ese campo de conocimiento y ceder parte de ese control a un nuevo grupo de investigadores. Este grupo, con el tiempo, puede llegar a tener un control absoluto de esa disciplina, y llevar a otros grupos al más absoluto ostracismo.

• d)

  Por último, están también los actos impropios de los investigadores. Éstos también son portadores de actitudes antiéticas y en ocasiones causantes de favorecer una visión negativa de la investigación. Desde la aparición de la ciencia han existido los fraudes, si bien en las últimas décadas éstos han tenido una mayor repercusión en la sociedad porque antes no trascendían a la esfera pública y se quedaban en el ámbito privado. Es posible que los evaluadores puedan eludir estos engaños de los investigadores. Una primera cuestión está en evitar el fraude en los investigadores, porque aunque son pocos, siempre existen personas que desean llegar a los anales de la historia. Sin importarles el medio, solamente buscan el fin. Como los casos del Doctor Swado, mintiendo sobre sus investigaciones sobre el tabaco, o el coreano Woo-Sukon en la investigación con células embrionarias. Emma Marris (Nature, 2006) en un informe ponía de relieve una gran cantidad de plagios, falsificaciones, manipulación de datos, fabricación de pruebas o el montaje fotográfico de experimentos en laboratorios. Es cierto que detectar dichos comportamientos inadecuados resulta carísimo y tampoco lograría del todo solventar estos actos inoportunos, porque no se podrían controlar todos y cada uno de los artículos recibidos. Sin embargo, como apunta Marris (2006: 521), la principal responsabilidad de estos comportamientos recae en la institución u organismo donde los investigadores desarrollan su actividad.

Este hecho no queda reducido a estas cuestiones, sino que aparecen otros muchos condicionantes y de vital importancia en la valoración de la calidad de un trabajo de investigación. Esto no implica que obviemos que, como cualquier procedimiento, la evaluación de artículos no es perfecta y existen muchos elementos que interfieren en ello. Por eso es necesario apoyarse básicamente en la evaluación cualitativa, pues mejora la calidad de los trabajos y es más coherente con el trabajo del investigador.

Además de lo expuesto previamente, en el análisis de las revistas antedichas, al interpretar los textos seleccionados de autores consolidados y no consolidados, comprobamos que existen ciertas diferencias de matices en el contenido de los textos. Los artículos de las personas no consolidadas suelen aportar una mayor cantidad de datos y de profundidad en el análisis. Este hecho puede provenir del condicionante que estos autores tienen a la hora de defender sus planteamientos ya que, al no tener un prestigio que avale sus datos, necesitan justificar en mayor medida sus conclusiones y aportaciones al área.

Todo ello nos permite afirmar que en las revisiones por pares se detectan múltiples irregularidades que pueden ser beneficiosas para la revista y, sin embargo, pueden ser perjudiciales para el investigador. Entre ellas destacamos:

• 1)

  El autor que somete un artículo a revisión en una revista y tiene amistad con el director o editor suele evitarse pasar por el tamiz de la evaluación.

• 2)

  En ocasiones, los directores o editores de las revistas seleccionan como revisores a amigos o colegas. Éstos pueden tener conocimiento del tema, pero en otros casos valoran otros aspectos del mismo y no su contenido, debido a su conocimiento limitado.

• 3)

  También puede ser habitual que un revisor sea menos experto que el autor del trabajo, lo que tiene sus desventajas para el autor.

• 4)

  Otro elemento significativo reside en el rechazo de trabajos porque el autor no sigue la misma corriente del evaluador, o porque el trabajo es demasiado innovador y rompe con los estándares. Y por último, la contradicción en las revisiones de trabajos. Es bastante habitual que asistamos a una evaluación positiva y otra negativa por parte de los evaluadores externos, lo que indica una falta de patrones y/o normas indicativas sobre la evaluación. No le confiere calidad a un artículo una valoración muy positiva de manos de un evaluador, mientras que otro emite un dictamen muy negativo.

Estas apreciaciones ponen en tela de juicio el modus operandi, la calidad y la credibilidad de la revisión por pares. Incluso podemos ir más lejos y afirmar que es un modo de trabajo imperfecto. Ello nos permite ponerlo en cuestión, mejorarlo e implementarlo para que de este modo pueda pervivir. Si seguimos manteniendo y defendiendo la revisión por pares como una especie de imaginario inalterable y manteniendo una confianza hipertrofiada en él, podemos llegar a generar el mayor enemigo que el propio sistema podría tener (Smith, 1994). Con esto, como es obvio, no se está desestimando o eliminando la revisión por pares, sino que se critica el proceso que no sigue un análisis cualitativo y de calidad en la revisión y posterior emisión de un juicio sobre un artículo o trabajo de investigación.

Como muestran estas cuestiones, se necesita imperiosamente dotar de mecanismos de complementación a la evaluación por pares, con la mirada puesta en lograr mayor objetividad, de manera que todas las revistas adopten unos mismos parámetros evaluativos, y éstos sean equitativos para todos los investigadores. Además se hace necesario que las partes implicadas tomen conciencia de las múltiples transformaciones y de los nuevos instrumentos en la transferencia de información especializada y también de la comunicación científica. Estas realidades están llevando a cotejar el sistema tradicional de la evaluación de pares como mecanismo exclusivo en la evaluación de trabajos o proyectos de investigación. Existe la posibilidad cierta de ampliar esta modalidad incluyendo a más personas, tal como se hace en las iniciativas de los archivos de acceso gratuito, donde muchos especialistas pueden aportar sus puntos de vista y sus críticas a los documentos depositados. En este caso los revisores son voluntarios y, por lo tanto, su selección es azarosa. Pero al mismo tiempo el proceso se vuelve transparente y auto-correctivo, porque está en línea a disposición de todos y la retroalimentación es dinámica (Harnad, 2003).

La valoración de la calidad concedida a las revista científicas

Cuando uno se detiene en la estimación concedida de calidad a las revistas, asistimos a una gran disparidad de calidades, desde las situadas en la élite de impacto y/o prestigio a las estimadas de calidad ínfima, tal y como hemos constatado en nuestro análisis hermenéutico. Estas últimas incluso pueden tener un efecto negativo en los investigadores, si publican en ellas.

Si uno realiza una revisión pormenorizada de las revistas científicas publicadas por universidades u organismos públicos o privados, observamos la existencia en las ciencias sociales aproximadamente de unas doscientas en el caso español, y no llegan a veinticinco las consideradas de calidad. ¿Cómo podemos interpretar dicha información? Básicamente, por dos elementos fundamentales. El primero, por el proceso endogámico generado por el modelo de adquisición de puntos de calidad para poder progresar en el mundo científico y académico. Es decir, se ha cerrado a un grupo reducido de revistas en las que se han canalizado los esfuerzos de mantenerlas en un nivel de calidad. Esto es muy beneficioso para focalizar unas revistas en un nivel de calidad. Sin embargo, esto no puede significar cerrarle el apoyo a otras revistas sólo con el objeto de mantener una calidad. El significado de todo esto es mermar la capacidad de desarrollo de otras publicaciones o grupos de investigación a favor de mantener un pseudonivel de calidad.

En segundo lugar, la interpretación de dicha información parece favorecer a quienes ostentan el control sea en las publicaciones o en las corrientes de investigación dominantes en el candelero de la actividad intelectual.

En el caso español asistimos a un cambio en el proceso académico investigador promovido por el llamado proceso de Bolonia. Las instituciones académicas e investigadoras están obligadas a abrir el abanico de la calidad, especialmente a las revistas e instituciones financiadoras de proyectos de investigación que quieren promover la calidad de dicha actividad en España. Pero no sólo en nuestro país, sino en todos aquellos de nuestro espacio idiomático. No se puede, o no se debe, manifestar un interés en fomentar nuestra lengua y, a la vez, declarar que las publicaciones de habla hispana son de una calidad ínfima y fomentar aquellas en lengua inglesa.

En otros términos, en una evaluación de una promoción o proyecto de investigación, supongamos que se valoran entre 1, valor mínimo, y 5, valor máximo, a las publicaciones desarrolladas por los firmantes de dicho proyecto o proceso promocional, suele ser habitual que una publicación en una revista de habla inglesa sea valorada con el valor máximo o el subsiguiente inferior, aunque su calidad pudiese dejar mucho que desear. En cambio, muchas veces con independencia de la calidad de dichas publicaciones hispanas, los artículos publicados en dichas revistas son evaluadas con los valores mínimos 1, 2 o con un máximo de 3. Este tipo de actuación tan relativamente común suele ir en detrimento de las revistas latinoamericanas. El ejemplo claro de esto lo tenemos en las Agencias de calidad de la investigación y docencia españolas, las cuales tienen como supuesto punto álgido de la calidad científica a las publicaciones periódicas indizadas en la base de datos Science Citation Index o Social Science Citation Index. Ahora no es el momento de adentrarnos en una discusión sobre la idoneidad del uso del factor de impacto desarrollado por la editorial Thompson, auspiciadora de estas bases de datos, y la consideración de éstas como cúspide de la pirámide de la calidad de las revistas científicas. Sirva el siguiente párrafo para mostrar algunos de los problemas que plantea el uso exclusivo de dicha base de datos:

SCI y SSCI tienen importantes limitaciones debidas al excesivo sesgo de cobertura a favor de las revistas norteamericanas y británicas y a la forma de calcular el factor de impacto. Se trata de fuentes que excluyen la mayor parte de las revistas que se publican en la Europa Continental y, por lo tanto, los indicadores de impacto que derivan de ellas no pueden proporcionar conclusiones válidas sobre la ciencia que se desarrolla en esta zona. Su uso en la evaluación de la investigación ha sido criticado en numerosas ocasiones, tanto entre los profesionales, que ven frustradas sus expectativas de promoción profesional, como en el periodismo científico español, que acude impotente a la exportación gratuita de la ciencia española a las revistas extranjeras, sobre todo a las angloamericanas del área de cobertura de SCI y SSCI (Aleixandre-Benavent et al., 2007: 13 ss.).

Con estos planteamientos asistimos a un xenocentrismo de nuestra actividad investigadora y productiva. Cuando las propias instituciones portadoras de desarrollar y fomentar la actividad productiva y comunicadora de nuestra investigación declaran de escasa calidad nuestros medios, difícilmente se podrá crear un tejido de calidad. Se está impulsando una proyección externa, a la vez que se debilitan las internas. Esto no implica desestimar la participación exterior y participar más en los medios extranjeros, sino fomentar los medios e instrumentos propios y dotarlos de la calidad necesaria, a través de los trabajos y proyectos de investigación nacionales y extranjeros. De esta manera crearemos un clima de confianza nacional e internacional que beneficiará a nuestros instrumentos de producción y difusión del conocimiento científico. La dinamización en sí implicará que el propio sistema autogenere un control de calidad de los trabajos de investigación.

Si se fomentan las publicaciones españolas, no sólo se estarán creando espacios de difusión de los trabajos de investigación, sino que se ayudará a situar el idioma castellano en los lugares y niveles de producción y difusión científica al mismo nivel de las publicaciones de habla inglesa. Para ello, las instituciones y organismos deben tener la intención de implicarse en esta tarea. De lo contrario, el trabajo será baldío.

La valoración cualitativa de las publicaciones y proyectos de investigación

En el momento actual el dispositivo empleado en la valoración de un trabajo científico, y su posterior traslado a un criterio de promoción del investigador, está auspiciado por el sistema cuantitativo: ¿cuántas veces ha sido citado o en qué medio ha sido publicado éste? En definitiva, desde la valoración cuantitativa a la transferencia de conocimientos. Esto ha conllevado a las citas a ser el principal medidor de esa evaluación y transferencia de conocimientos. Como dice López Yepes (2003), el análisis cuantitativo de citas y su resultado, un indicador bibliométrico, ha contribuido a evaluar a aquellos mediante el cálculo de las citas recibidas (lo que hace pensar en su hipotético prestigio), el factor de impacto de las revistas y otra larga serie de subproductos derivados de los recuentos, lo que no asegura necesariamente la debida objetividad y la consiguiente calidad. Esta última afirmación la hemos corroborado en nuestro análisis hermenéutico de las revistas estudiadas. De hecho es fácilmente comprobable que los textos de autores consolidados suelen ser más citados por la posible consideración, por parte del autor o autores del texto, de que el uso de bibliografía de autores consolidados le aporta una mayor calidad al artículo. A esto le podemos sumar la labor de los referees, quienes en muchas ocasiones consideran que es necesario incorporar los textos de los autores “fundamentales” para mostrar que el autor los conoce y los maneja con soltura. Ello produce un incremento de la citación de determinados libros o artículos científicos en detrimento de otros de autores no consolidados. No obstante, el análisis de citas caminaría por la senda de la corrección si en ello anidara el hecho de que la calidad de las citas se fundamentara en el valor de las ideas que contienen y el rigor de las fuentes en que descansan (Arquero, 2002). Por esta razón M. H. MacRoberts y B. R. MacRoberts (1989) han estudiado la baja utilidad de las citas como criterio de calidad.

Pero también es sabido que nuestro modelo tiene unos vicios motivados por la llamada endogamia académica, la cual ha dado lugar a la silicosis burocrática, que hace de la valoración cuantitativa un mero pasaje institucional, sin dotarlo del verdadero sentido del mismo. Entre los vicios más destacados se encuentran los siguientes:

• •

  La excesiva acumulación de citas innecesarias, ocasionadas por razones extracientíficas como el poder académico, el agradecimiento, el compromiso de la cita recíproca, etcétera.

• •

  Las referencias contenidas en la bibliografía final que no han sido utilizadas en el trabajo.

• •

  Las citas de segunda mano sin advertirlo.

• •

  Las autocitas sin justificar.

• •

  Las ausencias de algunas citas olvidadas conscientemente por razones personales.

Por lo tanto al evaluar un trabajo o proyecto de investigación no se debe mirar la cantidad de citas expuestas sino el manejo de la información, la calidad y la utilidad del texto. Esto no significa tomarlo en consideración, sino que se debe estimar la calidad de las ideas. Por ello, consideramos que la innovación, la inteligencia y la implementación de procesos que introduzcan elementos objetivos en el proceso de valorar la publicación de los resultados científicos resultan vitales para nuestro trabajo (Gervás, 2002). De esta manera estaremos filtrando los vicios extracientíficos y no fomentando el proceso endogámico de dependencia a un modelo excluyente de un sistema cerrado de calificación de los trabajos o proyectos de investigación.

Quizá el seguimiento continuado de las ideas sea el mejor método para poder conocer el grado de importancia de ese proyecto o trabajo de investigación. Es decir, observar cómo se han difundido las ideas, en qué espacios han tenido una mayor repercusión, la dimensión alcanzada de la aportación propia del autor/es. En definitiva, la validez de las ideas del trabajo o proyecto. Un trabajo puede tener una importancia en un determinado periodo de tiempo, porque es novedoso o está de moda. Sin embargo cuando se comienza a indagar, investigar y desarrollar el asunto, esas ideas incipientes ya no tienen ninguna validez o vigencia, puesto que han quedado totalmente obsoletas y muy alejadas de la realidad.

Un elemento importante a tener en cuenta al momento de evaluar proyectos o trabajos de investigación es la aportación de ideas nuevas del autor o autores, especialmente si éstas caminan en una dirección contraria a corrientes, escuelas o grupos de investigación dominantes. Estos pensamientos estarán sujetos a una fundamentación teórica y no sólo por tener una oposición a las escuelas dominantes se los considerará válidos. Este hecho indica que los imaginarios establecidos en las mentes de los revisores tienen una influencia notable en la propia evaluación. De hecho, Marquina (2006) y Campanario (2002) nos muestran que aquellos revisores que estaban de acuerdo con los resultados del trabajo tienden a evaluar positivamente los artículos revisados o a juzgarlos con menos dureza.

El juicio de una comisión de especialistas no debe ser suplantado exclusivamente por el sistema de doble ciego de artículos y citas. Los miembros del comité tendrán que tener la capacidad de evaluar la calidad de un proyecto o trabajo de investigación juzgando su contenido. La mayoría de los trabajos de investigación evaluados por Science Citation Index (SCI) son fiables y arrojan resultados razonables. En ocasiones se cometen injusticias porque bastantes revistas que cumplen las condiciones de SCI no reciben un seguimiento periódico de los artículos. Por lo tanto se estará incurriendo en errores de calidad atribuyéndole a unas publicaciones una calidad sin merecerla.

El análisis cualitativo conlleva esencialmente dos cuestiones: en primer lugar, una dedicación casi exclusiva a la evaluación, valoración y seguimiento temporal de las aportaciones del trabajo o proyecto de investigación. La revista, la organización o institución demandará tener una o más de una persona para llevar a cabo esta tarea. En segundo lugar, la persona encargada de ello necesitará tener bastante conocimiento de la materia objeto de seguimiento y evaluación. De lo contrario puede dejar fuera de los ratios de valoración cuestiones fundamentales para la disciplina.

Es un error, como hacen notar Sternberg (2001) y Buela-Casal (2003), que se le confiera mayor importancia al medio (la revista) que al fin (el contenido del artículo). Es decir, si el artículo es publicado en una revista con impacto de 5,6 puntos, el trabajo presentado es de gran calidad y tendrá mucha relevancia, mientras que si el mismo es publicado en una revista de impacto de 0,6 puntos, el trabajo será de baja calidad y sin ninguna relevancia. Por lo tanto, el soporte o medio de difusión es el instrumento que va a conferirle la calidad a un trabajo, y no su contenido. Esto mismo lo hemos podido comprobar en las diferentes revistas, puesto que a nuestro juicio, la diferencia entre los textos no es tan elevada como para considerar que los artículos de una determinada revista son mejores que los de otra.

Por lo tanto es plausible afirmar que la citación de un artículo y de una revista (condicionada enormemente por el índice de impacto de la propia publicación) depende de factores externos a la calidad del texto o de la propia publicación, entre los que podemos encontrar (entre otros): 1) artículos de temática llamativa, 2) texto de investigaciones mayoritarias, 3) escritos de se-mi-innovación (ya que se rechazan casi sistemáticamente aquellas propuestas que no entren dentro del paradigma establecido), 4) artículos de revisión de propuestas de otros autores, 5) textos en los que se expongan gran cantidad de datos (con independencia de su nivel de comprensión, explicación y análisis del problema), etcétera.

Evaluar un trabajo de calidad con base exclusivamente en criterios cuantitativos de citas de la revista no es adecuado para la estimación de un trabajo de calidad, porque resulta muy negativo para los investigadores. El único agente que sale favorecido con este cálculo son las revistas situadas en la élite. Por consiguiente si el objetivo que se persigue son publicaciones de calidad, resulta necesario seguir otros procedimientos de estimación. Por lo tanto las organizaciones responsables de los índices de calidad de las revistas deberán recurrir a modelos basados en la estimación de factores cualitativos.

Hay una serie de elementos indispensables para promover una evaluación objetiva de los artículos, tales como: qué evaluar, cómo evaluar y quién debe evaluar. Siguiendo un modelo unificado donde se tomen en consideración estos factores, se podría alcanzar cualitativamente la evaluación de los trabajos de investigación y los artículos. De esta manera se evitaría caer bajo el manto de la subjetividad del evaluador, y el autor no estaría desprotegido, pues conocería los requisitos para poder publicar en una revista de calidad. Además, se podría construir un índice de impacto basado en las mismas pautas.

En la mayoría de las evaluaciones de los artículos o trabajos de investigación no se recoge la utilidad, la originalidad, la innovación o la transmisión de conocimiento de los mismos, sino que se valoran cuestiones de carácter general. A nuestro juicio, en los trabajos se debe evaluar su contenido, la metodología, la sintaxis y su trasmisión de conocimiento. Evidentemente esto no puede ser analizado con factores cuantitativos sino por medio de claves cualitativas.

Para hacer posible esto las revistas necesitarán incorporar a sus comités de evaluación a expertos en el tema en cuestión, en sintaxis, en metodología, y en diseños de investigación y epistemología. Todo esto requerirá diseñar un manual que recoja ciertas disposiciones y que siga un mismo esquema evaluativo en todas las revistas científicas. Esto permitirá reducir la subjetividad en la evaluación. Para alcanzar estos propósitos habrá que adiestrar a los evaluadores.

Conclusión

El sistema vigente de evaluación presenta ciertas limitaciones provenientes de la indefectibilidad de la utilización de los textos considerados “vitales” para la elaboración y desarrollo de un determinado estudio. Si nos fijamos en algunos de los textos publicados en ciencias experimentales podemos comprobar que, en numerosas ocasiones, se ha minimizado este imaginario apostando más por la actualidad y la innovación que por la necesidad de citar a determinados autores consolidados.

Siguiendo por esta senda y uniéndola con las nuevas transformaciones socioculturales provenientes de los nuevos modelos de transferencia de conocimiento (Internet, libros digitales, etc.) llegamos al punto en el que la calidad se convertirá en el factor principal. Por esta razón, y en otro orden de cosas, no conviene seguir considerando a las revistas digitales como si fuesen de baja calidad, puesto que muchas de ellas presentan sistemas de evaluación de calidad y de control mucho más exhaustivos que muchas de las impresas en papel y etiquetadas de referencia.

La revisión por pares de los proyectos y trabajos de investigación en los términos actuales es insuficiente para concederle a una revista el grado de calidad. Como se ha comentado a lo largo de esta exposición, los vicios existentes en nuestro modelo de revisión son mayores que las virtudes.

Los organismos competentes y las editoras de revistas científicas estarán obligados a coordinarse para elaborar protocolos de actuación que posibiliten una evaluación objetiva y de calidad de los trabajos y proyectos de investigación. De hecho, a la luz del análisis realizado en este trabajo, parece que no se puede reducir la evaluación de un trabajo científico a un mero análisis cuantitativo amparado en citas, impacto o prestigio de las revistas, para considerarlo de calidad. Como se ha dicho a lo largo de este artículo, no es lo mismo publicar en una revista que en otra, pues los índices de impacto le confieren calidad a una revista u otra.

Nosotros no pretendemos erradicar estos índices sino que los trabajos sean evaluados sobre parámetros cualitativos del trabajo, pese a las enormes dificultades que esto presenta. Por eso cuando hablamos de aspectos cualitativos nos referimos a ítems como transmisión de conocimiento, en cuántos medios ha sido citado (evidentemente en cómo ha sido citado, y si realmente ha tenido efecto en el texto o es una mera cita para dotar al texto de contenido o por amistad con el autor citado), su implementación social y sus efectos sobre la comunidad científica, entre otros.

Aplicando estos ítems cualitativos no sólo se dota de calidad a los artículos porque su repercusión científica genera una mayor difusión, ayuda al desarrollo de nuevas investigaciones y fomenta la investigación innovadora, sino que también evita caer en la endogamia publicadora y favorece a los autores conocidos en detrimento de otros autores. Los diez mandamientos para aumentar citas propuesto por Buela-Casal (2003: 24) no tendrían la importancia actual, y serían sustituidos por otros aspectos y muchas revistas modificarían sus modus operandi buscando el reconocimiento y la calidad, haciéndolas más competitivas y, por supuesto, dotándolas de más calidad. Posiblemente revistas que actualmente tienen un bajo índice de impacto, pero que siguen procesos de publicación basados en los aspectos antedichos, se situarían en los top de los índices.