El proceso de revisión a través de expertos es el modelo de mejora y decisión en las publicaciones científicas. Consiste en remitir el material que se recibe para publicar a expertos que analizarán su calidad y realizarán una crítica constructiva para que los autores puedan mejorar el manuscrito, asesorando a su vez al editor en la decisión de publicación1–5. Aunque se ha cuestionado su carácter científico y se ha señalado que puede estar marcado por la subjetividad6–8 así como por su complejidad9, es un proceso imprescindible en las publicaciones científicas. La cuestión que se debate es qué ocurre cuando un artículo es rechazado por el proceso de revisión. Idealmente, el manuscrito mejorado por el proceso evaluador será remitido a otra publicación, entrando en una nueva revisión. Algunas publicaciones han analizado el destino de los artículos rechazados como forma de conocer las implicaciones de las decisiones de sus editores. Considerando que la oferta de otras publicaciones de la misma temática o áreas afines es amplia, incluso si se limita al Journal Citation Report (JCR), no parece previsible que manuscritos que tengan la suficiente calidad no acaben siendo publicados; pero el tiempo que se pierde en que un artículo participe en varios procesos editoriales hasta su publicación puede ser determinante de su relevancia científica10. Por otra parte, el idioma de redacción del artículo puede ser un factor limitante para el destino de los manuscritos rechazados. El idioma tiene un papel restrictivo en la producción científica, tanto en la redacción como en la publicación y difusión. Las revistas que no se editan en inglés tienen un factor de impacto en general más bajo11–15, aunque tampoco se mejora mucho al adoptar el inglés como idioma de una revista española16–18 o latinoamericana19, ya que los autores anglosajones tampoco las citan. Por tanto, se puede postular que la decisión de rechazo de un artículo escrito en español puede ser mucho más determinante sobre el futuro del manuscrito que si se realiza en una publicación en inglés. Para verificar esta hipótesis, el objetivo de este estudio es analizar lo que ocurre con los artículos que no se han aceptado publicar en NEUROLOGÍA.

Aunque NEUROLOGÍA, órgano de expresión oficial de la Sociedad Española de Neurología, se publica en español e inglés, su proceso de revisión externa se realiza solo en español. Tras la recepción de un artículo, los editores asignan su evaluación a expertos dependiendo del contenido del manuscrito. A éstos se les solicita que, en el caso de no poder realizar la revisión, lo comuniquen a la publicación para remitirlo a otro evaluador. El plazo establecido para estas evaluaciones es de 30 días, tras los cuales se suele reclamar la respuesta. Solo en el caso de que alguno de los evaluadores de un artículo no responda, o que las respuestas sean muy discordantes, se solicita a nuevos expertos. Tras la respuesta de los evaluadores, los editores determinan si se rechaza el manuscrito o se sigue el proceso de revisión analizando sucesivas versiones, que dependiendo de las modificaciones que se recomienden obligará a reenviar nuevamente el manuscrito a expertos o no, hasta la decisión final. El perfil de los expertos que participan en el proceso editorial de NEUROLOGÍA ha sido descrito recientemente20. Hemos analizado los artículos rechazados en el proceso editorial de NEUROLOGÍA desde el 1 de octubre de 2004 hasta el 22 de abril de 2012, a fin de poder conocer el destino de estos artículos.

Bases de datos. Para realizar el estudio se han utilizado distintas bases de datos. La primera incluye toda la información del proceso editorial de NEUROLOGÍA en el período en que la revista fue gestionada por Ars XXI y que comprende desde octubre de 2004 hasta finales de 2009. Esta base de datos fue diseñada y es gestionada por la Oficina de Apoyo a la investigación de la Sociedad Española de Neurología (OAI-SEN) con la información cedida por Ars XXI antes de su cierre, dado que era propiedad de la SEN. Esta información es tratada de acuerdo con los criterios de confidencialidad y el cumplimiento de la legislación en protección de datos a las que están sujetas todas las bases de datos de la SEN. Anexa a esta base de datos, existe un archivo digitalizado con todos los cuestionarios de revisión de expertos de ese periodo. La segunda corresponde a la base de datos de la plataforma editorial de Elsevier para NEUROLOGÍA (EES), que asimismo está protegida, y cuyo acceso corresponde a los editores y a la secretaría editorial; incluye el registro de todos los artículos, su información, documentación y trayectoria en el proceso editorial en la revista, así como los informes de los revisores. Con los datos obtenidos de estas 2 fuentes se ha realizado una nueva base de datos, base que ha sido manejada por uno de los autores. En ella se ha incluido todo aquello necesario para este estudio, y permanecerá en la OAI-SEN. Entre las variables del estudio se incluyen el tiempo de publicación, clasificación de los contenidos del artículo por área científica o tipo de manuscrito, revista donde se ha publicado el artículo, junto con información general descriptiva que incluye el país de origen del manuscrito. Dado que NEUROLOGÍA rechaza artículos sobre psiquiatría, psicología, y áreas experimentales muy alejadas de la neurología, que corresponde el ámbito de la revista, hemos incluido una variable que se refiere a aquellos manuscritos que no están relacionados con la temática de la publicación. Para artículos con autores de varios países se consideró el del autor de correspondencia. Para analizar el destino de los manuscritos se ha utilizado la base MEDLINE a través de PubMed at http://www.ncbi.nlm.nih.gov buscando inicialmente por el nombre del primer autor de los manuscritos (primer apellido, segundo apellido, y primer apellido unido a segundo apellido) y analizando las similitudes con los artículos sometidos. En caso de no ser encontrados por el nombre del primer autor se ha buscado por otros autores o palabras relevantes incluidas en el título. La fecha de búsqueda en Medline fue entre el 22 de abril y el 1 de mayo de 2012.

Variables. Criterios de similitud. Para evaluar el destino de los artículos, debe decidirse si la publicación corresponde al manuscrito rechazado. Para ello, se ha considerado que los contenidos deben ser los mismos, y se han aceptado pequeños cambios en título, casuística, en el desarrollo de la discusión y bibliografía, siempre que no modifiquen ni el diseño ni las conclusiones del artículo inicial. Dado que existe el riesgo de una publicación duplicada, solo se han considerado las publicaciones con posterioridad a la recepción del manuscrito. Para evaluar el tiempo de publicación, se ha considerado desde la fecha de recepción por NEUROLOGÍA hasta su aparición en Medline, bien como e-pub o como artículo publicado. Se ha realizado asimismo una búsqueda de otros artículos publicados sobre la misma área temática que la del artículo remitido (por ejemplo epilepsia, vascular, etc.) por el autor de correspondencia. Para poder comparar con otras publicaciones, hemos definido el grado de relevancia de la decisión editorial en NEUROLOGÍA que corresponde al número de artículos sometidos a la revista menos el número de artículos publicados en cualquier revista, dividido por el número de artículos sometidos a la revista dividido por 100, y que evalúa el número de artículo que se pierden para la literatura.

Detección de publicaciones duplicadas. Aunque no es el objetivo del estudio, la búsqueda en Medline ha permitido conocer, en los artículos rechazados, si existen publicaciones duplicadas, utilizando los mismos criterios de igualdad y similitud, e intentos de duplicación con artículos publicados previamente a su recepción en NEUROLOGÍA.

Análisis de los resultados. Con los datos obtenidos se ha establecido la prevalencia, lo que también se ha realizado con los datos de la literatura médica para poder establecer la comparabilidad. Se ha realizado comparación de variables cualitativas con el test chi-cuadrado. Para el análisis estadístico del porcentaje de rechazo de acuerdo con el tipo de manuscrito hemos excluido 3 artículos (apunte histórico, editorial y crítica de libros) porque no son artículos que se sometan a revisión editorial.

De los 1.277 artículos remitidos a NEUROLOGÍA entre el 1 de octubre de 2004 y el 22 de abril de 2012, 271 manuscritos (21,22%) fueron rechazados (tabla 1, fig. 1). El porcentaje de artículos recibidos y rechazados ha variado a lo largo de estos años (fig. 2). El tipo de artículos rechazados fue: 116 originales (42,8%), 60 cartas al editor (22,1%), 45 casos clínicos (16,6%), 31 revisiones (11,4%), 16 imágenes del mes (5,9%), un apunte histórico (0,4%), un editorial (0,4%) y una crítica de libros (0,4%). 48 manuscritos (17,7%) trataban de temas no relacionados con el ámbito de NEUROLOGÍA. En 169 casos (62,4%) el primer firmante del artículo no tenía más de 3 artículos publicados sobre ese mismo tema. En 199 artículos (73,4%) los autores procedían de España, siendo el resto de otros 18 países, más frecuentemente Argentina (6,7%) y México (5,6%).

Figura 1.

Destino de los artículos remitidos a NEUROLOGÍA. El índice de relevancia corresponde al porcentaje de artículos no publicados, 17%.

(0.05MB).

Figura 2.

Publicación de artículos rechazados.

(0.08MB).

De los manuscritos rechazados, 54 (19,9%) fueron publicados en 26 revistas indexadas en Medline (fig. 1), la más frecuente Revista de Neurología (27 artículos, 50%). El tema de las revistas en que se publicaron fue neurología en 31 (57,4%) y otras áreas de las neurociencias o la medicina en el resto (42,6%). El idioma de publicación fue el español en 43 artículos (79,6%). La tabla 1 muestra el porcentaje de publicación por años, y se demuestra una caída en el año 2011 y lo que se incluye del 2012, probablemente porque alguno de estos artículos pueden estar en procesos editoriales en otras revistas, aunque también es posible que artículos sometidos a publicación en el año 2011 estén en proceso en el momento de cierre del estudio y puedan ser rechazados. El porcentaje de artículos publicados de los 213 manuscritos rechazados entre 2004-2010 fue del 24,8% (53 artículos). El 24,1% de los originales, 8,3% de las cartas al editor, 28,9% de los casos clínicos, 22,6% de las revisiones y el 6,3% de las imágenes del mes fueron publicadas tras ser rechazadas (fig. 3) (p=0,018). Los 3 manuscritos de editorial, apunte histórico y crítica de libro no fueron publicados.

Figura 3.

Publicación de artículos rechazados por tipo de manuscrito.

(0.09MB).

Un 22,9% de los artículos que no pertenecían específicamente a la temática de NEUROLOGÍA fueron publicados en otra revista, comparado con un 19,5% de los artículos que versaban sobre los temas del ámbito de la revista (p=0,5). Un 21% de los autores españoles y un 16,7% de los no españoles publicó su artículo rechazado en otra revista (p=0,41). El 33,3% de los autores con más de 3 publicaciones sobre el mismo tema vio finalmente publicado su manuscrito, comparado con el 11,8% de los autores con menos publicaciones (p<0,0001).

La mediana del tiempo desde el envío del artículo a NEUROLOGÍA hasta su publicación fue de 13 meses (rango 2-59). En la figura 4 se muestra la distribución anual de las publicaciones aceptadas tras ser rechazadas. Se detectó un intento de duplicación en un artículo, lo que supone un 0,003% de los manuscritos rechazados. La relevancia de la decisión de los editores de NEUROLOGÍA fue del 17%, lo que supone el porcentaje de artículos que se pierden para la literatura médica.

Figura 4.

Distribución anual de las publicaciones. Los colores del gráfico expresan los años en que se publicaron los artículos. Se observa cómo la mayoría de artículos se publican entre 1 y 3 años después de ser recibidos, sobre todo 2 años más tarde.

(0.09MB).

Los procesos editoriales están sometidos a influencias externas al manuscrito21,22 que pueden conducir a decisiones sobre la publicación o no del artículo, y por ello, analizar lo que ha ocurrido con los rechazos es un buen criterio de control de calidad. Diferentes revistas han analizado y publicado el destino de los artículos rechazados, como Indian pediatrics23,24, American Journal of Neurorradiology (AJNR)25, Occupational and Environmental Medicine26, Annals of Internal Medicine27, Cardiovasc Research28, Australian Family Physician29, Epidemiology30, Journal of American Academic Dermatology31, Journal of Vascular Interventional Radiology32, American Journal of Radiology33, American Journal of Ophtalmology34 o British Journal of Surgery35, todas ellas publicadas en inglés. Solo 2 revistas publicadas en otros idiomas como el danés, mediante Journal of the Danish Medical Association36 o holandés, a través de Nederlands Tijdschrift voor Genee37, han dado información sobre la influencia del idioma de remisión del artículo sobre su destino. En nuestro conocimiento, este estudio supone el primer análisis en la literatura del destino tras el rechazo de artículos remitidos en español. En nuestro estudio, con NEUROLOGÍA, el 19,9% de los artículos rechazados fueron publicados en otras revistas, especialmente en Revista de Neurología (50%) y en español (79,6%), aunque el porcentaje sube al 24,8% cuando se analiza hasta 2010.

La tabla 2 realiza una comparación del porcentaje de publicación de los artículos rechazados en estas revistas. Varios aspectos pueden influir en la comparación. En primer lugar, sobre el denominador, ya que el método de detección de las publicaciones se ha modificado con el desarrollo de Pubmed. En algunos artículos la detección de las publicaciones se realiza a través de encuestas a los autores, con tasas de respuesta cercanas al 60% si se utiliza el correo electrónico29,30; por lo tanto, el número de artículos rechazados que se analiza es más bajo, y se podría suponer que aquellos que no responden pueden no haber publicado sus artículos, aunque se han detectado artículos publicados en los que no respondieron30. El segundo aspecto abarca al numerador, porque la oferta de revistas indexadas ha ido creciendo con los años, especialmente en las modificaciones en el Journal Citation Report, que prácticamente ha quintuplicado las publicaciones incluidas38–41. El tercero se refiere al tipo de artículos incluidos en el análisis, ya que algunas de ellas27,35 excluyen artículos que no sean originales, que en los diferentes estudios tienen una mayor tasa de publicación que otro tipo de trabajos, como cartas, críticas de libros, etc. El cuarto es el momento del análisis, que en la mayoría de estudios es en torno a 3 años después de finalizar el período analizado. El quinto es la inclusión por algunas publicaciones de artículos readmitidos en su propia revista tras haber sido rechazados, que puede suponer entre el 5-21%26,32 de los artículos publicados.

En NEUROLOGÍA la proporción de artículos publicados tras ser rechazados es menor que la mayoría de revistas publicadas en inglés, pero superior a las 2 revistas en habla no inglesa. Sin embargo, el porcentaje global de 19,9% probablemente subestime el número de artículos que posteriormente se publican en comparación con otros estudios que tienen un seguimiento superior a 3 años, y cuando se analiza el porcentaje entre 2004-2010 sube al 24,8%. A pesar de eso, sigue siendo menor que las revistas de habla inglesa. Este hecho probablemente pueda atribuirse al factor limitante del idioma, al suponer una menor oferta de revistas alternativas, ya que la oferta de revistas en español es menor que en inglés. Esto puede observarse en el hecho de que el 50% de los artículos publicados lo fueron en una misma revista en el caso de NEUROLOGÍA, comparado con el 12% en revistas de habla inglesa como American Journal of Neuroradiology25 y Journal of American Academy of Dermatology31. Esta situación probablemente es peor en el caso de revistas en español no neurológicas, dado que en neurología existen 2 publicaciones indexadas, lo que no ocurre en otras áreas temáticas.

Es un dato interesante que el tiempo hasta la publicación de los artículos rechazados sea mayor en las revistas en inglés (tabla 3), lo que puede sugerir que el artículo puede pasar por varios procesos editoriales al haber más oferta, mientras que en las revistas que se publican en otro idioma como es NEUROLOGÍA, la probabilidad de publicación se limita más pronto. No obstante, hay un porcentaje de artículos que se publican en inglés tras su rechazo (20,3%) buscando una mayor oferta, lo que sugiere que es una falacia que aquello que aparece en este idioma es mejor que aquello que se publica en otra lengua. Así, los artículos publicados que habían sido rechazados de la revista danesa lo fueron todos en inglés36. En la revista holandesa, el 40% de los rechazados fueron publicados en inglés37.

La tabla 1 muestra la evolución anual de la publicación de los artículos rechazados. Destaca la relación inversa existente entre los porcentajes de aceptación y de posterior publicación de los artículos rechazados, como también puede comprobarse en las diferentes revistas (tabla 2). En consecuencia, cuantos más artículos rechaza una revista, más artículos de los rechazados ven posteriormente la luz en otra publicación. Sin embargo, el porcentaje de artículos rechazados puede relacionarse, a su vez, con el número de artículos recibidos: así, cuantos más artículos reciba una revista, más artículos rechazará si mantiene estable el número de artículos publicados anualmente, lo que puede traducirse, a priori, en una mayor selección y calidad de los manuscritos publicados. No obstante, este efecto puede verse matizado por el idioma de publicación.

No hemos encontrado asociación entre la procedencia de los autores o la temática del artículo (relacionada o no al ámbito de NEUROLOGÍA) y su publicación. Sí existe, en cambio, asociación entre los autores con más de 3 publicaciones sobre el tema del artículo y la publicación del manuscrito. Esto puede justificarse por una mayor calidad de la producción o una mayor experiencia de publicación de estos autores, pero también puede ser un criterio de los revisores de muchas publicaciones3,42. Durante la búsqueda hemos detectado un solo caso de intento de duplicación43, muy inferior al porcentaje que halla el estudio holandés37.

En la figura 1 aparece el grado de relevancia de la decisión de los editores de NEUROLOGÍA, que fue del 17%, lo que supone el porcentaje de artículos que se pierden para la literatura médica, comparado con el resto de revistas. Los editores de revistas que no reciben en inglés tienen una mayor responsabilidad en sus decisiones que aquellos de publicaciones anglosajonas, ya que su decisión supone con mayor probabilidad que el artículo no se incorporará a la literatura.

El presente estudio tiene ciertas limitaciones. Se trata de un estudio retrospectivo realizado a partir de búsqueda en Pubmed, por lo que el número de artículos publicados puede haberse infraestimado. Además, el tiempo desde que los artículos han sido rechazados ha sido, especialmente para 2011 y 2012, inferior al tiempo medio de publicación, por lo que puede haber artículos que pueden ser publicados todavía. Por ello, la prevalencia del 24,6% obtenida hasta 2010 puede acercarse más a la realidad. La comparación que se ha realizado con otras revistas biomédicas muestra que el porcentaje es menor, pero no existen estudios similares en otras revistas neurológicas, y por tanto no se pueden evaluar variaciones interespecialidad. La ausencia de datos similares en otras revistas en español no permite establecer comparaciones, pero puede especularse que el porcentaje de publicación puede ser aún menor, ya que neurología cuenta con 2 revistas indexadas, lo que no ocurre en otras especialidades.

En conclusión, este estudio muestra que la tasa de publicación en artículos rechazados en NEUROLOGÍA es más baja que en otras revistas, y solo comparable a lo que ocurre en publicaciones que no aparecen en inglés. Entre los artículos que se publican secundariamente, existe un porcentaje que lo hacen en revistas en inglés, lo que también se observa en otras revistas que aparecen en otras lenguas. La relevancia de los editores de revistas que no reciben artículos en inglés es mayor que aquellos que lo hacen en ese idioma, ya que el rechazo conduce con mayor probabilidad a la no publicación. El hecho de que artículos rechazados en publicaciones que no reciben en inglés se publiquen posteriormente en inglés implica que no es cierto que publicar en ese idioma suponga una mayor calidad o un mayor grado de selección del artículo.

Los autores declaran no tener ningún conflicto de intereses.