En el proceso de evaluación externa el experto es esencial y por ello es necesario conocer cuál es el perfil y las características de los mejores evaluadores.
Material y métodosHemos analizado de forma retrospectiva el proceso de revisión externa de la revista, desde el 1 de enero de 2005 hasta el 30 de junio de 2008 a fin de poder conocer el perfil de los expertos en relación a la respuesta a las solicitudes. Se ha valorado su tasa de respuesta, tiempo medio de demora y tasa de respondedores, considerando como variables el sexo, la edad y formar parte del comité editorial.
ResultadosAl aumentar el número de evaluaciones, se produce una caída en la tasa de respuesta. Las mujeres presentan mayor tasa de respuesta, menor demora y mejor cumplimiento que los varones. La tasa de respuesta se comporta con tendencia decreciente con la edad y el mayor porcentaje de respondedores se encuentra entre 29 y 39 años. La condición de miembro de los comités de la revista no supone una mejor tasa de respuesta, aunque sí menor demora. La tasa de respuesta y tiempo de demora son similares aunque aumente el número de solicitudes a un revisor.
ConclusionesMenor edad y sexo femenino se asocian a una mejor respuesta. No se ha observado un efecto fatiga en los buenos respondedores, pero sí hay una caída en la tasa de respuesta al tener que ampliar el número de evaluadores.
The expert is essential in the external evaluation process and for this reason it is necessary to know the profile and characteristics of the best evaluators.
Material and methodsWe have retrospectively analysed the external review process of the journal from the 1st of January 2005 until the 30th of June 2009, with the aim of knowing the profile of the experts in relation to the response to the requests. The response rate, mean delay time and responder rate were evaluated, using, sex, age and forming part of the editorial committee as variables.
ResultsThe response rate fell as the number of evaluations increased. Women had a higher response rate, lower delay time and better performance than males. The response rate showed a tendency to decrease with age and the large majority of responders were between 29 and 39 years. Being a member of the journal committees was not associated with a better response rate, although there was less delay. The response rate and the delay time are similar, although it may increase with the number of requests to a reviewer.
ConclusionsLower age and being female are associated with a better response. No fatigue effect was observed in good responders, but if there is a fall in the response rates the number of evaluators should be increased.
La revisión externa es la fórmula más utilizada para la mejora y decisión sobre los artículos que deben ser publicados en las revistas científicas y consiste en remitirlos a expertos, que analizarán su calidad y realizarán una critica constructiva para que los autores puedan mejorarlo a la vez que asesorarán al editor en la decisión sobre si se publica o no1,2. En este proceso, el papel del experto es esencial3, y por ello, los editores han tratado de analizar cuál es el perfil y las características de los mejores evaluadores para poder identificarlos4, a la vez que han puesto de manifiesto la dificultad en hallarlos especialmente para revistas con ámbitos reducidos en lo técnico o en lo geográfico5,6.
En la mayoría de los estudios que han analizado el proceso editorial se constata una gran variación en las recomendaciones de los revisores7, más relacionadas con su perfil personal que con los contenidos de los manuscritos8,9. Aunque no es fácil definir cuáles son las características que definen a un buen revisor10,11 ni cómo debe identificarse12 algunos estudios han analizado las diferencias entre revisores buenos y los que son menos buenos13,14. El objetivo de este trabajo no es analizar la calidad de las revisiones, sino cuál es el perfil de los evaluadores en relación a la respuesta a la solicitud y a la demora.
Material y métodosEn el proceso de revisión externa de NEUROLOGÍA, tras la recepción de un artículo, los editores asignan dependiendo del contenido a unos expertos la evaluación del mismo, a los que se solicita que en el caso de no poder realizar la revisión, lo comuniquen a la publicación para remitirlo a otro evaluador. El plazo establecido para estas evaluaciones es de 30 días, tras los cuales se suele reclamar la respuesta. Solo en el caso de que una parte de los evaluadores de un artículo no respondan se solicita a nuevos expertos. Hemos analizado el proceso de revisión externa de NEUROLOGIA, desde el 1 de enero de 2005 hasta el 30 de junio de 2008 a fin de poder conocer el perfil de los expertos en relación a la respuesta a las solicitudes.
Bases de datosPara realizar el análisis del perfil se ha utilizado el registro del trabajo de los revisores de la revista que está en la base de datos de Ars XXI y los datos personales de los revisores a partir del registro de socios de la Sociedad Española de Neurología (SEN). Esta información se ha tratado de acuerdo con los criterios de confidencialidad y el cumplimiento de la legislación en protección de datos.
DefinicionesExperto: profesional considerado por la revista como un evaluador adecuado para alguno de sus artículos, en base a una demostrada competencia cientifica. Solicitud: demanda desde el equipo editorial de la revista a un experto para que realice la evaluación de un artículo. No se incluyen aquellas situaciones en que el potencial revisor ha rechazado la evaluación de la solicitud, y síaquellas en que no hubo comunicado su negativa, dado que la revista no exige expresa aceptación previa por parte del experto. No se han incluido las solicitudes que estaban en curso en julio del año 2008. Año: se refiere al año correspondiente al momento en que se realiza la solicitud, aunque la respuesta pueda producirse en el siguiente. Evaluación: informe remitido por el experto a una solicitud por parte de la revista. Experto respondedor: es un experto que ha respondido el 100% de las solicitudes realizadas por la Revista con un tiempo medio de respuesta de 30 días desde el envío de la solicitud. Miembro del Comité Editorial: se refieren a aquellos profesionales que formaron parte de los Comités Editorial y Asesor de la revista durante el periodo 2004-2007.
Indicadores analizadosNúmero de solicitudes de evaluación (Eval): se refiere a todas las solicitudes de evaluación que se han realizado para artículos de la revista. Numero de expertos a los que se solicitó evaluación (Exp): se refiere a los expertos a quienes se ha solicitado la revisión de un artículo de la revista, no habiéndose incluido a los revisores que han rechazado la evaluación tras recibir la solicitud, pero sí a aquellos que no comunicaron su negativa. Tiempo medio de demora en responder (Dem): se refiere al promedio de los tiempos de demora (en días) en el envío de la evaluación en aquellos artículos que ha habido respuesta. Tasa de respuesta a la solicitud de artículos a evaluar (T.resp): es el cociente entre el numero de evaluaciones recibidas y el número de solicitudes realizadas (Eval) x 100. Tasa de expertos que responden al menos a una solicitud (T.exp): es el cociente entre el número de expertos que han respondido al menos una vez a la solicitud y el número de expertos a los que se solicitó una evaluación (Exp) x 100. Porcentaje entre los expertos que responden al menos a una solicitud y que lo hacen en menos de 30 días de media (% Resp 30): es el cociente entre el numero de expertos cuya media en el periodo de tiempo de realización de las evaluaciones solicitadas es menor de 30 días y el número total de expertos que responden al menos a una solicitud x 100. Porcentaje de expertos que responden al menos a una solicitud con respuesta media menor de 30 días (% Exp 30): es el cociente entre el numero de expertos que responden al menos a una solicitud y cuya media del periodo de tiempo de realización de las evaluaciones solicitadas es menor de 30 días y el número total de expertos a los que se solicitó la evaluación (Exp) x 100. Tasa de respondedores (T.respor): es el cociente entre el número de expertos respondedores y el número total de expertos a los que se solicitó la evaluación (Exp) x 100. Número máximo de solicitudes a un experto en un año (Smax): es el mayor número de solicitudes en un año que ha recibido el experto que ha tenido más. Numero máximo de evaluaciones que ha realizado un experto en un año (Emax): es el mayor numero de evaluaciones en un año que ha realizado el experto que ha hecho más. Los indicadores serán analizados por subgrupos por sexo, por edad y por pertenencia o no al Comité Editorial. El análisis por subgrupos de edad se realizará por intervalos de diez años a partir de los 29 años.
ResultadosEn el periodo analizado, NEUROLOGÍA solicitó revisiones a 298 expertos. De ellos, 22 han sido excluidos al no disponerse de información necesaria, con lo que el estudio se ha realizado sobre 276, lo que supone el 93% del total. Estos 276 recibieron 810 solicitudes, distribuidas entre los años 2005 y 2008, tal como muestra la tabla 1. De ellos, 115 recibieron una sola solicitud, 41 dos solicitudes, 38 tres, 28 cuatro, 17 cinco, 14 seis, siendo este último el número máximo recibido por un evaluador de 14. Con la información obtenida de estas solicitudes se han hallado los siguientes resultados:
Indicadores sobre las solicitudes y sus respuestas
| 2005 | 2006 | 2007 | 2008* | 2005-2008 | |
| Eval./n | 151 | 283 | 247 | 129 | 8100 |
| Exp./n | 100 | 193 | 156 | 85 | 276 |
| T.resp (%) | 69,53 | 49,8 | 71,2 | 86,82 | 65,80 |
| Dem (días) | 29,97 | 22,76 | 35,58 | 27,15 | 30,93 |
| T.exp (%) | 78,00 | 53,8 | 72,4 | 100 | 83,33 |
| Resp 30(%) | 71,2 | 68,2 | 61,9 | 61,1 | 63,4 |
| Exp 30 (%) | 54,16 | 25,17 | 44,86 | 61,1 | 52,89 |
| T.respor (%) | 39,58 | 20,92 | 37,8 | 51,76 | 21,73 |
| Smax (días) | 4 | 5 | 5 | 5 | 14 |
| Emax (días) | 3 | 3 | 5 | 4 | 12 |
La tabla 1 muestra las solicitudes entre el año 2005 al primer semestre del 2008, que oscilan entre 151 en el 2005 a 283 en el 2006. Los tiempos medios de demora fueron de 29,97 días (rango entre 1 y 180) en el 2005; 22,76 días (1-108) en el 2006; 35,58 días (1-199) en el 2007 y 27,15 días (2-112) en el 2008. La tasa de respuesta en el 2005 fue de 69,53; en el 2006 de 49,8; en el 2007 de 71,2 y en el 2008 de 86,82, lo que pone de manifiesto que el aumento en el número de evaluaciones se asocia a un decremento en la tasa de respuesta, como se observa entre el 2005 y el 2006, y que se incrementa en el 2007 al reducirse el número de evaluaciones. Esta caída de la tasa de respuesta es paralela a la disminución de la tasa de expertos que responden al menos a una solicitud que cae en el 2006 a 53,8 desde el 78,0 del 2005 y se recupera a 72,4 en el 2007. Asimismo, el porcentaje de revisores respondedores en el año 2006 es el más bajo de los cuatro años analizados con un 20,92%
Las mujeres presentan mayor tasa de respuesta, menor demora y mejor cumplimiento que los varonesEn el grupo de revisores, 204 han sido varones (73,9%) y 72 mujeres. Los varones tenían una edad media de 51,86 años y las mujeres de 45,7 años. La tabla 2 muestra cómo las mujeres tienen una mejor tasa de respuesta que los varones, siendo la primera de 69,84 y la de los varones 64,46 aunque tienen una demora mayor en enviar la respuesta (32,42, rango 1-199 días frente a 30,31 días, 2-181). En relación a la tasa de expertos que responden al menos a una solicitud (T.exp) el mejor grupo es también el de las mujeres con una T.resp del 94,44 frente al 79,41 de los varones. El porcentaje entre los expertos que responden al menos a una solicitud que lo hacen en menos de 30 días de media (% Resp 30) está entre un máximo de 71,2% y un mínimo en 2008 del 61,1%.
La tasa de respuesta se comporta con tendencia decreciente con la edad y el mayor porcentaje de respondedores se encuentra entre los 29 y los 39 añosDe los 276 revisores, hay 11 de los que no existían datos sobre su edad en el registro, fundamentalmente porque no eran miembros de la SEN. Los 265 restantes, tenían una edad media de 50,26 años y de ellos, 38 estaban entre 29 y 39 años, 78 entre 40 y 49 años, 103 entre 50 y 59 años, 41 entre 60 y 69 años, y 5 entre 70 y 79 años, lo que representa que el mayor grupo de evaluadores se encuentra entre los 50 y 59 años (38,8%), que es también el grupo que ha recibido un mayor numero de solicitudes (39,2%). El grupo incluido entre los 40 y los 49 años es el segundo en número de evaluadores (29,4%) y ha recibido el 31,12% de solicitudes. La tabla 3 muestra cómo se comporta la tasa de respuesta a los artículos solicitados que presenta una tendencia decreciente en relación a la edad. El grupo entre 29-39 años tiene una T.resp del 72,16%; entre 40-49 años 70,28%; entre 50-59 años 64,6%; entre 60-69 años 58,8% y entre 70 a 79 años 43,5%. En relación a la demora en enviar la respuesta, el grupo con mayor retraso es aquel con intervalo de edad entre 60 y 69 años, con una media de 37,87 días (demora menor 2 días y demora máxima 120 días), seguido del grupo entre 40 y 49 años con 32,12 días (2-199), entre 29 y 39 años, con 29,18 días (5-68), 50 y 59 años, con 27,45 días (2-112) y 70 y 79 años con 21,75 días (14-32). En relación a la tasa de expertos que responden al menos a una solicitud (T.exp) el mejor grupo es entre 29-39 años que tiene una t.resp del 100%, entre 40-49 años tiene 83,33%, entre 50-59 años 85,43%, entre 60-69 años 78,04% y entre 70 a 79 años 80%. En relación a los indicadores de respuesta en los 30 días, los porcentajes son similares, sobre el 64% para el intervalo entre 50 y 59 años y 63% entre 40 y 49 años. En relación al porcentaje entre los expertos que responden al menos a una solicitud y que lo hacen en menos de 30 días de media (% Resp 30) resulta el 57,89% para el intervalo 29-39 y un 55,33% entre 50-59 años. En relación a la tasa de respondedores, la mayor proporción se encuentra en el intervalo entre 29-39 años, y en menor grado el resto de intervalos, siendo la menor frecuencia entre 60-69 años con un 7,3%.
Indicadores según intervalos de edad
| 29-39 | 40-49 | 50-59 | 60-69 | 70-79 | |
| Eval. | 97 | 249 | 314 | 124 | 16 |
| Exp. | 38 | 78 | 103 | 41 | 5 |
| T.resp. (%) | 72,16 | 70,28 | 64,6 | 58,8 | 43,5 |
| Dem. (d) | 29.18 | 32,12 | 27,45 | 37,87 | 21,75 |
| T.exp. (%) | 100 | 83,33 | 85,43 | 78,04 | 80,00 |
| Resp 30(%) | 57,89 | 63,07 | 64,77 | 50,0 | 75,0 |
| Exp 30 (%) | 57,89 | 52,56 | 55,33 | 39,09 | 60,0 |
| T.respor(%) | 28,94 | 20,51 | 22,33 | 7,3 | 20,0 |
| Smax | 11 | 13 | 14 | 12 | 8 |
| Emax | 7 | 11 | 12 | 8 | 3 |
La edad media de los miembros de los comités era 53,63 años frente a 48,95 de los que no lo eran. La tasa de respuesta fue similar (66,47% frente a 65,15%) La demora media en miembros del comité era 26,33 días (2-127) frente a 32,87 días (1-199). Existe una mayor tasa de evaluadores respondedores entre el grupo de evaluadores que no eran miembros de los comités (27,5% frente a 10,8%) aunque el porcentaje de respuesta a los 30 días era algo mejor en los que formaban parte de los mismos.
La tasa de respuesta y tiempo de demora son similares aunque aumente el número de solicitudes a un revisorLas tablas 2 a 4 muestran cómo el Smax oscila entre 8 y 4 solicitudes, mientras que Emax lo hace entre 8 y 12. La tabla 5 muestra el tiempo medio de demora (Dem) y la tasa de respuesta (T.resp) de los revisores por número de solicitudes recibidas. Ninguno de los dos indicadores muestra cambios importantes con el aumento del número de solicitudes. Aunque Dem oscila entre 19,11 a 41,88 días, la mayoría de los tiempos se encuentran sobre los 30 días. En el caso de T.resp, el aumento del número de solicitudes no modifica la tasa que se encuentra entre 62 y 67 en la mayoría de los intervalos.
Tiempo medio de respuesta y tasa de respuesta a las solicitudes según el número de solicitudes recibidas por el revisor
| Número de solicitudes | Número de evaluadores | Dem. | T.resp. |
| 1 | 115 | 33,32 | 64,3 |
| 2 | 41 | 32,13 | 65,8 |
| 3 | 38 | 27,55 | 62,2 |
| 4 | 28 | 31,75 | 64,2 |
| 5 | 17 | 41,88 | 62,3 |
| 6 | 14 | 22,50 | 64,2 |
| 7 | 4 | 25,50 | 67,8 |
| 8 | 9 | 19,11 | 72,2 |
| 9 | 1 | 26,00 | 66,6 |
| 10 | 0 | 0 | 0 |
| 11 | 3 | 20,33 | 66,6 |
| 12 | 1 | 27,00 | 66,6 |
| 13 | 4 | 33,00 | 78,8 |
| 14 | 1 | 11,00 | 50,0 |
El proceso de revisión y mejora es un elemento esencial en el desarrollo de una publicación científica y en él, el papel de los expertos es básico15, no solo en la calidad de la misma, sino también en la evaluación de las autorías16 así como en la detección de fraude y conductas inapropiadas17.
El presente artículo pretende conocer cuál es el perfil de los evaluadores en relación a su capacidad de respuesta, utilizando la base de datos de la Revista, sin abarcar aspectos relacionados con la calidad de las revisiones o el impacto de las mismas en los indicadores de la Revista. Hay tres aspectos metodológicos que deben discutirse previamente a comentar los resultados. En primer lugar, que el estudio excluye a un 7% de evaluadores por falta de información, y en segundo término que, en el 2008, solo se incluyen a aquellos con el proceso ya terminado y no en curso. Ello es consecuente con el objetivo del estudio que no es conocer la estadística de la revista, sino el perfil de los evaluadores, y por ello, se ha eliminado todo sesgo que pudiera influir en lo segundo, aunque se perdiera parte de la información que podría llevar a lo primero. En este sentido, en el estudio influye la totalidad de los evaluadores que concluyeron el proceso con o sin respuesta con la información completa. Debe hacerse una tercera consideración metodológica, y es que la no respuesta no depende del tiempo sino de la decisión de editor de que, con el resto de los informes puede tomarse una decisión, y por ello, el carácter respondedor de un evaluador debe valorarse globalmente no solo con la falta de la misma, sino a la vez con el tiempo medio de demora, tal como se establece en el indicador tasa de respondedores que valora las dos perspectivas conjuntamente.
A pesar de que no es un objetivo del trabajo mostrar la evolución de la revista, sí es objetivable que al aumentar el número de solicitudes, y por tanto el número de evaluadores, se produce una caída en la tasa de respuesta, como ocurre entre el 2005 al 2006, que se recupera en el 2007 al reducir su número. Ello podría ser probablemente explicable debido a que, al tener la revista un ámbito lingüístico y técnico específico, se produce una sobre-utilización de los expertos que pueden ser consultados.
El estudio muestra que el perfil de experto con mejor tasa de respuesta es el más joven, entre 29 a 49 años, siendo mayor la que corresponde a 29 a 39 años. Kliever et al han mostrado que en una revista de radiología son mejores revisores aquellos expertos con mejor currículum, menos de 40 años, que pertenecen a unidades de investigación de élite, y que son bien conocidos por el editor18. Black et al10 también han demostrado que los evaluadores más jóvenes tienen una mejor respuesta. El nivel de revisión ha sido descrito como inversamente proporcional al rango académico13,19. En nuestro estudio no parece que los miembros de los comités de la revista, cuando ejercen de evaluadores, no tengan mejor tasa de respuesta que aquellos que no lo son, aunque contribuyan a la mayor citación de la revista, como se ha descrito en otras publicaciones10,20,21.
Las mujeres tienen una mayor tasa de respuesta y un menor tiempo de demora en la respuesta. El tiempo de demora en la evaluación es muy importante, no solo para los autores, sino para la propia Revista, ya que influye en el factor de impacto22. Aunque los tiempos no son iguales en una revista grande que en una menor23, esta mejor respuesta de las mujeres ya ha sido descrita por otros estudios23, al igual que rechazan más que los varones24,25. El incremento en el número de solicitudes a un solo evaluador no supone una caída en la tasa de respuesta ni en la demora, lo que descarta un efecto fatiga en los evaluadores como causa de menor respuesta. Sin embargo, se ha tratado de analizar las causas de rechazo a evaluar por parte de los expertos y se ha señalado que podrían ser la falta de tiempo, falta de compensación económica o no formar parte del Comité Editorial26. Conocer el perfil de los evaluadores es probablemente el único criterio que puede aumentar la tasa de respuesta y en este caso la responsabilidad de los editores en saber elegirlos27,28. Aunque se han buscado otras fórmulas para reducir los tiempos de demora en el proceso editorial29, no hay otras más adecuadas que la elección de evaluadores que respondan en unos plazos establecidos.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
Los autores agradecen la colaboración en este manuscrito de Isabel Rodrigo de Ars XXI, Mercè Caselles y Ángela Navarrete de la SEN así como de los equipos editoriales de la revista.
