The profile of evaluators of a medical publication in relation to the response

Abstract

Introduction

The expert is essential in the external evaluation process and for this reason it is necessary to know the profile and characteristics of the best evaluators.

Material and methods

We have retrospectively analysed the external review process of the journal from the 1st of January 2005 until the 30th of June 2009, with the aim of knowing the profile of the experts in relation to the response to the requests. The response rate, mean delay time and responder rate were evaluated, using, sex, age and forming part of the editorial committee as variables.

Results

The response rate fell as the number of evaluations increased. Women had a higher response rate, lower delay time and better performance than males. The response rate showed a tendency to decrease with age and the large majority of responders were between 29 and 39 years. Being a member of the journal committees was not associated with a better response rate, although there was less delay. The response rate and the delay time are similar, although it may increase with the number of requests to a reviewer.

Conclusions

Lower age and being female are associated with a better response. No fatigue effect was observed in good responders, but if there is a fall in the response rates the number of evaluators should be increased.

Resumen

Introducción y objetivo

En el proceso de evaluación externa el experto es esencial y por ello es necesario conocer cuál es el perfil y las características de los mejores evaluadores.

Material y métodos

Hemos analizado de forma retrospectiva el proceso de revisión externa de la revista, desde el 1 de enero de 2005 hasta el 30 de junio de 2008 a fin de poder conocer el perfil de los expertos en relación a la respuesta a las solicitudes. Se ha valorado su tasa de respuesta, tiempo medio de demora y tasa de respondedores, considerando como variables el sexo, la edad y formar parte del comité editorial.

Resultados

Al aumentar el número de evaluaciones, se produce una caída en la tasa de respuesta. Las mujeres presentan mayor tasa de respuesta, menor demora y mejor cumplimiento que los varones. La tasa de respuesta se comporta con tendencia decreciente con la edad y el mayor porcentaje de respondedores se encuentra entre 29 y 39 años. La condición de miembro de los comités de la revista no supone una mejor tasa de respuesta, aunque sí menor demora. La tasa de respuesta y tiempo de demora son similares aunque aumente el número de solicitudes a un revisor.

Conclusiones

Menor edad y sexo femenino se asocian a una mejor respuesta. No se ha observado un efecto fatiga en los buenos respondedores, pero sí hay una caída en la tasa de respuesta al tener que ampliar el número de evaluadores.