Análisis del proceso evaluador de los proyectos de investigación en el Fondo de Investigación Sanitaria

Fundamento

La promoción y el fomento de la investigación es actualmente una de las estrategias fundamentales sobre la que se asienta el desarrollo de nuestra sociedad moderna. Los parses están invirtiendo grandes recursos destinados a este fin, y por ello se hace necesario un proceso serio y riguroso de evaluación de la investigación, así como el análisis de los resultados obtenidos en los numerosos proyectos de investigación subvencionados tanto en convocatorias públicas como privadas, para asegurar el buen fin de las inversiones realizadas.

Material y método

Se ha analizado una muestra de 431 proyectos pertenecientes a la convocatoria FIS de 1998. Las evaluaciones FIS y ANEP (Agencia Nacional de Evaluación y Prospectiva) fueron analizadas y puntuadas (calidad de evaluación) en sus principales contenidos por tres evaluadores independientes; asimismo, los resultados fueron sometidos a comparaciones intraagencia e interagencia

Resultados

En la evaluación FIS intervinieron 20 comisiones, y el análisis intraFIS detectó que la calidad de la evaluación era dependiente de la comisión correspondiente responsable de la evaluación (F = 3,71; p < 0,001) y de la duración propuesta para el proyecto evaluado (F = 3,42; p < 0,05), pero no del evaluador. Por otro lado, la calidad de la evaluación ANEP era dependiente de los tres factores anteriormente mencionados. Globalmente, la calidad de la evaluación ANEP fue mejor que la evaluación FIS en los proyectos de 3 años, pero no fue significativamente distinta para los proyectos de uno a dos años. En todos los casos, las evaluaciones con resultados final negativo (denegación de la financiación) tuvieron una calidad media más alta que las positivas.

Conclusiones

Los resultados obtenidos aconsejan una modificación de la estructura evaluativa y de la composición de las comisiones científico-técnicas del FIS que tenga como finalidad una mejora del proceso de evaluación de los proyectos de investigación presentados en convocatoria pública al FIS.

Background

At the present time it seems very clear that research improvement is both an unquestionable fact and the right way to develope technological innovation, services and patents. However, such improvement and corresponding finances needs to be done under fine and rigorous evaluation process as an assessment tool under which all the research projects applying to a public or private call for proposals should be submitted to assure a coherence point according to the investment to be made. At this end, the main target of this work has been focused to analysis and study the evaluation process traditionally made by Fondo de Investigación Sanitaria (FIS) as well as to propose most adequate modifications.

Material and method

A sample of 431 research projects corresponding to year 1998 proposal was analysed. The evaluation from FIS and ANEP (National Evaluation and Prospective Agency) was evaluated and scored (evaluation quality) in its main contents by 3 independent evaluators, the showed results submitted to a comparative frame between these agencies at indoor (FIS) and outdoor (FIS/ANEP) level.

Results

FIS evaluation had 20 commissions or areas of knowledge. The analysis indoor (FIS) clearly showed that evaluation quality was correlated to the assigned commission (F = 3.71; p < 0.001) and to the time last of the researched proposal (F = 3.42; p < 0.05) but no related to the evaluator. On the other hand, the quality of ANEP evaluation showed a correlated dependency of the three mentioned facts. In all terms, the ANEP evaluation was better than FIS for the three years time projects, but in did not show significant differences in one or two years time projects. In all cases, the evaluation with final results as negative (financing denied) showed an average quality higher than positive evaluation.

Conclusions

The obtained results advice about the convenience of making some changes in the evaluative structure and to review the sort of FIS technical commissions focusing an improvement of the evaluation process.