La universidad española ha afrontado con éxito el tránsito entre una universidad clásica, eminentemente docente, y una universidad moderna, en la que la investigación juega un papel esencial. Gran parte de este éxito reside en la instauración de sistemas de evaluación. No obstante, a pesar de los indiscutibles logros, aún queda un camino importante por recorrer para situarla en los lugares que le corresponden en las clasificaciones internacionales por el lugar que ocupamos dentro de los países de nuestro entorno. La Universidad Politécnica de Cataluña dispone de un modelo de evaluación docente, así como de información sobre la actividad investigadora del profesorado. Ello ha permitido implementar un modelo de evaluación global, que presentamos en este artículo. Asimismo, usando una muestra de 4.996 evaluaciones individuales de unos 1.700 profesores, analizamos la evolución temporal de las evaluaciones de los años 2011, 2012 y 2013, estudiamos si existen diferencias entre los ámbitos de conocimiento y examinamos si existe una relación entre la productividad académica así evaluada y la posición de la universidad en los ránquines universitarios. Los datos de este estudio corroboran que el modelo ha tenido éxito, al haber permitido que la universidad progresara en el ranquin Quacquarelli Symonds del puesto 350 al 337.
Spanish universities have moved from a classical model, a teaching university, to a modern one, in which research is essential. Part of this success is due to the implementation of quality assessment policies. Nonetheless, and in spite of this, there is still a long way to place it at the level of similar countries in university rankings. The Universidad Politécnica de Cataluña has an evaluation model of the teaching performance of its staff, and also abundant information of their research. This has allowed implementing a global evaluation model. Here we present the evaluation model. Also, using 4,996 individual evaluations corresponding to about 1,700 academic staff members we analyze the evolution of the results of the evaluations of years 2011, 2012 and 2013, we study if there are differences among the various academic fields, and we examine if there exists a correlation between the evolution of the academic productivity measured using this model and the position of the university in the university rankings. We show that this model has allowed the university to improve its classification in the Quacquarelli Symonds Top University Ranking, from position 350 to 337.
Las universidades españolas han protagonizado un progreso considerable durante las últimas décadas. Es incuestionable que, de forma general, la universidad española ha experimentado una notable transformación. En particular, las universidades españolas han pasado de ser centros casi exclusivamente docentes a realizar una labor investigadora nada desdeñable. Además, puede afirmarse que esta transición ha sido dificultosa, pues ha requerido cambios legislativos profundos y notables esfuerzos por parte de los sucesivos equipos de gobierno de las universidades y de toda la comunidad académica. Ello ha permitido que nuestras universidades, que hace unas décadas adolecían de notables carencias en el terreno de la investigación, el desarrollo y la transferencia de tecnología, hayan experimentando notables progresos que las han llevado a ser motores del cambio hacia sociedades más modernas, basadas en el conocimiento, y a igualarse con sus homólogas europeas. Esto queda plasmado en los diversos informes de la Conferencia de Rectores de Universidades Españolas, de los que ejemplos significativos son los sucesivos informes La universidad española en cifras (Conferencia de Rectores de Universidades Españolas, 2011; 2012) o el reciente informe del Ministerio de Educación, Cultura y Deporte (Ministerio de Educación, Cultura y Deporte, 2015), que permiten constatar los notables progresos realizados hasta la fecha. No obstante, es notorio que los resultados son desiguales y que pocas universidades españolas están bien posicionadas en las diferentes clasificaciones internacionales que tienen prestigio reconocido por haber sido confeccionadas de forma independiente.
Como se ha mencionado con anterioridad, una parte de los éxitos logrados por las universidades españolas se debe a los cambios normativos introducidos por las sucesivas reformas del marco legislativo, que han forzado una renovación muy considerable de los objetivos de la universidad. Sin embargo, otra parte del éxito debe atribuirse a la propia comunidad universitaria, que en determinadas áreas de especialización ha invertido ingentes esfuerzos en incorporarse a las tareas investigadoras, aunque ha de reconocerse que ello ha tenido un éxito dispar, dependiendo del ámbito de conocimiento. También la tenacidad de los sucesivos equipos de gobierno de las diferentes universidades ha contribuido a liderar este cambio, implementando políticas de fomento de la investigación, reconociendo el papel determinante que han jugado ciertos grupos de investigación y aportando financiación adicional que ha permitido que grupos de investigación emergentes pudieran consolidarse y ser competitivos a escala tanto nacional como internacional. También ha sido fundamental en el desarrollo de la universidad española el afán de internacionalización, especialmente en aquellas áreas más competitivas, que ha permitido incorporar a la práctica académica de nuestras universidades hábitos y formas de enfocar los problemas acordes con los de las universidades más avanzadas de países de nuestro entorno. Finalmente, y no por ello menos importante, es necesario hacer patente que parte del mérito de la transformación realizada por las universidades españolas es consecuencia de la adopción e interiorización por la comunidad universitaria de la cultura de la evaluación y la rendición de cuentas que ha propiciado el legislador (Buela-Casal et al., 2012a, b).
A pesar de todo lo anteriormente expuesto, a las universidades españolas aún les queda mucho camino por recorrer si desean equipararse a aquellas que se encuentran en posiciones de privilegio en las clasificaciones internacionales. Aun siendo este un objetivo legítimo, llegados a este punto creemos conveniente introducir una matización importante, pues debe mencionarse que dichas clasificaciones internacionales se han diseñado, en la mayor parte de los casos, partiendo de unas realidades distintas a la nuestra, empleando indicadores que se adaptan a la concepción universitaria anglosajona (véase Bengoetxea y Buela-Casal, 2013 para una discusión esclarecedora de la importancia y representatividad de los ránquines).
En cualquier caso, si el objetivo que se persigue es la mejora en las mencionadas clasificaciones internacionales, deben darse una serie de circunstancias favorables, entre las que, a nuestro juicio, destaca la simplificación y homogenización del entramado legislativo y reglamentario. Cabe recordar que las sucesivas reformas llevadas a cabo hasta la fecha han dado lugar a un exceso de regulación, producto de una yuxtaposición de evaluaciones, y a una compleja reglamentación. Ello, a su vez, dificulta sobremanera la adopción de medidas eficaces por parte de las universidades. No obstante, una característica común a todo el cuerpo legislativo vigente es el establecimiento de mecanismos de garantía de la calidad, en consonancia con el despliegue de las normas y directrices para la garantía de calidad en educación superior (European Association for Quality Assurance in Higher Education, 2006) previstas en la Declaración de Bolonia (1999). Dichos mecanismos requieren la implementación de medidas cuantitativas que permitan medir la eficacia de las medidas adoptadas y evaluar las consecuencias de las políticas implementadas. Tanto es así, que el concepto de calidad se ha universalizado en el ámbito universitario, convirtiéndose en un referente transversal, ampliamente aceptado por la comunidad universitaria en su conjunto (Osuna, 2009), y que abarca todas las facetas de la actividad universitaria. De hecho, la adaptación de los estudios universitarios españoles al Espacio Europeo de Enseñanza superior ha resultado dificultosa, en buena medida por la necesidad de implantar dichos mecanismos de garantía de la calidad, lo que ha supuesto un esfuerzo notorio de los docentes universitarios (Ariza, Quevedo-Blasco y Buela-Casal, 2014; Quevedo-Blasco, Ariza y Buela-Casal, 2015).
Por otro lado, la dedicación del personal docente e investigador a las actividades académicas se rige no solo por la legislación estatal sino también por la autonómica. En particular, además de las normas de carácter autonómico, la Ley Orgánica de Universidades (Ley Orgánica de Universidades, 2001) y la Ley Orgánica de Modificación de dicha ley (Ley Orgánica de Modificación de la Ley Orgánica de Universidades [LOMLOU], 2007), así como el Real Decreto 898/1985 (Boletín Oficial del Estado, 1985), sobre el régimen jurídico del profesorado universitario, y los respectivos estatutos de la inmensa mayoría de las universidades españolas establecen, sin ningún género de dudas, que las obligaciones del profesorado son de 3 tipos: la docencia, la investigación y las tareas de gestión universitaria. Además, la propia LOMLOU (2007) estipula que la investigación ha de ser un criterio relevante, atendiendo a su oportuna evaluación, para determinar la eficiencia en el desempeño de la actividad profesional (Estatuto Básico del Empleado Público, 2007).
Apoyándose en este entramado legislativo, diversas universidades españolas han regulado marcos normativos que permiten realizar una evaluación (y posterior seguimiento) de la actividad académica de su profesorado. El éxito de tales iniciativas ha sido dispar (García-Berro, Roca, Navallas, Soriano y Ras, 2014). Además, es oportuno señalar que la diferencia de enfoques entre las distintas universidades dificulta enormemente su comparación (Muñiz, 2011).
En general, las universidades españolas evalúan la investigación realizada por sus docentes empleando indicadores bibliométricos (Navarrete-Cortes, Quevedo-Blasco, Chaichio-Moreno, Ríos y Buela-Casal, 2009; Navarrete-Cortes, Fernández-López, López-Baena, Quevedo-Blasco y Buela-Casal, 2010). La evaluación de la docencia es una tarea compleja pues no existe un consenso generalmente aceptado acerca de la metodología y de los indicadores a emplear (García-Berro, Dapia, Amblàs, Bugeda y Roca, 2009; García-Berro et al., 2010). Por último, cabe mencionar que no existen, y probablemente no se necesiten, mecanismos fiables que permitan una evaluación objetiva de las tareas de gestión universitaria, salvo la constatación del cargo ejercido y la extensión temporal durante la que se ha ejercido (García-Berro et al., 2014).
En claro contraste con lo expuesto con anterioridad, cabe destacar que la actividad de evaluación institucional de las universidades ha sido (y es hoy día) muy intensa (Pereira, 2011). Naturalmente, esta evaluación es menos laboriosa, pues su objeto es un colectivo y no individuos, lo que simplifica notablemente la adopción de criterios e indicadores de evaluación. Ello ha permitido realizar clasificaciones consistentes de las universidades españolas (Buesa, Heijs y Barba, 2009; Torres-Salinas, Delgado-López-Cózar, García-Moreno-Torres y Herrera, 2010; Buela-Casal, Bermúdez, Sierra, Quevedo-Blasco y Castro, 2009; Buela-Casal, Bermúdez, Sierra, Quevedo-Blasco y Castro, 2010; SCImago Group, 2011; Buela-Casal et al., 2012a,b; Buela-Casal, Bermúdez, Sierra, Quevedo-Blasco, Guillén-Riquelme, y Castro, 2013; Buela-Casal, Bermúdez, Sierra, Quevedo-Blasco, y Guillén-Riquelme, 2014; Buela-Casal, Bermúdez, Sierra, Guillén-Riquelme y Quevedo-Blasco, 2015) que abarcan tanto aspectos específicos de la actividad universitaria como de la institución en su conjunto. A pesar de esto, la mayor parte de los esfuerzos en esta línea han tenido como objeto cuantificar los avances en la investigación de las universidades españolas. Por ello, en casi todos estos estudios se adoptaron indicadores que miden tanto la producción científica global como la productividad científica, siendo habitual adoptar indicadores basados en la actividad investigadora del profesorado. Entre estos indicadores destacamos el número de tramos de investigación obtenidos por los profesores de dichas universidades, el número de tesis doctorales defendidas, el volumen de ingresos de financiación competitiva obtenido, o el número e impacto de las publicaciones de sus profesores.
En contraste con todo lo anteriormente apuntado, en los apartados siguientes describimos un modelo de evaluación global de la actividad individual del profesorado de la Universidad Politécnica de Cataluña (UPC) que, como se verá, ha permitido incrementar la productividad académica de los docentes universitarios y que pretende dar satisfacción a la demanda de simplificación y desburocratización de las evaluaciones de la actividad universitaria. Dicho modelo comprende la totalidad de la actividad académica y ha demostrado ser ágil, fiable, estable, flexible, entendible y ha proporcionado al profesorado de la UPC directrices fácilmente asimilables. A su vez, este modelo ha permitido disponer de una información muy rica, permitiendo de esta manera implementar políticas universitarias eficaces. Como se discutirá más adelante, se trata de una evaluación de carácter universal, que no pretende detectar la excelencia, sino tan solo la adecuación de la práctica profesional del profesorado a las directrices de la institución. Un segundo objetivo del presente trabajo consiste en analizar de forma cuantitativa las evaluaciones realizadas en la UPC con este modelo en los 3 últimos años, globalmente y por ámbito de conocimiento. Finalmente, un tercer objetivo es determinar si la implantación de este modelo de evaluación ha tenido relación con la evolución de la UPC en las clasificaciones internacionales más comúnmente empleadas.
En este sentido es importante destacar que ninguna de dichas clasificaciones es completa, autocontenida ni da respuesta a las mismas preguntas. Así, por ejemplo, la clasificación Academic Ranking of World Universities, más conocida como ranquin de Shanghai (Center for World-Class Universities of Shanghai Jiao Tong University, 2015) mide la excelencia académica mediante indicadores ligados esencialmente a la investigación, alguno de los cuales ha sido cuestionado por la comunidad académica internacional. Por su parte, la clasificación Quacquarelli Symonds Top Universities Ranking (Quacquarelli Symonds [QS], 2015), al igual que el Times Higher Education World University Ranking (Times Higher Education, 2015), se basa no solo en los resultados académicos y de investigación sino, también, en el nivel de internacionalización y en la reputación de la institución. Por su parte, el SCImago Institutions Rankings World Report (SCImago Group, 2015) tiene en cuenta aspectos generalmente poco valorados, pero también importantes, como la capacidad de innovación y la visibilidad de la página web de la universidad y la clasificación Multirank (Center for Higher Education Policy Studies, 2015) introduce en la clasificación de las universidades parámetros ligados al compromiso con el territorio y la transferencia de conocimiento. Finalmente, existen otras clasificaciones, alguna de ellas muy fiables y adaptadas a la realidad española como el ranquin I-UGR (Grupo de investigación EC3, 2014, 2015), la de Buela-Casal et al. (2015) o la elaborada por el Instituto Valenciano de Investigaciones Económicas (2015), así como otras basadas casi de forma exclusiva en indicadores ligados a la investigación (Centre for Science & Technology Studies, 2014; National Taiwan University, 2014; URAP Center, 2014).
MétodoUnidades de análisisEn este estudio se han utilizado como unidades de análisis los resultados globales del proceso de evaluación académica con el modelo que se describe en detalle más adelante. Los materiales fueron aportados por la propia universidad, que dispone de unas bases de datos extraordinariamente completas sobre la actuación académica de su profesorado, dado que para alguno de los indicadores, como los resultados de las encuestas al alumnado o el número de tramos de investigación concedidos, entre otros, se dispone de datos con más de una década de antigüedad.
El estudio tiene un grado de fiabilidad alto, ya que la totalidad del profesorado a tiempo completo de la universidad ha podido ser evaluado en varias ocasiones de acuerdo con la metodología que se describe más abajo. Esto implicó la evaluación de 1.608 profesores en la edición de 2011, 1.710 en la de 2012 y 1.678 en la de 2013. Así pues, el total de evaluaciones individuales fue de 4.996. Estos números proporcionan una idea de la amplitud de la muestra, por lo que puede considerarse que es representativa, lo que permite extraer conclusiones fiables sobre la evolución de la productividad académica de la UPC. Aunque ciertamente la UPC es una universidad relativamente homogénea, pues se trata de una universidad técnica y no generalista, lo que podría dar lugar a algún sesgo en el análisis de los resultados, especialmente cuando se consideran aquellas disciplinas académicas menos internacionalizadas, creemos que los resultados de este trabajo podrían aplicarse a otras universidades, dado que los indicadores utilizados para evaluar al profesorado a tiempo completo son comúnmente aceptados en otros ámbitos de conocimiento.
Diseño y procedimientoEl trabajo que presentamos es un estudio empírico con metodología cuantitativa. Más concretamente, se trata de un estudio descriptivo mediante el análisis de documentos. La fiabilidad e idoneidad de la información analizada, así como la validez y pertinencia de los indicadores empleados, se ha estudiado con anterioridad (García-Berro et al., 2014) y no se discutirá en este trabajo. El lector interesado puede encontrar información detallada en dicho estudio.
Para realizar este estudio se recopiló la información de las bases de datos de la universidad y se evaluó a cada uno de los profesores de la UPC con vinculación a tiempo completo. Con ello se obtuvieron los resultados agregados por categoría y por ámbito de conocimiento, para cada una de las convocatorias (2011, 2012 y 2013), se analizó su evolución temporal y se compararon los resultados agregados de los diferentes ámbitos de conocimiento de la UPC. Con posterioridad, se estudió si existía una correlación con la posición de la universidad y de sus ámbitos de conocimiento en aquellas clasificaciones universitarias para las que ello era posible.
Instrumento de evaluaciónEl modelo de evaluación del profesorado de la UPC se basa en el análisis de diversos indicadores relacionados tanto con la docencia como con la investigación y la gestión universitaria, y se ha descrito en trabajos anteriores (García-Berro et al., 2014), por lo que en este trabajo solo se trazarán sus líneas maestras. Así pues, remitimos al lector interesado a dicho trabajo para una mayor concreción del modelo.
El modelo de evaluación de la UPC está dirigido a contrastar la productividad académica del profesorado y tiene en cuenta las 3 vertientes de la actividad académica: docencia, investigación y gestión universitaria. Para disponer de elementos de evaluación que se adecúen a la variedad de figuras de profesorado, se cataloga al profesorado en 3 categorías cada una de ellas con un nivel de exigencia distinto. Se entiende por profesorado consolidado el cuerpo de catedráticos de universidad. Los profesores titulares de universidad, catedráticos de escuela universitaria y profesores contratados doctores se encuadran en la categoría intermedia. Finalmente, en la categoría inicial se integra el resto de profesorado con dedicación a tiempo completo: profesores titulares de escuela universitaria, profesores colaboradores y profesores ayudantes doctores. Como puede observarse, el modelo de evaluación se circunscribe al profesorado con dedicación a tiempo completo, independientemente de si su vinculación con la universidad es permanente o no.
El modelo de evaluación incorpora 3 bloques de indicadores. El primero analiza el cumplimiento de las obligaciones docentes, así como su calidad (García-Berro et al., 2009; García-Berro et al., 2010). Esencialmente, el modelo de evaluación valora varios elementos: el volumen de docencia reglada impartida, la satisfacción del alumnado (García-Berro, Colom, Martínez, Sallarés y Roca, 2011), la opinión de los responsables académicos, las aportaciones profesionales y, finalmente, una valoración del contexto (autoevaluación) confeccionada por el interesado. Todo ello es juzgado por un panel de expertos, que otorga una valoración que varía de A (muy favorable) a D (deficiente). Este modelo de evaluación docente ha sido empleado con éxito en 7 convocatorias y ha sido metaevaluado (García-Berro et al., 2012), con resultados excelentes.
También se valora la actividad investigadora llevada a cabo por el profesorado, usando 3 indicadores: el tramo de investigación, la capacidad de transferencia de conocimiento y la de formación de posgrado. El tramo de investigación es una medida ampliamente reconocida y de elevada fiabilidad de la actividad investigadora. Véase, por ejemplo García-Berro, Amblàs, Sellarés, Bugeda y Roca (2013) para una discusión detallada sobre la fiabilidad de este indicador. Naturalmente, existen otros indicadores que cuantifican la producción científica empleando medidas bibliométricas, como por ejemplo el índice h (Hirsch, 2005), o el número de artículos publicado en revistas indexadas, entre otros. No obstante, se considera que la adopción del sexenio como medida de la calidad de la trayectoria investigadora del profesorado universitario es razonable, pues garantiza, por un lado, la existencia de series temporales largas, mientras que por otro lado se trata de un instrumento de validez indubitada y que goza de amplio reconocimiento por la comunidad universitaria española. En el modelo que se emplea en este estudio la capacidad de transferencia de conocimiento se mide mediante la consecución de proyectos de investigación (competitivos o privados) durante los 2 últimos cursos académicos. Este indicador es, al fin y al cabo, una medida de la capacidad para financiar la investigación que se lleva a cabo y su uso está asimismo bastante extendido, por lo que es poco cuestionado. Finalmente, la capacidad de formación de posgrado se evalúa (aunque no de forma exclusiva) mediante la dirección de tesis doctorales o, para el caso de los profesores no doctores, estando vinculado a un máster oficial o matriculado en estudios de doctorado (con limitaciones en cuanto a su temporalidad). También, dependiendo de la categoría profesional, se tiene en cuenta la dirección de tesis de máster. Cabe mencionar que este indicador permite cuantificar la capacidad de diseminación de los conocimientos adquiridos a lo largo de la trayectoria científica del docente universitario. Su importancia ha sido estudiada en profundidad recientemente (Ariza, Bermúdez, Quevedo-Blasco y Buela-Casal, 2012; Ariza, Quevedo-Blasco, Bermúdez y Buela-Casal, 2012a,b; Quevedo-Blasco, Ariza, Bermúdez y Buela-Casal, 2013; Ariza, Quevedo-Blasco, Bermúdez, y Buela-Casal, 2013), y ha quedado demostrado que es un indicador que goza de un prestigio sólido.
La implicación en la gestión universitaria se valora de acuerdo con el manual de méritos de gestión de la UPC. Se trata esta de una característica propia del sistema universitario catalán (Diario Oficial de la Generalidad de Catalunya, 2006) y sobre la que no procede extenderse más en este artículo. Es conveniente mencionar, no obstante, que se trata de un modelo numérico en el que se asignan puntos de acuerdo con un baremo que contempla la complejidad de los cargos de responsabilidad, así como la duración del correspondiente mandato.
Los requerimientos del modelo de evaluación global se adaptan a cada una de las categorías de profesorado descritas con anterioridad. Como se ha mencionado previamente, la actividad docente se clasifica en A, B, C y D, independientemente de la categoría del profesorado. La actividad investigadora, por el contrario, tiene indicadores adaptados a la categoría. Para el profesorado consolidado se requiere acreditar un sexenio vivo en las últimas 6 convocatorias resueltas, haber participado de forma fehaciente en un proyecto competitivo en los últimos 2 años y haber dirigido una tesis doctoral en los últimos 5 años. Para el nivel intermedio se requieren los 2 primeros criterios antes enunciados y participar en la formación de doctores, dirigiendo o habiendo dirigido trabajos de doctorado, o tesis de máster oficial. Finalmente, en el nivel inicial, en lugar del tramo vivo se requiere haber publicado un artículo en una revista del Science Citation Index o del Social Sciences Citation Index y, en lugar de la participación en actividades de doctorado, se requiere acreditar un progreso académico personal (estar matriculado en un programa de máster oficial, estar en la fase de investigación del doctorado, o haberse doctorado recientemente). El profesor evaluado obtiene una calificación de A si ha superado los 3 indicadores, B si solo cumple con 2, C si supera únicamente uno de los indicadores y D en caso de que no disponga de ninguno de ellos.
Las personas que estén ejerciendo tareas de gestión de especial relevancia o que acrediten disponer de un tramo de gestión en las 2 últimas convocatorias resueltas se considera que han superado uno de los indicadores de investigación, de forma que pasan a disponer de una valoración inmediatamente superior a la resultante de la aplicación estricta del modelo de evaluación. En el caso de que ya dispongan de una evaluación favorable de todos los indicadores de investigación, su valoración permanece inalterada.
Este modelo de seguimiento de la actividad académica se puede sintetizar con la ayuda de la matriz de evaluación que se muestra en la figura 1. Las celdas sin sombrear indican una valoración favorable, las de fondo gris claro indican una valoración correcta, las de color gris intermedio indican que el evaluado ha de mejorar alguna faceta de su actividad académica y la de color gris oscuro señala una deficiencia grave. Las evaluaciones se hacen teniendo en cuenta la actividad desarrollada por el profesorado en años naturales, no en cursos académicos.
ResultadosAnálisis temporal de las evaluaciones
En la figura 2 se presentan los resultados globales de 3 de las evaluaciones que se han efectuado hasta la fecha, dado que la cuarta edición está en curso en el momento de redactarse el presente trabajo y los resultados no son aún definitivos. Esta figura muestra claramente que aproximadamente 2/3 partes del profesorado evaluado obtiene valoraciones favorables (A o B) en docencia e investigación, que un porcentaje menor (del orden del 1,0% en la última evaluación efectuada) obtiene calificaciones desfavorables (una D, tanto en docencia como en investigación) y que un porcentaje del orden del 10,0% obtiene una valoración negativa en investigación, mientras que el porcentaje de profesores con valoración desfavorable en docencia es aproximadamente del 1,5%.
También, en la figura 2 se observa como a lo largo de las sucesivas ediciones del proceso de evaluación hay un flujo general hacia valoraciones más favorables, habiendo incrementos significativos en el número de profesores evaluados con una AA, que pasan de un 38,2 a un 41,8%. Este incremento se debe a que un colectivo importante de profesores calificados en ediciones anteriores con valoraciones AB y BA han visto incrementadas sus calificaciones. También se puede ver como la celda CC sufre una disminución constante, que hace que las celdas BC y CB se vean más pobladas, especialmente esta última. Por último, cabe señalar que el porcentaje de profesores evaluados de forma desfavorable en docencia (con valoraciones de D) sufre una variación importante entre la primera y la segunda evaluación y se mantiene aproximadamente constante, mientras que el porcentaje de profesores mal evaluados en investigación se incrementa de forma notable en evaluaciones sucesivas.
Análisis por ámbito de conocimientoCon los datos disponibles puede hacerse un análisis más profundo del modelo de evaluación que se presenta. En particular, es posible desglosar los datos por ámbito de conocimiento. En la UPC hay varios ámbitos, que engloban diversas áreas de conocimiento. Tradicionalmente, en la UPC se ha adoptado una clasificación genérica de las diversas ramas del saber propias que comprende la Arquitectura, el Urbanismo y la Edificación; la Ingeniería Industrial; la Ingeniería de las Tecnologías de la Información y las Comunicaciones; la Ingeniería Civil, Geológica y Ambiental; y las Ciencias e Ingenierías Biotecnológicas. Como puede verse, cada uno de estos ámbitos engloba multitud de áreas de conocimiento. Así pues, en lo que sigue presentamos los resultados del modelo de evaluación de acuerdo con esta clasificación. Para ello se usará la figura 3, en donde se muestran los resultados de la evaluación para cada uno de los ámbitos anteriormente relacionados. Los resultados que se presentan corresponden a los totales agregados de las 3 ediciones de la evaluación.
Como puede verse, existe una diversificación importante. Así, por poner un ejemplo, la fracción de profesores evaluados con una calificación excelente, tanto en docencia como en investigación, varía notablemente: es de un 16,9% en el ámbito de la Arquitectura, el Urbanismo y la Edificación, de un 54,9% en el ámbito de la Ingeniería Civil, Geológica y Ambiental, de un 34,0% en el ámbito de la Ingeniería Industrial, de un 44,4% en el ámbito de las Ciencias e Ingenierías Biotecnológicas y de un 45,1% en el ámbito de la Ingeniería de las Tecnologías de la Información y Comunicaciones. Por el contrario, los porcentajes de profesores evaluados con una DD son, respectivamente, 0,8; 0,0; 0,3; 0,3 y 1,2%. Ello indica un cierto grado de especialización. Así, generalizando, puede decirse que el ámbito de la Arquitectura, el Urbanismo y la Edificación es más propedéutico y orientado a la docencia, mientras que el de Ingeniería Industrial está más orientado a la prestación de servicios. El resto de ámbitos de conocimiento presenta balances equilibrados, aunque el de la Ingeniería Civil, Geológica y Ambiental (que se estudiará en detalle más adelante) resulta especialmente bien valorado en todas las facetas.
La posición de la UPC en el ranquin Quaqcuarelli SymondsPara comenzar este análisis es conveniente hacer patente que nuestro objetivo inicial consistía en estudiar el progreso de la UPC en los diversos ránquines universitarios. No obstante, algunos de los ránquines universitarios presentan exclusivamente los datos en forma agregada, mientras que otros los especifican por disciplina científica. Además, normalmente estas disciplinas científicas no coinciden con la división en ámbitos de conocimiento que adopta la UPC. Es por ello por lo que una comparación con dichas clasificaciones resulta compleja y dificultosa. La única disciplina científica que se corresponde de manera unívoca con un ámbito de conocimiento de la UPC es la de la Ingeniería Civil, Geológica y Medioambiental, y el único ranquin que ofrece tal clasificación es el QS, de modo que las comparaciones de nuestro modelo de evaluación se harán con esta clasificación. Cabe mencionar, no obstante, que la clasificación QS ha añadido en su última edición (2015) un ámbito de Arquitectura, en el cual la UPC ocupa la posición número 22. Sin embargo, hay 2 factores que impiden hacer un estudio detallado. Por un lado, para realizar el ranquin en este ámbito de conocimiento se ha dado un peso muy elevado a la reputación (70% en lugar del 40% que se adopta habitualmente para otras disciplinas) y, por otro, todavía no se dispone de la evolución temporal de la posición de la UPC en dicha clasificación. Sin embargo, es de esperar que en sucesivos trabajos podamos ampliar el estudio que se presenta en este artículo, analizando la información del ámbito de la Arquitectura.
En la clasificación QS correspondiente a los años sometidos a evaluación (2011, 2012 y 2013) la UPC en su conjunto ocupó las posiciones 350, 345 y 337, y el porcentaje de profesores evaluados con una calificación AA fue, respectivamente, 38,2; 41,0 y 41,8%. Claramente existe una correlación positiva entre ambas series de datos. Esta correlación se ve reforzada por el hecho de que el ámbito de conocimiento en el que el porcentaje de profesores evaluados con valoraciones AA es mayor es, precisamente, el ámbito de la Ingeniería Civil, Geológica y Medioambiental, que también es, justamente, el que mejor posición logra en la clasificación QS, que ocupa los puestos 101-150 (no se detalla la posición específica a partir del puesto 100), 47 y 36. Además, en este caso también se observa una correlación positiva puesto que esta escalada de posiciones se ve refrendada por incrementos del porcentaje de profesores evaluados con una AA, que pasan de 51,2 a 55,7 y a 57,4%. En el resto de disciplinas resulta complicado hacer una comparación fiable, puesto que se encuentran entre los puestos 101 a 150 que, como se ha mencionado anteriormente, no se detallan en la clasificación QS. En definitiva, aunque la serie temporal es todavía limitada y, por consiguiente, se requerirán estudios más detallados y prolongados, todo parece indicar que los resultados del modelo de evaluación se correlacionan positivamente con la evolución de la posición de la UPC en las clasificaciones internacionales.
Podría argumentarse, de forma legítima, que esta correlación no tiene por qué ser necesariamente producto de la implementación del modelo de evaluación descrito. No obstante, en ausencia de cambios en la legislación en materia de universidades, así como en la reglamentación de los procedimientos de acreditación que regulan el acceso a los cuerpos docentes universitarios y a las categorías laborales de profesorado con vinculación a tiempo completo durante los años analizados, en un contexto económico extraordinariamente restrictivo, con reducciones sustanciales de la aportación de las administraciones públicas al presupuesto ordinario de la universidad, y manteniendo las líneas esenciales de los planes de formación del profesorado de la propia universidad, parece lógico suponer que existe una relación causal entre la implantación del modelo de evaluación y la mejora de posiciones en los ránquines universitarios.
Además, los sistemas complejos, y la universidad sin duda lo es, suelen adaptarse a los estímulos o los cambios de contexto, especialmente cuando estos suponen una ruptura radical con los hábitos tradicionales. En el caso de la UPC la implantación de este modelo de evaluación supuso un cambio brusco en la medida de la actividad de los docentes universitarios, al considerarse de forma cuantitativa no solo el volumen de docencia impartido sino también el resto de las aportaciones que se han descrito en secciones anteriores. Ello refuerza la idea de que efectivamente existe una causalidad entre la implantación del procedimiento de evaluación y la mejora en los ránquines internacionales.
ConclusionesEn este artículo se ha presentado un modelo de evaluación integral del profesorado. Este modelo se ha aplicado en la UPC durante 3 años naturales consecutivos (2011, 2012 y 2013) con resultados satisfactorios. Se trata de un modelo que contempla la globalidad de la actividad académica del profesorado; esto es, que comprende no solo la investigación, sino también la docencia (tanto de grado como de posgrado) y la transferencia de conocimiento. Es un modelo fácil de implementar y que no requiere que el profesorado aporte datos suplementarios, sino que se apoya en datos conocidos por la propia universidad, poco burocrático y que ha sido aceptado de buen grado por una gran parte del profesorado de la universidad. El modelo permite hacer un seguimiento de la productividad académica del profesorado, proporcionando de esta manera una visión realista y puntual de la actividad de la universidad. Todas estas características permiten, por un lado, establecer políticas de fomento de la actividad y, por otro, analizar el cumplimiento de objetivos en el marco de una planificación estratégica de la institución a medio y largo plazo (García-Berro, Roca, y Navallas, 2008).
En este trabajo también se ha analizado el resultado de la aplicación del modelo de evaluación a lo largo de los años, no solo a nivel global de la institución sino también por ámbito de conocimiento. Del análisis de la evolución temporal se desprende que, una vez conocidos los indicadores de evaluación, el profesorado tiende a adaptar su actividad académica al objeto de la evaluación. Ello ha comportado que el porcentaje de profesores evaluados de forma positiva a lo largo de las sucesivas ediciones del proceso vaya incrementándose de forma paulatina. Asimismo, se ha encontrado que en general no existen grandes diferencias entre los ámbitos de conocimiento propios de la UPC, exceptuando el ámbito de la Arquitectura, el Urbanismo y la Edificación que, por sus propias características y peculiaridades, se aparta en cierta medida del resto de los ámbitos.
Por último, se ha estudiado si este incremento de productividad tiene relación con la posición de la universidad en las clasificaciones internacionales. Lamentablemente, ello ha podido hacerse tan solo para una de dichas clasificaciones, el ranquin QS. Ello se debe a que los ámbitos de conocimiento definidos por la propia UPC no son coincidentes con los del resto de los ránquines. Aunque una comparación fiable es todavía prematura, pues tan solo se han analizado los resultados de 3 evaluaciones, se ha encontrado que hay una correlación positiva entre el porcentaje de profesores evaluados de forma positiva y la mejora de posiciones de la UPC en el ranquin QS, que es especialmente significativa en el ámbito de la Ingeniería Civil, Geológica y Medioambiental.
En definitiva, en este artículo se ha demostrado que una política de evaluación de la actividad académica de los docentes universitarios tiene como consecuencia una mejora de la posición de la universidad en el ranquin QS. Este resultado, aunque ciertamente previsible, necesitaba ser cuantificado. Nuestro trabajo ha dado respuesta a esta demanda. Ello ha permitido a la UPC no solo dotarse de una herramienta práctica para seguir la evolución de su actividad, sino también determinar aquellos campos científicos en los que existe posibilidad de mejora. No obstante, dado que la comunidad universitaria tiende a adaptarse al método de evaluación, cabría plantearse la posibilidad de incrementar el grado de exigencia del modelo, especialmente en los indicadores relacionados con la investigación.
Finalmente, deseamos enfatizar que, por lo limitado de la serie temporal analizada en este trabajo, las conclusiones de nuestro trabajo deben tomarse con cierta cautela. Claramente, sería conveniente analizar los datos correspondientes a series temporales más largas a fin de determinar si las mejoras observadas se mantienen o, por el contrario, se observa un cambio de tendencia y, en su caso, reflexionar sobre las posibles causas de dicho cambio. No obstante, el modelo de evaluación presentado goza de estabilidad y reconocimiento entre la comunidad académica de la UPC, por lo que prevemos que los datos correspondientes a ediciones sucesivas estarán disponibles en un futuro y permitirán de esta manera un análisis más fiable.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
