La evaluación y la acreditación de los programas académicos en México surgieron como una parte de las estrategias gubernamentales dirigidas al mejoramiento de la calidad del sistema de educación superior (Rubio, 2006). En la actualidad, existen diversos organismos evaluadores especializados en las diversas disciplinas, pero son dos las instancias que aglutinan estas tareas: a) los Comités Interinstitucionales para la Evaluación de la Educación Supe-rior (CIEES), surgidos en 1991, que concentran su actividad en el diagnóstico y la evaluación de los programas educativos con base en la asignación del nivel 1 (programas de calidad o pre-acreditados); b) el Consejo para la Acreditación de la Educación Superior (COPAES), creado en el año 2000 y que constituye el único organismo avalado por la Secretaria de Educación Pública (SEP) para otorgar la acreditación de los programas (Rubio, 2007), o por decirlo de algún modo, funge como el “acreditador de los acreditadores” (COPAES, 2013).
El número de programas evaluados del nivel 1 por los CIEES aumentó 600% entre 2001 y 2014, y se incrementó 157% tan sólo en los últimos siete años (Rubio, 2007; CIEES, sitio oficial). Actualmente, el 36% de los estudiantes de educación superior cursa sus estudios en programas acreditados por este organismo (COPAES, 2013). Con base en estos datos, es posible establecer que la evaluación y la acreditación conforman una política plenamente aceptada entre las Instituciones de Educación Superior (IES), de modo que los procesos, los procedimientos y las instancias que los llevan a cabo son considerados como legítimos y favorables para el mejoramiento del Sistema de Educación Superior (SES).
Sin embargo, ¿cuáles son los efectos “reales” que han tenido la evaluación y la acreditación como procesos de aseguramiento de la calidad del SES? Esta pregunta intenta ser respondida por los seis autores del libro Evaluación y acreditación de programas académicos en México: revisar los discursos, valorar los efectos, coordinado por Angélica Buendía y editado por la ANUIES en su colección Biblioteca de la Educación Superior.
Estructura y principales resultadosLa obra indaga en conocer cómo responden los programas académicos ante los resultados de la evaluación y de la acreditación, cómo se asimilan estos resultados y cómo se generan acciones de mejora en los ámbitos organizacional e institucional. Tenemos conocimiento de algunos estudios que hayan analizado los procesos de evaluación y de acreditación (Del Castillo, 2006; Rosario, Marúm, Vargas, Arroyo y González, 2006; Rubio, 2007; Díaz Barriga, 2011), pero hasta ahora ninguno había abordado la percepción de sus impactos en términos del análisis de los cambios institucionales y organizacionales. De esta manera, la relevancia del libro que nos ocupa radica en su aportación al conocimiento de un ámbito, por lo general, escasamente abordado, pues se enfoca en conocer el impacto de estas políticas a través de las experiencias y de las opiniones de quienes producen, avalan y “viven” sus resultados, a saber, los funcionarios gubernamentales, los responsables de los organismos evaluadores y acreditadores, los funcionarios universitarios, los docentes, los estudiantes y los egresados.
Se presenta, entonces, un análisis de cinco estudios de caso a partir de los cuales se comparan las acciones que han modificado organizacional o institucionalmente a las IES estudiadas, así como el efecto que han tenido en el mejoramiento de los programas académicos. Los casos elegidos son: la licenciatura en derecho de la Universidad Autónoma de Sinaloa (UAS), a cargo de Marcela Contreras; el área de ingeniería electrónica de la Universidad de Guadalajara (UdeG), a cargo de Claudia Díaz; la licenciatura en matemáticas de la Universidad Autónoma Metropolitana (UAM), a cargo de Angélica Buendía; la ingeniería en agronomía, especializada en fitotecnia, de la Universidad Autónoma Chapingo (UACH), a cargo de Elena Quiroz; y la carrera en medicina de la Universidad Veracruzana (UV), a cargo de Lucila Parga.
En cuanto a su estructura, el libro es claro y sistemático. Desde el primer capítulo, las autoras (Angélica Buendía y Elena Quiroz) sitúan al lector en las perspectivas analíticas para el estudio de las políticas de aseguramiento de la calidad de la educación superior. El enfoque utilizado es el de la teoría organizacional y el de los estudios institucionales, y para el lector que no está familiarizado con el marco interpretativo, este apartado resulta sumamente esclarecedor, pues se desarrollan los conceptos principales en los cuales discurre el análisis de los casos, tales como el isomorfismo, los mitos racionalizados, las normas institucionalizadas y el aspecto de la organización.
Los cinco capítulos subsecuentes presentan los resultados de los estudios de caso, en los cuales se delinean un conjunto de conclusiones acerca de los efectos que han tenido la evaluación y la acreditación de programas, con base en el análisis de diversos datos cuantitativos y de los resultados de las entrevistas realizadas a los informantes clave. En el penúltimo capítulo (a cargo de Angélica Buendía y José Luis Sampedro) se expone la comparación de los resultados de estos estudios y se condensan los hallazgos más relevantes a manera de conclusión. En un apartado final se describe la metodología, lo cual le otorga sustento y rigor a la obra; incluso este capítulo puede ser utilizado como un modelo de investigación didáctico para aquellos investigadores interesados en utilizar el método comparado por medio de estudios de caso.
Así pues, ¿qué discursos se han construido y qué efectos han tenido la evaluación y la acreditación como mecanismos para el mejoramiento de la calidad de los programas de estudio de las IES mexicanas? Los resultados de la obra aquí reseñada abren la pauta para una discusión profunda acerca de estas cuestiones. En principio, la evaluación y la acreditación se impulsaron como políticas dirigidas a la rendición de cuentas de las IES a través del cumplimiento de diversos indicadores o estándares de desempeño, sobre todo de tipo cuantitativo. La capacidad de las IES para “demostrar” su eficiencia se vería idealmente reflejada en los resultados de la evaluación, de los cuales depende la obtención o la negación de recursos económicos extraordinarios y, de modo simbólico, pero también enfático, su legitimidad.
El diseño institucional que se requiere para hacer operar estas políticas es, en extremo, complejo: se evalúan los programas académicos, los profesores, los estudiantes, los investigadores, los procesos, la normatividad, el gobierno, la infraestructura y la gestión. Es decir, se ponen en marcha tal cantidad de recursos, tanto humanos como materiales, que nos obligan a discutir a fondo los procedimientos y los métodos utilizados para evaluar y acreditar, así como el uso que se le ha dado a los resultados de la valoración.
Desde sus inicios, la política supuso que existirían procesos de cambio organizacional e institucional, mismos que serían puestos en marcha para la superación de las problemáticas particulares detectadas por medio de la evaluación. En la práctica, exponen los autores, la evaluación y la acreditación tienen un efecto homogeneizador de las IES. Este fenómeno, conocido como isomorfismo, es un método de sobrevivencia en un entorno que les obliga a asumir de forma irrestricta estos procesos valorativos. Por medio de esta obligatoriedad, les conduce a asimilar las prácticas, los ritos y los modelos exitosos, así como a generar modificaciones normativas que establecen parámetros de conducta socialmente deseables y a reconocer las sanciones y las gratificaciones que acompañan a la evaluación. Los resultados presentados nos permiten reflexionar sobre un hecho notorio: si bien las agencias evaluadoras operan como entes diseminadores que promueven la asimilación de estos mecanismos y los introyectan a través de nuevas prácticas organizacionales, son las propias IES las que, al haberse beneficiado con la obtención de recursos adicionales a su presupuesto operativo, han contribuido a su consolidación como políticas de homogenización “necesarias” para asegurar el mejoramiento de la calidad de la educación superior.
La evidencia encontrada, mediante los estudios de caso, no permite aseverar que exista un impacto notorio en el mejoramiento de la calidad de los programas educativos que han sido evaluados o acreditados, esto es especialmente patente en la UdeG, en la UAM y en la UACH, mientras que en las dos universidades donde se aprecian cambios visibles (UV y UAS), se observan sólo a través de la modificación profunda de los planes y programas. En todas las IES estudiadas han surgido nuevos diseños institucionales que son una condicionante para hacer operar las recomendaciones de los organismos evaluadores: nuevas estructuras de organización y de gestión, así como nuevos reglamentos. De forma similar, un cambio favorable observado en todos los casos es la ampliación de la infraestructura y del equipamiento.
Las percepciones obtenidas por medio de las entrevistas permiten agrupar las opiniones en dos tipos: por un lado, los funcionarios y los encargados de la evaluación consideran que ésta y la acreditación han tenido efectos positivos, tanto en el mejoramiento de las condiciones materiales de la universidad como en su prestigio social; por el otro, los profesores y los estudiantes muestran una postura crítica. Los primeros asocian a la evaluación y a la acreditación como mecanismos dirigidos a la obtención de recursos sin incidencia en la calidad de los programas, mientras que los estudiantes encuentran una escasa o nula asociación entre la evaluación y el mejoramiento de la calidad educativa.
La carrera por obtener recursos y legitimidad intensifica, en lugar de inhibir, la burocratización, la simulación, el mimetismo y la coercitividad de los procesos de evaluación. Los resultados reportados son enfáticos y, sin duda, denotativos, de lo que ocurre en otras universidades del país. En la UACH, la evaluación no ha modificado la estructura organizacional, pues los resultados no son considerados para la toma de decisiones por los encargados de la gestión. En la UAM existe una profunda desconfianza acerca de los verdaderos intereses que “mueven” a las instancias evaluadoras, a las cuales se considera más como organismos con fines de lucro que centrados en la búsqueda de la calidad. La legitimidad de los programas radica en otros procesos, por ejemplo, en la forma de trabajo de los colectivos académicos, y no tanto en la evaluación.
En la UdG las recomendaciones realizadas por las instancias evaluadoras, acerca de la necesidad de incrementar el número de profesores de tiempo completo, no han tenido efecto alguno en la constitución de la planta docente. Del mismo modo, las formas de gobierno han permanecido ajenas a los cambios que deberían ser instrumentados. En cambio, en la UAS sí se ha modificado la legislación para regular las formas de trabajo, mientras que en la UV se ha realizado una modificación profunda en el diseño de los programas de estudio, en específico del enfoque educativo.
En todos los casos ha existido algún tipo de transformación en los reglamentos, y por ende ha habido ajustes en las rutinas, en las estructuras, en los procesos de gestión, en la vida colegiada y en los comportamientos sociales. Sin embargo, a excepción de la UV y, en menor grado, de la UAS, es difícil suponer en qué medida han contribuido a un mejoramiento sistemático, enfático y profundo de los procesos de enseñanza y de los métodos didácticos. Incluso en estas universidades se requiere un estudio profundo para saber de qué manera el cambio de los planes y programas ha mejorado sustancialmente la experiencia escolar, así como los resultados del desempeño estudiantil y docente.
A través de la teoría organizacional, el libro reconoce que los términos “evaluación” y “acreditación” se vuelven equivalentes de “calidad” y “excelencia”. Se trata de mitos racionalizados que proyectan a las IES como adecuadas y modernas, cuando aún no existen resultados del todo sólidos que avalen su eficacia. En su acepción semántica, al convertirse en mitos, estos mecanismos se asumen como narraciones maravillosas “situada(s) fuera del tiempo histórico […] que condensa(n) alguna realidad humana de significación universal […] rodeada(s) de extraordinaria estima […] a las que se atribuyen cualidades o excelencias que no tienen, o bien una realidad de la que carecen” (RAE, en línea).
Reflexiones finalesDetengámonos un poco en la metáfora de los mitos racionalizados para proponer un conjunto de cuestiones que pueden permitirnos continuar en la reflexión sugerida por el texto. En primer lugar, la pregunta obligada radica en saber si es posible medir los efectos a partir de los indicadores que son utilizados por los organismos evaluadores. En realidad, ¿qué evaluamos? ¿Por qué y para qué evaluamos? La investigación aquí reseñada nos invita a cuestionar si estamos evaluando para legitimar una política que se puso en marcha a través de un diseño institucional complejo y costoso –que también incluye la creación de instancias, de mecanismos, de procesos y de insumos de evaluación–, o para lograr un mejoramiento permanente y sistemático de aspectos sustantivos como el de las experiencias de los profesores, de los estudiantes, del aprendizaje y del desempeño escolar.
No sabemos qué atribuir a cuál cosa. La homogeneización de los procesos desconoce las diferencias locales y disciplinares, así como las condiciones singulares que dan cuenta de la complejidad del sistema universitario mexicano.
Si deseamos comprender las políticas más allá de su hechura, para traducirlas en acciones concretas que den forma y sentido a prácticas locales, será necesario el análisis detallado de las realidades de cada una de las universidades públicas del país (Ibarra, 2003: 11).
A veinte años de haberse impulsado, parece evidente que existen visos de una crisis de la evaluación y de la acreditación como mecanismos para asegurar la calidad educativa. Esto se muestra a través de los resultados no deseados –o “efectos perversos” (Boudon, 1980)–, que han permitido la simulación en algunas IES, por no hablar de otras actividades dudosas en aras de conseguir un resultado satisfactorio que, a su vez, derive en la obtención de recursos extraordinarios y de prestigio, antes que pensar en el mejoramiento sistemático y permanente de los programas.
Sin duda alguna, esta obra logra su cometido: contribuye a la reflexión de los mecanismos de aseguramiento de la calidad, a analizar su diseño y su implementación, así como a pensar en los procesos de cambio organizacional e institucional que se requieren en las universidades. También conduce a deliberar acerca del fundamento, de los procedimientos y de los resultados de una política educativa de alto impacto para la organización de las universidades. Dado que se ha destinado una gran cantidad de recursos tanto materiales como humanos para su puesta en marcha, parece insoslayable revisar los discursos y valorar los efectos de la evaluación y de la acreditación de los programas de estudio en las universidades mexicanas.