covid
Buscar en
Revista de la Educación Superior
Toda la web
Inicio Revista de la Educación Superior Las competencias del evaluador educativo1
Información de la revista
Vol. 44. Núm. 174.
Páginas 101-126 (abril - junio 2015)
Compartir
Compartir
Descargar PDF
Más opciones de artículo
Visitas
8359
Vol. 44. Núm. 174.
Páginas 101-126 (abril - junio 2015)
Artículo
Open Access
Las competencias del evaluador educativo1
Visitas
8359
Tiburcio Moreno Olivos
Doctor en Pedagogía, profesor-investigador en el Departamento de Tecnologías de la Información, Universidad Autónoma Metropolitana-Cuajimalpa
Este artículo ha recibido

Under a Creative Commons license
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Tablas (6)
Tabla 1. Series de Habilidades Esenciales de Evaluación (ess)
Tabla 2. Competencias Esenciales para Evaluadores de Programas (ecpe)
Tabla 3. Elementos de Conocimiento para la Evaluación de Programas
Tabla 4. Competencias para los Comisionados del Desarrollo Internacional de Evaluaciones
Tabla 5. Competencias para los Directores del Desarrollo Internacional de las Evaluaciones
Tabla 6. Competencias para los Evaluadores del Desarrollo Internacional de las Evaluaciones
Mostrar másMostrar menos
Resumen

El artículo tiene como objetivo identifi cuáles son las competencias profesionales que debe poseer un evaluador educativo. Este trabajo también apunta a la recuperación de la literatura especializada del “evaluador prototipo”, a fi de ofrecer algunas sugerencias respecto a sus competencias útiles para quienes participan en la dirección de programas de evaluación o en el diseño de programas de formación de evaluadores educativos. Los hallazgos principales revelan una serie de competencias profesionales, tales como: habilidades interpersonales y de comunicación, métodos de investigación, análisis de datos, gestión de proyectos, ética profesional, conocimiento del contexto social y de la naturaleza del objeto evaluado.

Palabras clave:
Competencias profesionales
Evaluación
Evaluador
Educación superior
Abstract

Based on an extensive literary review, this article aims to identify the key skills that any professional who conducts educational evaluations must have. Some of the main abilities identified and discussed in this paper are interpersonal and communication skills, research methods, data analysis, project management, professional ethics, and knowledge of the social context and of the object under evaluation. The article concluded with some useful suggestions for those who are in charge of evaluation programs or who train educational evaluators.

Keywords:
Professional skills
Assessment
Evaluator
Higher education
Texto completo
Presentación

La evaluación en educación está en boga en todo el mundo; se trata de un tema relevante toda vez que ésta tiene un poder indiscutible para configurar y afectar los resultados de los sistemas educativos. Nuestro país no es la excepción; en las últimas tres décadas hemos visto como los procesos de evaluación han ido extendiéndose y permeando cada vez a más agentes, programas e instituciones. Podría afirmarse que la evaluación tiene tantas cabezas como la Hidra de Lerna.

Durante este periodo de intensificación de la evaluación, las principales cuestiones que han captado la atención tienen que ver, sobre todo, con las políticas nacionales de evaluación (Andere, 2009; inee, 2006), las pruebas nacionales y sus resultados (Martínez, 2013; Díaz Barriga, 2006), las pruebas internacionales y el lugar que el país ocupa en la clasificación (pisa, 2010), los indicadores de evaluación (Blanco, 2009; inee, 2007), la acreditación de programas y la certificación de instituciones (Díaz Barriga, Barrón y Díaz Barriga, F., 2008; Ordorika, 2004), los exámenes de ingreso y egreso de la educación media superior y superior (Aboites, 2012; Ceneval, 2004), la relación entre los resultados de evaluación y los programas de estímulos económicos (Rueda y Díaz Barriga, 2011; Montoya, Arbesú, Contreras y Conzuelo, 2014; García, 2014), entre otros.

El hecho de que la atención esté centrada predominantemente en los resultados de las evaluaciones (aunque habría que subrayar que tal interés se suscita sólo cuando los resultados son tan asombrosos o tan indecorosos que resulta casi imposible ignorarlos), en sí mismo es una clara señal del atraso en este campo, pues los temas de calado profundo generalmente se soslayan, por ejemplo, por qué evaluar, para qué evaluar, qué hacer con los resultados de la evaluación, cuál debe ser el papel de la evaluación y de los evaluadores en una sociedad democrática, etc. Y cuando tales tópicos se abordan, generalmente se hace de forma superficial o empleando una retórica política propia de otra época.

Por otro lado, todo modelo de evaluación contiene una serie de elementos que le son imprescindibles, uno de ellos es quién evalúa. El evaluador2 es un actor clave en cualquier programa de evaluación puesto que en él recae fundamentalmente la responsabilidad de llevar a cabo esta compleja labor, de modo que según su formación, su experiencia, su credibilidad y su autoridad, será en buena medida la calidad de la evaluación. Con el discurrir del tiempo ha habido un cambio sustancial, hemos transitado, en el plano teórico, de una heteroevaluación hacia formas de evaluación más democráticas y participativas, como la autoevaluación y la coevaluación, donde los evaluados se involucran activamente en su propio proceso de evaluación. No obstante, las prácticas de evaluación de la educación (superior) en nuestro país continúan dominadas por esquemas verticales donde los individuos evaluados asumen un rol pasivo, convertidos en objetos y nunca en sujetos de la evaluación, cuya participación se limita generalmente a suministrar información o datos que se requieren por parte de los evaluadores para rellenar los formatos correspondientes.

En los debates educativos recientes3 de nuestro país, un tema que prácticamente ha estado ausente —o cuyo abordaje ha sido tangencial— es el de las competencias o capacidades del evaluador. Consideramos que este asunto es crucial toda vez que de acuerdo con la pericia del evaluador en este ámbito, las implicaciones y consecuencias para los evaluados pueden ser de muy distinta índole.

Precisamente este artículo tiene como objetivo identificar cuáles son las competencias profesionales que debe poseer un evaluador en educación. Algunas de las preguntas centrales que guían nuestra reflexión son: ¿se requiere contar con cierto perfil profesional o cualquiera puede ser evaluador en el campo educativo?; en todo caso, según los especialistas, ¿qué perfil debe cubrir un evaluador profesional en el ámbito educativo?; ¿qué conocimientos y habilidades debe poseer?; ¿qué actitudes y valores deben guiar su actuación?; ¿quién debe formar a los evaluadores? Pensamos que responder a estas cuestiones es importante, pues si bien no agotan todo lo que se podría decir en relación con este tema, al menos abren una ventana para la reflexión y la discusión en torno al papel de este personaje central: el evaluador.

Otro aporte adicional de este trabajo estaría relacionado con recuperar de la literatura especializada un perfil del “evaluador arquetipo”, de modo que se puedan ofrecer algunas orientaciones en cuanto a las competencias del evaluador que resulten útiles para aquellos involucrados, sea en la dirección de los programas de evaluación dentro del sistema educativo formal a distintos niveles (nacional, estatal, zona escolar, institución educativa), o bien en el diseño de los programas de formación de evaluadores educativos.

A partir de nuestra experiencia participando en procesos de evaluación de la educación superior, sabemos que quienes se desempeñan como evaluadores generalmente sólo tienen que cubrir ciertos requisitos formales, tales como: contar con un posgrado en un determinado campo disciplinar, ser profesor de tiempo completo, ser miembro del Sistema Nacional de Investigadores (sni) para evaluar proyectos del Consejo Nacional de Ciencia y Tecnología (Conacyt), tener Perfil Promep (Programa de Mejoramiento del Profesorado) ahora Prodep (Programa para el Desarrollo Profesional Docente), entre otros. Estos requerimientos pueden variar según la convocatoria de que se trate y el objeto a evaluar (programas, proyectos, publicaciones, candidatos para ingresar a un programa de posgrado o para recibir alguna distinción académica, etcétera). En síntesis, casi basta con ser un par académico y tener disponibilidad de tiempo para desempeñarse como evaluador de la Secretaría de Educación Pública (sep), del Conacyt, de un organismo acreditador o de alguna Institución de Educación Superior (ies) del país. La exigencia de contar con formación y experiencia en el campo de la evaluación, lo que dotaría al evaluador de la expertise necesaria para llevar a cabo esta ardua empresa, simplemente parece un lujo del que se puede prescindir. Ante estos sucesos recurrentes, uno no puede dejar de experimentar cierta sensación de déjà vu, pues los sesgos de estas evaluaciones durante largo tiempo han afectado los intereses de las personas e instituciones.

En la bibliografía especializada se encuentran escasas referencias a las competencias del evaluador en sentido genérico; los trabajos de investigación se circunscriben sobre todo a las competencias del evaluador de programas. No obstante, en estos documentos se encuentra información valiosa que puede ser extrapolada al evaluador educativo en general, independientemente del objeto que se evalúa.

Los hallazgos principales apuntan a la identificación de un conjunto de competencias profesionales que un evaluador educativo —que se precie de serlo— debe cubrir; si no todas, al menos algunas que parecen ineludibles, tales como: habilidades interpersonales y de comunicación, pensamiento crítico, métodos de investigación, análisis de datos cuantitativos y cualitativos, administración de datos, gestión de proyectos, habilidades de presentación (Dewey, Montrosse, Schroter, Sullins & Mattox, 2008), ética profesional, conocimiento del contexto social y de la naturaleza del objeto de la evaluación.

Perfil profesional del evaluador

Consideramos “evaluador” a quien, dentro de un campo determinado de actividad, averigua e informa sobre los méritos y carencias del objeto de evaluación. El valor que se le asigne sirve para muchos propósitos: la mejora de un proceso, la concesión de un premio, la aplicación de medidas especiales de refuerzo educativo, el cumplimiento de un contrato. Éstas son algunas de las diversas formas en que se emplea la evaluación (Scriven, 1966).

En tanto que las “competencias profesionales” aluden a un conjunto de elementos combinados (conocimientos, habilidades, destrezas, actitudes, saberes, etc.), que se integran atendiendo a una serie de atributos personales (capacidades, motivos, rasgos de la personalidad, aptitudes, etc.), tomando como referencia las experiencias personales y profesionales, y que se manifiestan mediante determinados comportamientos o conductas en el contexto de trabajo (Moreno, 2009; Navío, 2005).

Concebimos a la evaluación como una disciplina y como un campo de aplicación especializado, por tanto, sostenemos que no sólo se requiere contar con una formación ex professo para poder desempeñarse competentemente como evaluador en el campo educativo, sino que es un requisito sine qua non, toda vez que de los resultados de la evaluación se derivan fuertes repercusiones (promoción, certificación, reconocimiento a la calidad, prestigio e incluso ayudas económicas) que afectan los derechos de los evaluados. Todo esto obliga a que la evaluación vaya mucho más allá de la buena voluntad u opinión particular del evaluador. El perfil profesional del evaluador debe ser amplio, flexible, e incluir de forma integrada conocimientos, habilidades, actitudes y valores, recursos todos éstos que deberá saber movilizar para resolver de forma efectiva y oportuna los diversos problemas que le plantee el campo laboral. Estos problemas se suelen caracterizar por ser complejos (no admiten una respuesta única), multidimensionales, dinámicos, y ser abiertos o poco estructurados. En este contexto, un perfil profesional fijo o rígido resultará de escaso valor.

Tipos de evaluadores

De acuerdo con Nevo (1997: 33), para ser un evaluador competente y fiable se necesita la combinación de una amplia gama de características; éstas incluyen competencia técnica en el área de la medida y de la investigación, conocimiento del contexto social y de la naturaleza del objeto de la evaluación, destreza en relaciones humanas, integridad personal y objetividad, así como características relacionadas con la autoridad y la responsabilidad. Como no es sencillo hallar una persona que satisfaga todos estos requisitos, la estrategia consiste en conformar un equipo de evaluadores que coordine la evaluación o, por el contrario, optar por una persona con las características más apropiadas para que se ocupe de un componente específico de la evaluación.

Según el citado autor, en la literatura especializada se pueden identificar diferentes tipos de evaluadores, y una primera distinción estriba entre el evaluador interno y el evaluador externo (Scriven, 1966, 1991; Stufflebeam, et. al. 1971). El evaluador interno suele estar contratado por los responsables del proyecto y les informa directamente; ergo, su objetividad y su credibilidad externa pueden ser menores que las del evaluador externo que no es contratado directamente por los responsables del proyecto y goza de mayor autonomía. Además, en vista de que el evaluador interno resulta más próximo y familiar, puede parecer menos amenazante que el externo para los evaluados.

La segunda distinción, atribuida a Scriven (1966), radica entre el evaluador profesional y el evaluador práctico; esta diferencia no es una valoración en cuanto a la calidad del evaluador, sino que más bien alude a dos ejes de formación y experiencia. El evaluador práctico es aquél que no está especializado en evaluación y su participación en la misma constituye sólo una parte de su trabajo, en tanto que el evaluador profesional posee una vasta formación en evaluación y su principal ocupación es liderar evaluaciones.

No obstante, aunque las competencias técnicas del evaluador práctico pueden ser inferiores que las del profesional, es probable que se muestre más empático con las necesidades de evaluación y establezca una relación interpersonal más satisfactoria con los integrantes del proyecto en cuestión. Estas dos distinciones son independientes la una de la otra, y puede haber evaluadores internos/prácticos, externos/prácticos, internos profesionales/externos profesionales (Nevo, 1997).

Ahora bien, lo expresado en líneas anteriores es lo que refiere la literatura especializada sobre este tema, pero lo que dicta la realidad en nuestro país parece apuntar en una dirección muy distinta, pues como ha sido mencionado antes, quienes tienen en sus manos las tareas de evaluación suelen ser, en el mejor escenario, individuos relacionados con el mundo de la educación (algunos incluso con amplia experiencia en la administración o la gestión escolar), pero que en su faceta de evaluadores se revelan como amateurs o “espontáneos”. En el peor escenario, no menos habitual desafortunadamente, se encuentran aquellos individuos encargados de evaluar la educación que podríamos calificar como “diletantes”,4 cuya posición como evaluadores o gestores de la evaluación se debe especialmente a sus relaciones sociales con quien detenta el poder político, antes que a sus competencias como profesionales de la educación y mucho menos de la evaluación. Aquí cabría acotar que “debido al enorme impacto de las evaluaciones, sólo deberían ser realizadas por individuos con los conocimientos y las habilidades para hacerlo de una manera eficaz y ética” (Kaesbauer, 2012: 12).

Como apuntábamos al inicio, la mayor parte de la bibliografía consultada refiere a las competencias del evaluador de programas, pero consideramos que mucho de lo dicho puede ser aplicado a la evaluación de otros componentes del sistema educativo, de modo que aunque en ciertos momentos nos referiremos a las competencias requeridas para la evaluación de programas, en realidad estamos contemplando estas capacidades del evaluador en sentido amplio.

Investigaciones sobre las competencias del evaluador

A diferencia de la amplia investigación que existe sobre las competencias en el campo de la gestión, la investigación sobre las competencias del evaluador es escasa; la mayoría de las investigaciones disponibles sobre las competencias del evaluador es de naturaleza teórica. Existen abundantes puntos de vista sobre la conveniencia o no de que el evaluador tenga competencias, y acerca de cuáles competencias debe poseer, pero faltan estudios empíricos sobre estas cuestiones. Aunque se han propuesto varios marcos de trabajo para identificar las competencias del evaluador, ninguno de éstos “se ha derivado de un proceso sistemático o validado por la construcción de consensos empíricos entre los diversos profesionales del campo” (King, Stevahn, Ghere & Minnema, 2001: 230).

El ámbito de la evaluación de programas tiene la necesidad de identificar las competencias para los evaluadores por tres razones principales: 1) como base para orientar los programas de formación para los profesionales noveles, 2) desarrollar la formación continua de los profesionales experimentados, y 3) llevar a cabo revisiones periódicas que aseguren la integridad del campo (Stevahn, King, Ghere & Minnema, 2005). Por otro lado, la comunidad de evaluación no ha alcanzado un consenso sobre una lista de competencias del evaluador que representen los diversos enfoques filosóficos y prácticos que actualmente se utilizan en la evaluación de programas (King et. al. 2001; Smith, 1999; Worthen, 1999).

Sin embargo, en este tema se identifican con cierta claridad dos posturas: la primera incluye los autores que rechazan la definición de un conjunto de competencias para el evaluador; la segunda comprende aquellos que proponen determinadas competencias con las que un evaluador debe contar. En el primer caso, por ejemplo, se encuentra Kirkhart (1981: 189), quien considera que una vez reconocida la naturaleza de la evaluación de programas como “flexible”, “situación específica” y “conceptualmente confusa”, cualquier intento de redactar una lista de habilidades “fijas” para la evaluación de programas sería un disparate. Sin embargo, como veremos más adelante, este autor sí propone categorías descriptivas de las competencias del evaluador.

En estas coordenadas Robert Stake (2010: 24-25) afirma:

  • Desde mi punto de vista, no sería bueno para nuestra profesión estandarizar más la práctica de la evaluación. Podemos imaginarnos otro escenario en el que la evaluación sea tan variada, opaca y adaptada a cada contexto, que confunda a nuestros clientes y al público; no creo que sea el caso en la actualidad. Así que la formación [de los evaluadores] también debe diversificarse.

Evidentemente, el citado autor se refiere a la práctica de evaluación en los Estados Unidos; habría que pensar si esta afirmación aplica para el caso nuestro donde es claro que las prácticas de evaluación (al menos en la educación obligatoria) parecen encaminarse hacia una estandarización y, en general, tales prácticas suelen ser bastante opacas y difusas.

En la segunda postura se identifican no sólo especialistas en el campo sino también agencias u organismos evaluadores que no plantean explícitamente competencias, pero sí una serie de normas y principios generales que pueden servir como guía para el desarrollo de buenas prácticas de evaluación y que dejan entrever las competencias profesionales del evaluador.

Puesto que en los Estados Unidos la evaluación de programas es un campo profesionalizado, existe desde hace tiempo el Joint Committee on Standards for Educational Evaluation (1994; 1981) (Comité Conjunto de Estándares para la Evaluación de la Educación), el cual ha desarrollado un conjunto de estándares de evaluación que agrupa en cuatro áreas clave: utilidad, viabilidad, corrección y exactitud:

  • Los estándares ofrecen un marco para la comprensión de las habilidades y competencias necesarias para llevar a cabo evaluaciones de los programas... De este modo, los estándares asumen implícitamente ciertas aptitudes, conocimientos y competencias por parte del evaluador(s) (Kirkhart, 1981: 188).

Por otro lado, a mediados de la década de los noventa un grupo de trabajo de la American Evaluation Association (aea) (Asociación Americana de Evaluación) creó los Principios Rectores para los Evaluadores, cuya finalidad se expresa en los siguientes términos: “Los principios tienen por objeto guiar la práctica profesional de los evaluadores, y para informar a los clientes de la evaluación y al público en general acerca de los principios que pueden esperar sean confirmados por los evaluadores profesionales” (American Evaluation Association, 2004). Tanto los estándares como los principios, sin embargo, “no abordan directamente las competencias que un evaluador necesita para funcionar eficazmente en contextos específicos” (King et. al. 2001: 230).

Como el lector puede apreciar, tanto los Estándares para la Evaluación de la Educación propuestos por el Joint Committee on Standards for Educational Evaluation, como los Principios Rectores para los Evaluadores de la American Evaluation Association, no expresan abiertamente las competencias que debe poseer un evaluador, sino que a partir de sus concepciones abstractas dejan que cada cual infiera e interprete cuáles serían las competencias deseables de un buen evaluador.

Entre los autores que pugnan abiertamente por establecer las competencias de un evaluador se encuentra Smith (1999), quien sugiere tres opciones para el desarrollo de competencias en el contexto de la certificación del evaluador: 1) una lista autogenerada de competencias por parte de los evaluadores profesionales, 2) un enfoque de análisis de tareas basado en las aportaciones de los destinatarios de la evaluación, 3) identificar las competencias del evaluador de acuerdo con los Principios Rectores para los Evaluadores propuestos por la American Evaluation Association (2004). Esta autora previene que:

  • …las tres opciones presentan sus restricciones, la lista autogenerada podría ser considerada egoísta, no sensible al usuario, y carente de base empírica; el enfoque de análisis de tareas es costoso; y los Principios Rectores son demasiado generales para aplicarse (Smith, 1999: 525-526).

Expertos ampliamente reconocidos en el campo de la evaluación de programas han identificado informalmente listas de competencias para los evaluadores. Por ejemplo, Michael Patton (1990: 48) propuso que un evaluador competente debe poseer conociminento de múltiples y diversos métodos, habilidades de comunicación, capacidad de conceptualización y lógica del programa, habilidades de consultoría, competencia interpersonal, sofisticación política, conocimiento de cómo funcionan las organizaciones, creatividad, habilidades de presentación orales y escritas.

Por su parte, Michael Scriven (1996: 160) desafió a los evaluadores a tener la “competencia razonable” de ser capaces de entender y aplicar metodologías cuantitativas y cualitativas básicas, teoría de la validez, teoría de la generalización, meta-análisis, restricciones legales sobre el acceso y el control de los datos, análisis ético, evaluación de necesidades, análisis de costos, habilidades y modelos internos de síntesis, geografía conceptual, y diseño, construcción y presentación de un informe específico de evaluación. Las propuestas de los autores antes citados contienen una serie de capacidades que podríamos englobar en bloques de competencias: teórico-metodológicas, interpersonales, éticas y sociales.

También hay autores que han propuesto categorías de competencias del evaluador, por ejemplo, Kirkhart (1981) y Mertens (1994), quienes reflexionaron sobre la práctica de evaluación y organizaron de las habilidades y los conocimientos de la evaluación de programas en marcos conceptuales. Karen Kirkhart (1981: 188-189) identificó ocho grandes categorías descriptivas de las competencias del evaluador:

  • 1)

    Habilidades metodológicas

  • 2)

    Áreas de conocimiento que proporcionan antecedentes sustantivos

  • 3)

    Habilidades de análisis de sistemas

  • 4)

    Astucia y entendimiento políticos

  • 5)

    Ética profesional

  • 6)

    Habilidades de gestión

  • 7)

    Capacidad de comunicación

  • 8)

    Habilidades interpersonales o rasgos del carácter

Mientras tanto, Donna Mertens (1994: 19) dividió esas habilidades y conocimientos en cuatro categorías:

  • 1)

    Los exclusivos de la evaluación

  • 2)

    Los relacionados con la formación típica en metodología de la investigación y la indagación

  • 3)

    Los relacionados con áreas de la ciencia política o la antropología

  • 4)

    Los que son específicos para cada disciplina

Formación de los evaluadores

Antes mencionamos que en México no existen instituciones ni programas de posgrado que tengan como propósito declarado la formación de profesionales de la evaluación en el ámbito educativo.5 En este escenario, podríamos afirmar que en el país los evaluadores “hacen su camino al andar” y lo hacen generalmente mediante el método de “ensayo y error”, así es como en la cotidianidad ellos van fraguando su dominio (o falta de éste) del campo; son, en reiteradas ocasiones, la intuición, la rutina o la imitación, las pautas principales que guían su quehacer como evaluadores, con los riesgos que entrañan, pues sabemos que el progreso conseguido en un trabajo depende de algo más que de la experiencia o de las conversaciones con los colegas:

  • Podrían haber estado poniéndolo en práctica hasta que criaran pelo las ranas, pero si no hubiesen cambiado la manera en que comprendían lo que es el conocimiento, es muy posible que no hubieran conseguido aprender nada. No se aprende de la experiencia: se aprende de reflexionar sobre la experiencia (Bain, 2014: 180).

No ocurre lo mismo en otros países; así encontramos que la Canadian Evaluation Society (Sociedad Canadiense de Evaluación) (ces), es una organización profesional que ha representado un valioso apoyo para desarrollar las competencias del evaluador en ese país del norte. La ces encargó a su Comité de Desarrollo Profesional promover la práctica profesional de la evaluación, y para ello en 1999 se crearon las Series de Habilidades Esenciales de Evaluación (ess), un programa de formación que consta de cuatro días de talleres guiados por un evaluador experimentado que introduce los conceptos y métodos de evaluación; éste incluye: 1) comprensión de la evaluación del programa, 2) construcción de un marco de evaluación, 3) mejora del desempeño del programa, y 4) evaluación de los resultados (Canadian Evaluation Society, 2004). Las ess brindan una visión general de las competencias esenciales que se requieren en la evaluación de programas (ver Tabla 1).

Tabla 1.

Series de Habilidades Esenciales de Evaluación (ess)

Comprensión de la evaluaciónde programas    Términos y conceptos clave 
    Beneficios de la evaluación de programas 
    Pasos básicos en el proceso de evaluación 
    Principales enfoques para la evaluación de programas 
    Dar forma a las preguntas de evaluación 
    Diseño de una evaluación 
    Evaluar con recursos limitados 
    Análisis e informe de los resultados de evaluación 
    Reducción de la resistencia a la evaluación 
    Involucrar al personal y a los clientes en el proceso de evaluación 
    Incrementar la utilización de la evaluación 
    Realizar evaluaciones éticas y justas 
Construcción de un marcode evaluación    Identificar quién es el cliente y cuáles son sus necesidades 
    Conceptos básicos de la evaluación de necesidades 
    Enfoques principales acerca de la evaluación de las necesidadesdel cliente 
    Métodos de evaluación para “acercarse al cliente” 
    Construcción de un marco de evaluación a través de modelos lógicos 
    Involucrar a los gerentes y al personal en la construcción de un marco de evaluación 
    Relacionar el diseño del programa con las necesidades del cliente 
    Definir los componentes del programa 
    Formulación de indicadores para el éxito del programa 
    Uso del marco de evaluación para vincular los resultados del programa a las necesidades del cliente 
Mejora del desempeñodel programa    Uso de la evaluación como una herramienta de gestión para mejorar el desempeño del programa y la rendición de cuentas interna 
    Conceptos básicos de control y evaluación del proceso 
    Monitorear los resultados del programa con datosadministrativos y sistemas de información existentes 
Mejora...(continuación)    Desarrollo continuo de instrumentos y procedimientosde recolección de datos 
    Vincular el proceso de evaluación a la toma de decisionesdel programa 
    Evaluar la satisfacción del cliente 
    Comprender la mejora continua de la calidad 
    Usar la evaluación del programa para la construcciónde una “organización de aprendizaje” 
Evaluación de resultados    Definición de los resultados del programa 
    Enfoques principales acerca de la evaluación de los resultados 
    Desarrollar mediciones de los resultados 
    Diseñar evaluaciones de los resultados 
    Validez y confiabilidad 
    Uso apropiado de técnicas cuantitativas y cualitativas 
    Relacionar los resultados del programa con los costosdel mismo 
    Comprender los beneficios del programa 
    Medir la equidad del programa y su capacidadpara responder a las necesidades de la comunidad 
    Comunicar las conclusiones de la evaluación 
    Usar las evaluaciones para mejorar la eficacia del programay la rendición de cuentas 

Tomado de: Canadian Evaluation Society (2004). Essential skills series in evaluation.

Respecto a la información contenida en el cuadro anterior, habría que señalar que en el campo educativo no se suele hacer referencia a los “clientes” ni a los “gerentes”, salvo en los enfoques neoliberales que consideran a la escuela como una empresa (verbigracia el enfoque de la “calidad total”). Por tanto, es preciso reemplazar estos términos por otros que resulten más adecuados al ámbito de la educación; así, resulta más propio hablar de “audiencias” o de “grupos de interés” para el primer caso y de “administradores” o “gestores” educativos (directores, coordinadores) para el segundo.

Como ya se dijo antes, la investigación sobre las competencias del evaluador es exigua. Los estudios desarrollados hasta ahora son de corte teórico y los marcos de trabajo para identificar las competencias del evaluador no gozan de consensos empíricos de los profesionales del campo. Sin embargo, en medio de este desierto de información existe un resquicio que hace albergar la esperanza de un desarrollo del campo.

No fue sino hasta el nuevo milenio que se llevaron a cabo dos proyectos para desarrollar inventarios y descripciones de competencias para los evaluadores (Huse & McDavid, 2006). Uno de los proyectos fue patrocinado por la Sociedad Canadiense de Evaluación (en adelante llamado el proyecto canadiense), y el otro se llevó a cabo de forma independiente por un grupo de investigadores universitarios en los Estados Unidos para desarrollar Competencias Esenciales para los Evaluadores de Programas (ecpe) (en lo sucesivo denominado el proyecto ecpe).

El proyecto ecpe se llevó a cabo por King et. al. (2001) en los EE.UU. Estos autores desarrollaron una taxonomía de las competencias esenciales para los evaluadores de programas, la cual destaca las capacidades que un evaluador necesita tener para llevar a cabo una práctica de evaluación eficaz. El mismo grupo de investigadores (Stevahn, King, Ghere & Minnema, 2005) posteriormente perfeccionó las competencias del evaluador y las cruzó con referencia al Programa de Estándares de Evaluación (Joint Committee on Standards for Educational Evaluation, 1994) y a los Principios Rectores (American Evaluation Association Task Force on Guiding Principles for Evaluators, 1995), así como con las Series de Habilidades Esenciales (Canadian Evaluation Society, 1999).

Las Competencias Esenciales para Evaluadores de Programas se desarrollaron a partir de un coloquio de estudios de evaluación a nivel de posgrado (King et. al. 2001). A continuación, se realizó un estudio de validación presencial con 31 evaluadores del área de Minnesota. Como resultado de los estudios, se establecieron las competencias esenciales para el evaluador de programas, incluyendo 61 ítems en seis categorías: práctica profesional, investigación sistemática, análisis situacional, gestión de proyectos, práctica reflexiva y competencia interpersonal (ver Tabla 2).

Tabla 2.

Competencias Esenciales para Evaluadores de Programas (ecpe)

Práctica profesional    Aplica estándares de evaluación profesionales 
    Actúa éticamente y se esfuerza por lograr la integridady la honestidad en la realización de las evaluaciones 
    Transmite enfoques de evaluación personal y habilidadesa clientes potenciales 
    Respeta a los clientes, los encuestados, los participantesdel programa y otros grupos de interés 
    Considera el bienestar general y el público en la prácticade evaluación 
    Contribuye a la base de conocimientos de la evaluación 
Investigación sistemática    Entiende la base de conocimientos de evaluación (términos, conceptos, teorías, hipótesis) 
    Conoce los métodos cuantitativos, cualitativos y mixtos 
    Lleva a cabo revisiones de la literatura 
    Maneja la teoría específica del programa 
    Enmarca las preguntas de evaluación 
Investigación...(continuación)    Desarrolla el diseño de la evaluación 
    Identifica las fuentes de datos 
    Recopila datos 
    Evalúa la validez y la confiabilidad de los datos 
    Analiza e interpreta datos 
    Hace juicios 
    Desarrolla recomendaciones 
    Proporciona fundamentos para las decisiones a lo largode la evaluación 
    Informa de los procedimientos de evaluación y los resultados 
    Nota fortalezas y limitaciones de la evaluación 
    Realiza metaevaluaciones 
Análisis de la situación    Describe el programa 
    Determina la evaluabilidad del programa 
    Identifica los preocupaciones de los grupos de interésrelevantes 
    Sirve a las necesidades de información de los usuarios previstos 
    Aborda los conflictos 
    Examina el contexto organizacional de la evaluación 
    Analiza las consideraciones políticas relevantes para la evaluación 
    Atiende a cuestiones de uso de la evaluación 
    Atiende a los problemas del cambio organizacional 
    Respeta la singularidad del sitio de evaluación y al cliente 
    Está abierto a las aportaciones de los demás 
    Modifica el estudio cuando es necesario 
Gestión de proyectos    Responde a las solicitudes de propuestas 
    Negocia con los clientes antes de que comience la evaluación 
    Escribe acuerdos formales 
    Se comunica con los clientes en todo el proceso de evaluación 
    Hace presupuestos para una evaluación 
    Justifica los costos dadas las necesidades de información 
    Identifica los recursos necesarios para la evaluación,tales como la información, la experiencia, el personal,los instrumentos 
    Usa la tecnología apropiada 
    Supervisa a los demás involucrados en la realizaciónde la evaluación 
    Capacita a otras personas involucradas en la realizaciónde la evaluación 
    Realiza la evaluación de una manera no disruptiva 
    Presenta la obra en tiempo y forma 
Práctica reflexiva    Es consciente de sí mismo como un evaluador (conocimientos,habilidades, disposiciones) 
    Reflexiona sobre la práctica de la evaluación personal (competenciasy áreas de crecimiento) 
    Persigue el desarrollo profesional en la evaluación 
    Persigue el desarrollo profesional en las áreas de contenido relevantes 
    Construye relaciones profesionales para mejorar la prácticade evaluación 
Competencia interpersonal    Usa habilidades de comunicación escrita 
    Usa habilidades de comunicación al hablar y escuchar 
    Emplea habilidades de negociación 
    Emplea habilidades de resolución de conflictos 
    Facilita la interacción interpersonal constructiva (el trabajoen equipo, la facilitación de grupos, el procesamiento) 
    Demuestra competencia intercultural 

Adaptado de: Wilcox, Y. (2012). An Initial Study to Develop Instruments and Validate the Essential Competencies for Program Evaluators (ecpe). A Dissertation for the Degree of Doctor of Philosophy. Faculty of the Graduate School of the University of Minnesota, USA.

Estas competencias están destinadas a mejorar la formación, fortalecer la práctica reflexiva, promover la investigación evaluativa y continuar la profesionalización del campo de la evaluación (Stevahn et. al. 2005).

Por otra parte, en el proyecto canadiense (auspiciado por la ces) se llevaron a cabo dos consultas en internet con la comunidad de evaluación, dos sesiones de debate con los delegados en la Conferencia Nacional de la ces en 2002, y discusiones en línea entre los miembros de un panel de expertos invitados de referencia internacional (Zorzi, McGuire & Perrin, 2002: 1). Se identificó una lista de 151 elementos de conocimiento, agrupados en 23 elementos más generales que posteriormente se clasificaron en seis categorías: ética, planificación y diseño de la evaluación, recopilación de datos, análisis e interpretación de datos, habilidades interpersonales y de comunicación, y gestión de proyectos (ver Tabla 3) (Zorzi et. al. 2002: 31-46).

Tabla 3.

Elementos de Conocimiento para la Evaluación de Programas

Ética    Comportamiento ético 
    Competencia y garantía de calidad 
Planificación y diseñode la evaluación    Comprender el programa 
    Evaluar la disposición para la evaluación 
    Enfocarse en la evaluación 
    Teoría de sistemas, desarrollo organizacional y cambio 
    Tipos específicos de evaluación 
    Historia de la evaluación, teoría de la evaluacióny modelos de evaluación 
    Diseño de investigación 
    Construcción de significado 
Planificación...(continuación)    Selección de los métodos adecuados para la recopilacióny el análisis de datos 
    Prácticas efectivas en la investigación aplicada 
Recolección de datos    Muestreo 
    Cuestiones de medición 
    Métodos de recolección de datos 
Análisis e interpretación de datos    Análisis cualitativo 
    Análisis cuantitativo 
    Determinar el mérito o valor 
    Habilidades de pensamiento crítico 
Habilidades interpersonalesy de comunicación    Habilidades interpersonales 
    Habilidades de información 
    Otras habilidades de comunicación 
Gestión de proyectos    Gestión de proyectos de evaluación 

Adaptado de: Wilcox, Y. (2012). An Initial Study to Develop Instruments and Validate the Essential Competencies for Program Evaluators (ecpe). A Dissertation for the Degree of Doctor of Philosophy. Faculty of the Graduate School of the University of Minnesota, USA.

Otra fuente consultada que contiene información importante del tema que nos ocupa, es la Asociación Internacional para el Desarrollo de la Evaluación (International Development Evaluation Association, 2012). En un reporte denominado Proyecto Final: “Competencies for Development Evaluation Evaluators, Managers, and Commissioners. ideas Working Group on Evaluation Competencies”, la Asociación propone un conjunto de competencias para evaluadores, directores o responsables de evaluaciones y comisiones de evaluación. En el citado documento se precisa que las competencias se deben considerar en el contexto del mejoramiento profesional o para la revisión de la competencia del equipo de evaluación.

A continuación se presentan las Competencias para los Comisionados (ver Tabla 4).

Tabla 4.

Competencias para los Comisionados del Desarrollo Internacional de Evaluaciones

Entiende y defiende la integridad del proceso de evaluación    Acepta los potenciales riesgos iniciales, así como los beneficios, de las conclusiones de una evaluación que confirme o no las creencias existentes y los cargos públicos 
    Se compromete a aceptar las conclusiones basadas en la evidencia de la evaluación 
    Relaciona la evaluación con la política, los entornos y las cuestiones de gobernanza política 
    Se asegura de que el proceso de selección sea transparente y que se utilicen prácticas de licitación justas, si participa en la selección del director de evaluación o del equipo de evaluación 
    Se abstiene de ejercer presión sobre el director de evaluación o los evaluadores ni trata de influir en los resultados de una evaluación 
Entiende y defiende...(continuación)    Respeta claramente los límites establecidos de una evaluación 
    Se abstiene de tomar y usar partes de una evaluación fuerade contexto 
    Persigue las medidas de seguimiento en las recomendaciones de una evaluación 
Comprende y actúa sobrela necesidad de comunicaciónen todo el proceso de evaluación    Presenta al director/equipo de evaluación la finalidad de la evaluación, los temas que se abordarán en la evaluación desde su perspectiva, las necesidades de temporización críticos, el tipo de producto (s) que se necesita, y el presupuesto (si está en su dominio) 
    Acuerda y sigue un programa de comunicación e información con el director de evaluación y se reúne cuando surgen problemas inesperados 
    Es realista acerca de lo que puede lograr una evaluación dados los recursos disponibles 
    Se abstiene de dictar el alcance de la evaluación y la metodología 
    Examina y acuerda las preguntas, la metodología y el alcance general, la línea de tiempo y los productos de evaluación antesde que se lleve a cabo ésta 
Apoya el acceso de las personas a la evaluación y los registros y el derecho público a la información    Acuerda una amplia consulta con los grupos de interés por parte del director de la evaluación/equipo 
    Acuerda honores de confidencialidad por parte del director de evaluación/equipo 
    Apoya el acceso del director/equipo de la evaluación a los registros y las personas 
    Es claro acerca de quién es el propietario los datos dentro de las políticas de la organización 
    Trabaja para promover el interés público mediante el fomento de un enfoque participativo en la planificación de la evaluación y se compromete a realizar informes públicos de evaluación a menos que esté prohibido por la política de la organización 
Respeta los términos del contrato    Considera cambios en el diseño/preguntas/métodos de evaluación si surgen problemas imprevistos 
    Renegocia el contrato de evaluación de acuerdo con cambios acordados importantes para la evaluación 
Emprende acciones sobre las recomendaciones deuna evaluación    Apoya un sistema de seguimiento de las recomendaciones, y en lo posible su accesibilidad pública 
    Monitorea la acción sobre las recomendaciones y la difusión de las lecciones 
Apoya el monitoreo y la evaluación    Apoya el monitoreo y el fortalecimiento de la capacidad de evaluación 

Tomado de: International Development Evaluation Association (2012). Competencies for Development Evaluation Evaluators, Managers, and Commissioners. ideas Working Group on Evaluation Competencies.

El cuadro siguiente contiene las competencias para los directores o responsables de las evaluaciones (ver Tabla 5).

Tabla 5.

Competencias para los Directores del Desarrollo Internacional de las Evaluaciones

Fundaciones Profesionales    Conoce y aplica los conceptos, términos y definiciones utilizados en el desarrollo de la evaluación 
    En general entiende y aplica los enfoques, métodos y herramientas del desarrollo de la evaluación 
    Trata de comprender todo el contexto de una intervención y su teoría/lógica para identificar implicaciones para la evaluación 
    Reconoce la importancia de la competencia intercultural y muestra sensibilidad cultural 
Fundaciones... (continuación)    Conoce el Código de Ética de ideas y se comporta de acuerdo con él 
    Conoce y aplica otros principios y estándares internacionalmente reconocidos para el desarrollo de la evaluación, así como otros principios y estándares de organización aplicables a nivel regional, nacional, y subnacional 
    Sabe de y apoya redes de evaluación profesionales, la mejora propia y la auto-mejora del personal 
Sistemas de Monitoreo    Asegura la revisión de la calidad del monitoreo de los datos con fines de evaluación 
    Usa el monitoreo de los datos para informar a la evaluación y los resultados de la evaluación para mejorar el monitoreo 
Planeación y diseño de la evaluación    Apoya y promueve por adelantado la adecuada exploración y planeación para una evaluación, incluyendo la participación de las partes interesadas 
    Trata de minimizar la carga de la evaluación a través de una buena planeación que es participativa en la naturaleza y el análisis secundario de los datos existentes, mediante evaluaciones conjuntas y dirigidas por los países, según corresponda 
    Asegura que la planeación de la evaluación considere los posibles efectos no deseados de las intervenciones, tanto positivos como negativos, así como los efectos deseados 
    Desarrolla o promueve un diseño factible más fuerte para responder a las preguntas y a los propósitos de la evaluación 
    Obtiene revisiones del diseño de evaluación como un control de calidad 
    Comprueba y toma las acciones apropiadas sobre posibles problemas éticos, incluyendo el conflicto de interés potencial o real, la concesión de confidencialidad/anonimato, y la obtención del consentimiento informado de los participantes en la evaluación 
    Asegura que instrumentos de recolección de datos sean pretest, protocolos desarrollados, y que los recolectores de los datos tengan la formación adecuada 
Gestión de la Evaluación    Construye y mantiene relaciones constructivas con el equipo de evaluación, incluyendo el personal, consultores, asesores y socios, según el caso, y con otros grupos de interés 
    Administra y controla los recursos de evaluación con eficiencia y eficacia, incluyendo los recursos de personal 
    Muestra un fuerte liderazgo y habilidades de gestión de proyectos para ofrecer evaluaciones de calidad oportunas 
    Se mantiene informado e informa a la dirección de la organización del progreso y los asuntos de la evaluación 
Comunicación de los hallazgos de la evaluación    Concientiza y usa las evaluaciones mediante una comunicación efectiva en cada etapa de la evaluación, promueve la transparencia de los métodos de evaluación, y en la medida de lo posible, difunde públicamente los resultados de la evaluación y el desarrollo de presentaciones específicas, según lo establecido en un plan de difusión 
    Proporciona la oportunidad para que los evaluados revisen y comenten sobre el proyecto de evaluación y sus hallazgos, las conclusiones y recomendaciones, e incorpora la retroalimentación cuando es necesario 
Promueve una cultura de aprendizaje de la evaluación    Participa en los comentarios de las evaluaciones realizadas para identificar las lecciones aprendidas tanto del proceso de evaluación como de la calidad del producto 
    Apoya el seguimiento y la búsqueda de los progresos en la aplicación de las recomendaciones de las evaluaciones, según proceda 
    Aboga por la evaluación y busca construir la capacidad de evaluación de los demás 
    Apoya formas de construcción del conocimiento, tales como la metaevaluación y los sistemas de lecciones aprendidas 

Tomado de: International Development Evaluation Association (2012). Competencies for Development Evaluation Evaluators, Managers, and Commissioners. ideas Working Group on Evaluation Competencies.

La última tabla muestra las competencias para los evaluadores del desarrollo internacional de las evaluaciones (ver Tabla 6).

Tabla 6.

Competencias para los Evaluadores del Desarrollo Internacional de las Evaluaciones

Fundaciones Profesionales    Conoce la literatura general y los temas de actualidad en el desarrollo la evaluación 
    Conoce y aplica los conceptos, términos y definiciones utilizados para el desarrollo la evaluación 
    Comprende y aplica los enfoques, métodos y herramientas para el desarrollo la evaluación 
    Trata de comprender todo el contexto de una intervención mediante el desarrollo, o examen y revisión, según proceda, de su teoría/lógica para identificar implicaciones para la evaluación 
    Muestra una competencia intercultural adecuada y sensibilidad cultural 
    Conoce el Código de Ética de ideas y se comporta de acuerdo con él 
    Conoce y aplica otros principios y estándares internacionalmente reconocidos para el desarrollo de la evaluación, así como otros principios y estándares de organización aplicables a nivel regional, nacional y subnacional 
    Busca redes de evaluación profesional y la mejora propia 
    Busca desarrollar pericia en una especialidad dentro del desarrollo la evaluación 
Sistemas de Monitoreo    Demuestra habilidades en el desarrollo y el uso de sistemas de monitoreo y datos 
Planeación y diseñode la evaluación    Se compromete por adelantado con la adecuada exploración y planeación de una evaluación, incluyendo la participación de las partes interesadas 
    Trata de minimizar la carga de la evaluación a través de una buena planeación que es participativa en la naturaleza y el análisis secundario de los datos existentes, mediante evaluaciones conjuntas y dirigidas por los países, según corresponda 
    Asegura que la planeación de la evaluación considere los posibles efectos no deseados de las intervenciones, tanto positivos como negativos, así como los efectos deseados 
    Desarrolla o promueve un diseño factible más fuerte para responder a las preguntas y a los propósitos de la evaluación 
Gestión de la Evaluación    Participa en la evaluación como un miembro del equipo, demostrando un fuerte liderazgo y habilidades de trabajo en equipo 
    Gestiona tareas y recursos de evaluación para entregar las responsabilidades de evaluación a tiempo y dentro del presupuesto y de alta calidad 
    Construye y mantiene relaciones constructivas con los socios, los comisionados de evaluación y otras partes interesadas 
    Proporciona orientación a los otros dentro y fuera de la organización sobre el diseño y planeación, métodos y enfoques para el desarrollo de la evaluación 
    Si es el responsable de la evaluación, cumple con las competencias adicionales que se especifican en las Competencias para los Directores del Desarrollo Internacional de las Evaluaciones establecidas por ideas 
Realización de la evaluación    Dirige el trabajo de campo y otras revisiones de acuerdo con el diseño y las buenas prácticas de evaluación 
    Analiza e interpreta los datos adecuadamente, obtiene conclusiones basadas en evidencias y formula buenas recomendaciones cuando es necesario 

Tomado de: International Development Evaluation Association (2012). Competencies for Development Evaluation Evaluators, Managers, and Commissioners. ideas Working Group on Evaluation Competencies.

En los tres bloques de competencias identificadas por la International Development Evaluation Association (2012) para el Director, la Comisión y los Evaluadores, se deja claro que la evaluación debe ser un proceso planificado y diseñado, que requiere de sistemas de seguimiento y control, que debe ser gestionado acertadamente y sus hallazgos comunicados de forma efectiva, todo lo cual demanda competencias profesionales de los evaluadores. Otro elemento que resulta de sumo interés apunta a la promoción de una cultura de aprendizaje de la evaluación, es decir, se espera que los evaluadores generen un conjunto de saberes, habilidades, valores y disposiciones en relación tanto con el proceso de evaluación como con la calidad del producto, así como con la aplicación de las recomendaciones, la promoción de la evaluación y la construcción de la capacidad de evaluación de los demás.

Las listas de competencias profesionales —que proponen tanto los especialistas, como las agencias y organismos internacionales para los evaluadores de programas educativos— aportan información relevante que permite ir configurando el nuevo perfil del evaluador para el campo educativo.

Parece que ha llegado el momento de que el evaluador, otrora convertido en auditor/fiscalizador afín a los modelos estandarizados de aseguramiento de la calidad, ceda su trono a un evaluador cuyo perfil se asemeja mucho más al de un asesor (con autoridad académica y moral) que ejerce su liderazgo acompañando el proceso de evaluación con miras a impulsar la mejora permanente de los programas evaluados, sensible a las características y necesidades del contexto, que respeta y valora la diversidad de situaciones. Esta tendencia hacia esquemas de evaluación no estandarizados es la que están siguiendo muchos países, particularmente los desarrollados

Reflexiones finales

El país requiere de evaluadores profesionales que atiendan las necesidades apremiantes en distintas dimensiones del espectro académico (programas educativos, proyectos de investigación, instituciones escolares, gestión escolar, evaluación curricular, materiales didácticos, evaluación de docentes, formación de evaluadores, etc.), las cuales —ante la ausencia de especialistas— terminan siendo cubiertas por personal novato e improvisado que muchas veces, quizá sin pretenderlo, lleva a cabo evaluaciones claramente perniciosas para los evaluados.

Como los evaluadores profesionales no nacen sino se hacen, luego entonces habrá que formarlos. Los mecanismos y estrategias de esta formación pueden ser múltiples y diversos, pero no se pueden eludir, so pena de hacer de la evaluación un acto distorsionado e inútil que en poco o nada contribuirá a la mejora de la educación superior (Moreno, 2011). Por la especialización que supone la formación de evaluadores educativos, ésta parece ser una labor propia del posgrado, sólo que en el país –a excepción de una sola institución de educación superior privada– no existe una oferta institucional de formación que cubra este vacío. No ocurre lo mismo en otros países, donde el panorama dista mucho del nuestro: “actualmente, hay 26 programas de doctorado que contienen [la palabra] evaluación en su título, especialización o concentración en los Estados Unidos de América” (Kaesbauer, 2012: 2).

Para ser un evaluador competente y fiable se precisa de un conjunto de competencias, las cuales no se pueden adquirir sólo mediante la experiencia acumulada ni con una buena dosis de entusiasmo, sino que se requiere contar con una formación profesional orientada al desarrollo de tales capacidades.

Coincidimos con Robert Stake (2010) en que la mayoría de las personas dan por hecho que el término “evaluación” se refiere a algo técnico o relacionado con la gestión. De algún modo, una buena parte de quienes trabajan en las universidades consideran que una formación general en evaluación carece de importancia. En México es habitual que los responsables de las instituciones educativas, cuando solicitan la realización de una evaluación, lo que buscan es más bien un aval a lo que están haciendo, antes que un conocimiento y comprensión del objeto evaluado. Buscan el reconocimiento más que el conocimiento. Por ejemplo, en el país prácticamente la totalidad de las ies tiene sus programas de licenciatura acreditados por los ciees (Comités Interinstitucionales para la Evaluación de la Educación Superior) como programas de calidad, aunque esa calidad en ocasiones sea dudosa; lo que importa, entonces, es el reconocimiento público que otorga esa acreditación.

En diversas ocasiones se ha señalado que el actual esquema de evaluación de la educación superior en el país está agotado, que es preciso transitar de indicadores cuantitativos a indicadores cualitativos. Desde luego que esto es importante, pero pensamos que el asunto va más allá de establecer indicadores; tiene que ver, en realidad, con un problema de concepción de la evaluación, con la construcción de una determinada cultura de la evaluación y con el papel del evaluador en esta trama, cuyo descuido por su formación profesional resulta evidente. Actualmente, los evaluadores son individuos con antecedentes de formación y experiencias prácticas variadas, relacionadas o no con el campo de la evaluación educativa. Se trata de una actividad no controlada, si bien existe la necesidad de contar con una certificación, acreditación o licencia como evaluador.

Quizá muchos de los problemas que afrontamos en este terreno tienen que ver con esa ausencia de formación de los evaluadores. ¿Por qué muchos evaluadores se sienten inseguros para señalar las deficiencias o los problemas que detectan? ¿Por qué no se evalúa correctamente la falta de calidad? ¿Por qué es habitual que la evaluación esté marcada por los sesgos o las preferencias de los evaluadores? ¿Por qué se asume que las competencias como evaluador se pueden adquirir sólo mediante la experiencia o la imitación? ¿Pero… si se imita a modelos negativos?

Para superar estas carencias, es urgente tomar a la evaluación en serio, y una forma de hacerlo es formar profesionalmente a los evaluadores. Habrá que empezar por comprender que la evaluación formal es una disciplina en sí misma y que, como tal, tiene enfoques teóricos, métodos, prácticas y un código ético.

[OECD, 2010]
OECD (2010). Resultados PISA 2009: Resumen Ejecutivo. Organización para la Cooperación y el Desarrollo Económico. Recuperado de: http://www.eduteka.org/Pisa2009.php.
[Melinda, 1999]
Melinda M. Franettovich Smith (1999). Should AEA begin a process for restricting membership in the profession of evaluation? American Journal of Evaluation, 20 (3), 521-531.
Referencias
[Aboites, 2012]
Aboites Hugo.
La medida de una nación. Los primeros años de la evaluación en México. Historia de poder y resistencia (1982-2012).
UAM/CLACSO/ITACA, (2012),
[American Evaluation Association, 2004]
American Evaluation Association (2004). Guiding principles for evaluators. Recuperado de: http://www.eval.org/p/cm/ld/fi.
[American, 1995]
American Evaluation Association Task Force on Guiding Principles for Evaluators (1995). Guiding principles for evaluators. En Newman, Dianna L.; Mary Ann Scheirer; William R. Shadish, y Christopher Wye (Eds.). Guiding principles for evaluators. New directions for program evaluation, Vol. 62, pp. 19-26, San Francisco: Jossey-Bass.
[Andere, 2009]
Andere Eduardo.
La educación de Calderón a la mitad del sexenio.
Educación 2001, 173 (Octubre 2009), pp. 14-20
[Bain, 2014]
Bain Ken.
Lo que hacen los mejores estudiantes de universidad.
Universidad de Valencia, (2014),
[Blanco, 2009]
Blanco, Emilio (2009). La desigualdad de resultados educativos. Aportes a la teoría desde la investigación sobre eficacia escolar. Revista Mexicana de Investigación Educativa, número 43, Volumen XIV, Octubre-Diciembre, México: COMIE, pp.1019-1049.
[Canadian Evaluation Society, 1999]
Canadian Evaluation Society (1999). Essential skills series in evaluation. Recuperado de: http://www.evaluationcanada.ca/essential-skills-series-evaluation.
[Canadian Evaluation Society, 2004]
Canadian Evaluation Society (2004). Essential skills series in evaluation. Recuperado de: http://www.evaluationcanada.ca/site.cgi?s=3&ss=31&_lang=en.
[Ceneval, 2004]
Ceneval (2004). Evaluación de la educación en México-Indicadores del EXANI-I. México: Ceneval.
[Dewey et al., 2008]
D. Dewey Jennifer, E. Montrosse Bianca, C. Schroter Daniela, D. Sullins Carolyn, R. Mattox John.
Evaluator Competencies: What's Taught versus What's Sought?.
American Journal of Evaluation, 29 (2008), pp. 268-287
[Díaz Barriga, 2006]
Díaz Barriga, Ángel (2006). Las pruebas masivas. Análisis de sus diferencias técnicas. Revista Mexicana de Investigación Educativa, núm. 29, vol. 11, abril-junio, México: COMIE, pp. 583-615.
[Díaz Barriga, 2008]
Díaz Barriga, Ángel; Barrón, Concepción y Díaz Barriga, Frida (Coord.). (2008). Impacto de la evaluación en la educación superior mexicana. Un estudio en las universidades públicas estatales, México: UNAM-IISUE.
[García, 2014]
García José María.
¿Para qué sirve la evaluación de la docencia? Un estudio exploratorio de las creencias de los estudiantes.
Archivos Analíticos de Políticas Educativas, 22 (2014),
[Huse, 2006]
Huse, Irene y McDavid, Jim C. (2006). Literature review: Professionalization of evaluators. Recuperado de: http://www.evaluationcanada.ca/txt/2_literature_e.pdf.
[INEE, 2007]
INEE (2007). La Educación para Poblaciones en Contextos Vulnerables. Informe Anual 2007, Instituto Nacional para la Evaluación de la Educación. México: INEE.
[INEE, 2006]
INEE (2006). Políticas y sistemas de evaluación educativa en México. Avances, logros y desafíos. Informe para la Reunión Ministerial del Grupo e-9 (UNESCO). Instituto Nacional para la Evaluación de la Educación. México: INEE.
[International, 2012]
International Development Evaluation Association (2012). “Competencies for Development Evaluation Evaluators, Managers, and Commissioners”. IDEAS Working Group on Evaluation Competencies.
[Joint, 1994]
Joint Committee on Standards for Educational Evaluation (1994). The program evaluation standards, 2a. ed., Thousand Oaks, CA: Sage. Recuperado de: http://www.wmich.edu/evalctr/jc/.
[Joint, 1981]
Joint Committee on Standards for Educational Evaluation (1981). Standards for evaluations of educational programs, projects, and materials. New York: McGraw-Hill.
[Kaesbauer, 2012]
Kaesbauer, Susanne Anna Maria (2012). Teaching Evaluator Competencies: An Examination of Doctoral Programs. PhD dissertation. University of Tennessee. Recuperado de: http://trace.tennessee.edu/utk_graddiss/1314.
[King et al., 2001]
A. King Jean, Stevahn Laurie, Ghere Gail, Minnema Jane.
Toward a taxonomy of essential evaluator competencies.
American Journal of Evaluation, 22 (2001), pp. 229-247
[Kirkhart, 1981]
Kirkhart Karen.
Defining evaluator competencies: New light on an old issue.
American Journal of Evaluation, 2 (1981), pp. 188-192
[Martínez, 2013]
Martínez, Felipe (2013). El futuro de la evaluación educativa. Sinéctica, 40. Recuperado de: http://www.sinectica.iteso.mx/articulo/?id=40_el_futuro_de_la_ evaluacion_educativa.
[Mertens, 1994]
M. Mertens Donna.
Training evaluators: Unique skills and knowledge.
New Directions for Program Evaluation, 62 (1994), pp. 17-27
[Montoya et al., 2014]
Montoya, Juny; Arbesú, María Isabel; Contreras, Gloria y Conzuelo, Sandra (2014). Evaluación de la docencia universitaria en México, Chile y Colombia: análisis de experiencias. Revista Iberoamericana de Evaluación Educativa, 7 (2e), 15-42.
[Moreno, 2011]
Moreno, Tiburcio (2011). Frankenstein evaluador. Revista de la Educación Superior, ANUIES, Vol. XL (4), No. 160, Octubre-Diciembre, pp. 119-131. Recuperado de: http://www.scielo.org.mx/scielo.php?pid=S0185-27602011000400006≻ript=sci_arttext.
[Moreno, 2009]
Moreno, Tiburcio (2009). Competencias en educación superior: un alto en el camino para revisar la ruta de viaje. Perfi Educativos, XXXI (124), pp. 69-92. Recuperado de: http://www.iisue.unam.mx/seccion/perfi.
[Navío, 2005]
Navío Antonio.
Propuestas conceptuales en torno a la competencia profesional.
Revista de educación, 337 (2005), pp. 213-234
[Nevo, 1997]
Nevo David.
Evaluación basada en el centro. Un diálogo para la mejora educativa.
El Mensajero, (1997),
[Ordorika, 2004]
Ordorika, Imanol (Coord.) (2004). La Academia en Jaque: Perspectivas Políticas sobre la Evaluación de la Educación Superior en México. México: UNAM /Editorial Porrúa.
[Patton, 1990]
Patton Michael Quinn.
The challenge of being a profession.
Evaluation Practice, 11 (1990), pp. 45-51
[Rueda, 2011]
Rueda, Mario y Díaz Barriga, Frida (Coord.). (2011). La evaluación de la docencia en la universidad. Perspectivas desde la investigación y la intervención profesional. Segunda edición, México: UNAM-IISUE.
[Scriven, 1996]
Scriven Michael.
Types of evaluation and types of evaluator.
Evaluation Practice, 17 (1996), pp. 151-161
[Scriven, 1991]
Scriven Michael.
Evaluation thesaurus.
4a. ed., Sage, (1991),
[Scriven, 1966]
Scriven, Michael (1966). The methodology of evaluation. In: Social Science Education Consortium, publication 110, Indiana: Purdue University.
[Stake, 2010]
Stake, Robert (2010). El desarrollo de centros de evaluación y la formación de evaluadores. Gestión y Análisis de Políticas Públicas, núm. 3, pp. 19-33, Madrid: Instituto Nacional de Administración Pública.
[Stevahn et al., 2005]
Stevahn Laurie, A. King Jean, Ghere Gail, Minnema Jane.
Establishing essential competencies for program evaluators.
American Journal of Evaluation, 26 (2005), pp. 43-59
[Stufflebeam et al., 1971]
D.L. Stufflebeam, W.J. Foley, W.J. Gephart, G. Guba Egon, L. Hammond Robert, O. Merriman Howard, M. Provus Malcolm.
Educational evaluation and decision making.
Peacock, (1971),
[Wilcox, 2012]
Wilcox, Yuanjing (2012). An Initial Study to Develop Instruments and Validate the Essential Competencies for Program Evaluators (ECPE). A Dissertation for the Degree of Doctor of Philosophy. USA: Faculty of the Graduate School of the University of Minnesota.
[Worthen, 1999]
R. Worthen Blaine.
Critical challenges confronting certification of evaluators.
American Journal of Evaluation, 20 (1999), pp. 533-555
[Zorzi et al., 2002]
Zorzi, Rochelle; McGuire, Martha & Perrin, Burt (2002). Evaluation benefi outputs, and knowledge elements: Canadian Evaluation Society project in support of advocacy and professional development. Recuperado de: http://consultation.evaluationcanada.ca/pdf/ZorziCESReport.pdf.

En este artículo emplearemos el término evaluador para referirnos indistintamente tanto a hombres como a mujeres, evitando así la duplicación innecesaria de sustantivos masculinos y femeninos cuando no hay necesidad específica para diferenciar por sexo. En español es habitual, desde hace mucho tiempo, el uso del masculino genérico (el todos, con lo que nos referimos a todos y todas, por ejemplo) y no es aconsejable (ni siempre posible) forzar cambios en la lengua para transformar sus estructuras gramaticales. En los sustantivos que designan seres animados, el masculino gramatical no sólo se emplea para referirse a los individuos de sexo masculino, sino también para designar la clase, esto es, a todos los individuos de la misma especie, sin distinción de sexos. Consecuentemente, los nombres apelativos masculinos, cuando se emplean en plural, pueden incluir en su designación a seres de uno y otro sexos. Al respecto se recomienda consultar la Nueva Gramática de la Lengua Española de 2009, el Diccionario de la Real Academia Española o el Diccionario Panhispánico de Dudas (artículo temático género).

Título en inglés: The abilities of the educational evaluator.

El evaluador puede ser un individuo o un grupo de individuos que llevan a cabo la evaluación.

Estas discusiones se han visto acentuadas a raíz de las modificaciones en materia de legislación educativa, transformaciones que, sin duda, afectan de modo notable la evaluación del desempeño de los maestros de educación básica.

Proviene de la palabra italiana dilettante (“el que se deleita”) y refiere a una persona que tiene afición por una o varias artes o disciplinas del saber. También alude a una persona que cultiva un arte o una disciplina como aficionado, no como profesional, generalmente por no tener capacidad para ello.

Excepto la Universidad Anáhuac que ofrece una especialidad y un doctorado en evaluación educativa.

Descargar PDF
Opciones de artículo