El artículo tiene como objetivo identifi cuáles son las competencias profesionales que debe poseer un evaluador educativo. Este trabajo también apunta a la recuperación de la literatura especializada del “evaluador prototipo”, a fi de ofrecer algunas sugerencias respecto a sus competencias útiles para quienes participan en la dirección de programas de evaluación o en el diseño de programas de formación de evaluadores educativos. Los hallazgos principales revelan una serie de competencias profesionales, tales como: habilidades interpersonales y de comunicación, métodos de investigación, análisis de datos, gestión de proyectos, ética profesional, conocimiento del contexto social y de la naturaleza del objeto evaluado.
Based on an extensive literary review, this article aims to identify the key skills that any professional who conducts educational evaluations must have. Some of the main abilities identified and discussed in this paper are interpersonal and communication skills, research methods, data analysis, project management, professional ethics, and knowledge of the social context and of the object under evaluation. The article concluded with some useful suggestions for those who are in charge of evaluation programs or who train educational evaluators.
La evaluación en educación está en boga en todo el mundo; se trata de un tema relevante toda vez que ésta tiene un poder indiscutible para configurar y afectar los resultados de los sistemas educativos. Nuestro país no es la excepción; en las últimas tres décadas hemos visto como los procesos de evaluación han ido extendiéndose y permeando cada vez a más agentes, programas e instituciones. Podría afirmarse que la evaluación tiene tantas cabezas como la Hidra de Lerna.
Durante este periodo de intensificación de la evaluación, las principales cuestiones que han captado la atención tienen que ver, sobre todo, con las políticas nacionales de evaluación (Andere, 2009; inee, 2006), las pruebas nacionales y sus resultados (Martínez, 2013; Díaz Barriga, 2006), las pruebas internacionales y el lugar que el país ocupa en la clasificación (pisa, 2010), los indicadores de evaluación (Blanco, 2009; inee, 2007), la acreditación de programas y la certificación de instituciones (Díaz Barriga, Barrón y Díaz Barriga, F., 2008; Ordorika, 2004), los exámenes de ingreso y egreso de la educación media superior y superior (Aboites, 2012; Ceneval, 2004), la relación entre los resultados de evaluación y los programas de estímulos económicos (Rueda y Díaz Barriga, 2011; Montoya, Arbesú, Contreras y Conzuelo, 2014; García, 2014), entre otros.
El hecho de que la atención esté centrada predominantemente en los resultados de las evaluaciones (aunque habría que subrayar que tal interés se suscita sólo cuando los resultados son tan asombrosos o tan indecorosos que resulta casi imposible ignorarlos), en sí mismo es una clara señal del atraso en este campo, pues los temas de calado profundo generalmente se soslayan, por ejemplo, por qué evaluar, para qué evaluar, qué hacer con los resultados de la evaluación, cuál debe ser el papel de la evaluación y de los evaluadores en una sociedad democrática, etc. Y cuando tales tópicos se abordan, generalmente se hace de forma superficial o empleando una retórica política propia de otra época.
Por otro lado, todo modelo de evaluación contiene una serie de elementos que le son imprescindibles, uno de ellos es quién evalúa. El evaluador2 es un actor clave en cualquier programa de evaluación puesto que en él recae fundamentalmente la responsabilidad de llevar a cabo esta compleja labor, de modo que según su formación, su experiencia, su credibilidad y su autoridad, será en buena medida la calidad de la evaluación. Con el discurrir del tiempo ha habido un cambio sustancial, hemos transitado, en el plano teórico, de una heteroevaluación hacia formas de evaluación más democráticas y participativas, como la autoevaluación y la coevaluación, donde los evaluados se involucran activamente en su propio proceso de evaluación. No obstante, las prácticas de evaluación de la educación (superior) en nuestro país continúan dominadas por esquemas verticales donde los individuos evaluados asumen un rol pasivo, convertidos en objetos y nunca en sujetos de la evaluación, cuya participación se limita generalmente a suministrar información o datos que se requieren por parte de los evaluadores para rellenar los formatos correspondientes.
En los debates educativos recientes3 de nuestro país, un tema que prácticamente ha estado ausente —o cuyo abordaje ha sido tangencial— es el de las competencias o capacidades del evaluador. Consideramos que este asunto es crucial toda vez que de acuerdo con la pericia del evaluador en este ámbito, las implicaciones y consecuencias para los evaluados pueden ser de muy distinta índole.
Precisamente este artículo tiene como objetivo identificar cuáles son las competencias profesionales que debe poseer un evaluador en educación. Algunas de las preguntas centrales que guían nuestra reflexión son: ¿se requiere contar con cierto perfil profesional o cualquiera puede ser evaluador en el campo educativo?; en todo caso, según los especialistas, ¿qué perfil debe cubrir un evaluador profesional en el ámbito educativo?; ¿qué conocimientos y habilidades debe poseer?; ¿qué actitudes y valores deben guiar su actuación?; ¿quién debe formar a los evaluadores? Pensamos que responder a estas cuestiones es importante, pues si bien no agotan todo lo que se podría decir en relación con este tema, al menos abren una ventana para la reflexión y la discusión en torno al papel de este personaje central: el evaluador.
Otro aporte adicional de este trabajo estaría relacionado con recuperar de la literatura especializada un perfil del “evaluador arquetipo”, de modo que se puedan ofrecer algunas orientaciones en cuanto a las competencias del evaluador que resulten útiles para aquellos involucrados, sea en la dirección de los programas de evaluación dentro del sistema educativo formal a distintos niveles (nacional, estatal, zona escolar, institución educativa), o bien en el diseño de los programas de formación de evaluadores educativos.
A partir de nuestra experiencia participando en procesos de evaluación de la educación superior, sabemos que quienes se desempeñan como evaluadores generalmente sólo tienen que cubrir ciertos requisitos formales, tales como: contar con un posgrado en un determinado campo disciplinar, ser profesor de tiempo completo, ser miembro del Sistema Nacional de Investigadores (sni) para evaluar proyectos del Consejo Nacional de Ciencia y Tecnología (Conacyt), tener Perfil Promep (Programa de Mejoramiento del Profesorado) ahora Prodep (Programa para el Desarrollo Profesional Docente), entre otros. Estos requerimientos pueden variar según la convocatoria de que se trate y el objeto a evaluar (programas, proyectos, publicaciones, candidatos para ingresar a un programa de posgrado o para recibir alguna distinción académica, etcétera). En síntesis, casi basta con ser un par académico y tener disponibilidad de tiempo para desempeñarse como evaluador de la Secretaría de Educación Pública (sep), del Conacyt, de un organismo acreditador o de alguna Institución de Educación Superior (ies) del país. La exigencia de contar con formación y experiencia en el campo de la evaluación, lo que dotaría al evaluador de la expertise necesaria para llevar a cabo esta ardua empresa, simplemente parece un lujo del que se puede prescindir. Ante estos sucesos recurrentes, uno no puede dejar de experimentar cierta sensación de déjà vu, pues los sesgos de estas evaluaciones durante largo tiempo han afectado los intereses de las personas e instituciones.
En la bibliografía especializada se encuentran escasas referencias a las competencias del evaluador en sentido genérico; los trabajos de investigación se circunscriben sobre todo a las competencias del evaluador de programas. No obstante, en estos documentos se encuentra información valiosa que puede ser extrapolada al evaluador educativo en general, independientemente del objeto que se evalúa.
Los hallazgos principales apuntan a la identificación de un conjunto de competencias profesionales que un evaluador educativo —que se precie de serlo— debe cubrir; si no todas, al menos algunas que parecen ineludibles, tales como: habilidades interpersonales y de comunicación, pensamiento crítico, métodos de investigación, análisis de datos cuantitativos y cualitativos, administración de datos, gestión de proyectos, habilidades de presentación (Dewey, Montrosse, Schroter, Sullins & Mattox, 2008), ética profesional, conocimiento del contexto social y de la naturaleza del objeto de la evaluación.
Perfil profesional del evaluadorConsideramos “evaluador” a quien, dentro de un campo determinado de actividad, averigua e informa sobre los méritos y carencias del objeto de evaluación. El valor que se le asigne sirve para muchos propósitos: la mejora de un proceso, la concesión de un premio, la aplicación de medidas especiales de refuerzo educativo, el cumplimiento de un contrato. Éstas son algunas de las diversas formas en que se emplea la evaluación (Scriven, 1966).
En tanto que las “competencias profesionales” aluden a un conjunto de elementos combinados (conocimientos, habilidades, destrezas, actitudes, saberes, etc.), que se integran atendiendo a una serie de atributos personales (capacidades, motivos, rasgos de la personalidad, aptitudes, etc.), tomando como referencia las experiencias personales y profesionales, y que se manifiestan mediante determinados comportamientos o conductas en el contexto de trabajo (Moreno, 2009; Navío, 2005).
Concebimos a la evaluación como una disciplina y como un campo de aplicación especializado, por tanto, sostenemos que no sólo se requiere contar con una formación ex professo para poder desempeñarse competentemente como evaluador en el campo educativo, sino que es un requisito sine qua non, toda vez que de los resultados de la evaluación se derivan fuertes repercusiones (promoción, certificación, reconocimiento a la calidad, prestigio e incluso ayudas económicas) que afectan los derechos de los evaluados. Todo esto obliga a que la evaluación vaya mucho más allá de la buena voluntad u opinión particular del evaluador. El perfil profesional del evaluador debe ser amplio, flexible, e incluir de forma integrada conocimientos, habilidades, actitudes y valores, recursos todos éstos que deberá saber movilizar para resolver de forma efectiva y oportuna los diversos problemas que le plantee el campo laboral. Estos problemas se suelen caracterizar por ser complejos (no admiten una respuesta única), multidimensionales, dinámicos, y ser abiertos o poco estructurados. En este contexto, un perfil profesional fijo o rígido resultará de escaso valor.
Tipos de evaluadoresDe acuerdo con Nevo (1997: 33), para ser un evaluador competente y fiable se necesita la combinación de una amplia gama de características; éstas incluyen competencia técnica en el área de la medida y de la investigación, conocimiento del contexto social y de la naturaleza del objeto de la evaluación, destreza en relaciones humanas, integridad personal y objetividad, así como características relacionadas con la autoridad y la responsabilidad. Como no es sencillo hallar una persona que satisfaga todos estos requisitos, la estrategia consiste en conformar un equipo de evaluadores que coordine la evaluación o, por el contrario, optar por una persona con las características más apropiadas para que se ocupe de un componente específico de la evaluación.
Según el citado autor, en la literatura especializada se pueden identificar diferentes tipos de evaluadores, y una primera distinción estriba entre el evaluador interno y el evaluador externo (Scriven, 1966, 1991; Stufflebeam, et. al. 1971). El evaluador interno suele estar contratado por los responsables del proyecto y les informa directamente; ergo, su objetividad y su credibilidad externa pueden ser menores que las del evaluador externo que no es contratado directamente por los responsables del proyecto y goza de mayor autonomía. Además, en vista de que el evaluador interno resulta más próximo y familiar, puede parecer menos amenazante que el externo para los evaluados.
La segunda distinción, atribuida a Scriven (1966), radica entre el evaluador profesional y el evaluador práctico; esta diferencia no es una valoración en cuanto a la calidad del evaluador, sino que más bien alude a dos ejes de formación y experiencia. El evaluador práctico es aquél que no está especializado en evaluación y su participación en la misma constituye sólo una parte de su trabajo, en tanto que el evaluador profesional posee una vasta formación en evaluación y su principal ocupación es liderar evaluaciones.
No obstante, aunque las competencias técnicas del evaluador práctico pueden ser inferiores que las del profesional, es probable que se muestre más empático con las necesidades de evaluación y establezca una relación interpersonal más satisfactoria con los integrantes del proyecto en cuestión. Estas dos distinciones son independientes la una de la otra, y puede haber evaluadores internos/prácticos, externos/prácticos, internos profesionales/externos profesionales (Nevo, 1997).
Ahora bien, lo expresado en líneas anteriores es lo que refiere la literatura especializada sobre este tema, pero lo que dicta la realidad en nuestro país parece apuntar en una dirección muy distinta, pues como ha sido mencionado antes, quienes tienen en sus manos las tareas de evaluación suelen ser, en el mejor escenario, individuos relacionados con el mundo de la educación (algunos incluso con amplia experiencia en la administración o la gestión escolar), pero que en su faceta de evaluadores se revelan como amateurs o “espontáneos”. En el peor escenario, no menos habitual desafortunadamente, se encuentran aquellos individuos encargados de evaluar la educación que podríamos calificar como “diletantes”,4 cuya posición como evaluadores o gestores de la evaluación se debe especialmente a sus relaciones sociales con quien detenta el poder político, antes que a sus competencias como profesionales de la educación y mucho menos de la evaluación. Aquí cabría acotar que “debido al enorme impacto de las evaluaciones, sólo deberían ser realizadas por individuos con los conocimientos y las habilidades para hacerlo de una manera eficaz y ética” (Kaesbauer, 2012: 12).
Como apuntábamos al inicio, la mayor parte de la bibliografía consultada refiere a las competencias del evaluador de programas, pero consideramos que mucho de lo dicho puede ser aplicado a la evaluación de otros componentes del sistema educativo, de modo que aunque en ciertos momentos nos referiremos a las competencias requeridas para la evaluación de programas, en realidad estamos contemplando estas capacidades del evaluador en sentido amplio.
Investigaciones sobre las competencias del evaluadorA diferencia de la amplia investigación que existe sobre las competencias en el campo de la gestión, la investigación sobre las competencias del evaluador es escasa; la mayoría de las investigaciones disponibles sobre las competencias del evaluador es de naturaleza teórica. Existen abundantes puntos de vista sobre la conveniencia o no de que el evaluador tenga competencias, y acerca de cuáles competencias debe poseer, pero faltan estudios empíricos sobre estas cuestiones. Aunque se han propuesto varios marcos de trabajo para identificar las competencias del evaluador, ninguno de éstos “se ha derivado de un proceso sistemático o validado por la construcción de consensos empíricos entre los diversos profesionales del campo” (King, Stevahn, Ghere & Minnema, 2001: 230).
El ámbito de la evaluación de programas tiene la necesidad de identificar las competencias para los evaluadores por tres razones principales: 1) como base para orientar los programas de formación para los profesionales noveles, 2) desarrollar la formación continua de los profesionales experimentados, y 3) llevar a cabo revisiones periódicas que aseguren la integridad del campo (Stevahn, King, Ghere & Minnema, 2005). Por otro lado, la comunidad de evaluación no ha alcanzado un consenso sobre una lista de competencias del evaluador que representen los diversos enfoques filosóficos y prácticos que actualmente se utilizan en la evaluación de programas (King et. al. 2001; Smith, 1999; Worthen, 1999).
Sin embargo, en este tema se identifican con cierta claridad dos posturas: la primera incluye los autores que rechazan la definición de un conjunto de competencias para el evaluador; la segunda comprende aquellos que proponen determinadas competencias con las que un evaluador debe contar. En el primer caso, por ejemplo, se encuentra Kirkhart (1981: 189), quien considera que una vez reconocida la naturaleza de la evaluación de programas como “flexible”, “situación específica” y “conceptualmente confusa”, cualquier intento de redactar una lista de habilidades “fijas” para la evaluación de programas sería un disparate. Sin embargo, como veremos más adelante, este autor sí propone categorías descriptivas de las competencias del evaluador.
En estas coordenadas Robert Stake (2010: 24-25) afirma:
Desde mi punto de vista, no sería bueno para nuestra profesión estandarizar más la práctica de la evaluación. Podemos imaginarnos otro escenario en el que la evaluación sea tan variada, opaca y adaptada a cada contexto, que confunda a nuestros clientes y al público; no creo que sea el caso en la actualidad. Así que la formación [de los evaluadores] también debe diversificarse.
Evidentemente, el citado autor se refiere a la práctica de evaluación en los Estados Unidos; habría que pensar si esta afirmación aplica para el caso nuestro donde es claro que las prácticas de evaluación (al menos en la educación obligatoria) parecen encaminarse hacia una estandarización y, en general, tales prácticas suelen ser bastante opacas y difusas.
En la segunda postura se identifican no sólo especialistas en el campo sino también agencias u organismos evaluadores que no plantean explícitamente competencias, pero sí una serie de normas y principios generales que pueden servir como guía para el desarrollo de buenas prácticas de evaluación y que dejan entrever las competencias profesionales del evaluador.
Puesto que en los Estados Unidos la evaluación de programas es un campo profesionalizado, existe desde hace tiempo el Joint Committee on Standards for Educational Evaluation (1994; 1981) (Comité Conjunto de Estándares para la Evaluación de la Educación), el cual ha desarrollado un conjunto de estándares de evaluación que agrupa en cuatro áreas clave: utilidad, viabilidad, corrección y exactitud:
Los estándares ofrecen un marco para la comprensión de las habilidades y competencias necesarias para llevar a cabo evaluaciones de los programas... De este modo, los estándares asumen implícitamente ciertas aptitudes, conocimientos y competencias por parte del evaluador(s) (Kirkhart, 1981: 188).
Por otro lado, a mediados de la década de los noventa un grupo de trabajo de la American Evaluation Association (aea) (Asociación Americana de Evaluación) creó los Principios Rectores para los Evaluadores, cuya finalidad se expresa en los siguientes términos: “Los principios tienen por objeto guiar la práctica profesional de los evaluadores, y para informar a los clientes de la evaluación y al público en general acerca de los principios que pueden esperar sean confirmados por los evaluadores profesionales” (American Evaluation Association, 2004). Tanto los estándares como los principios, sin embargo, “no abordan directamente las competencias que un evaluador necesita para funcionar eficazmente en contextos específicos” (King et. al. 2001: 230).
Como el lector puede apreciar, tanto los Estándares para la Evaluación de la Educación propuestos por el Joint Committee on Standards for Educational Evaluation, como los Principios Rectores para los Evaluadores de la American Evaluation Association, no expresan abiertamente las competencias que debe poseer un evaluador, sino que a partir de sus concepciones abstractas dejan que cada cual infiera e interprete cuáles serían las competencias deseables de un buen evaluador.
Entre los autores que pugnan abiertamente por establecer las competencias de un evaluador se encuentra Smith (1999), quien sugiere tres opciones para el desarrollo de competencias en el contexto de la certificación del evaluador: 1) una lista autogenerada de competencias por parte de los evaluadores profesionales, 2) un enfoque de análisis de tareas basado en las aportaciones de los destinatarios de la evaluación, 3) identificar las competencias del evaluador de acuerdo con los Principios Rectores para los Evaluadores propuestos por la American Evaluation Association (2004). Esta autora previene que:
…las tres opciones presentan sus restricciones, la lista autogenerada podría ser considerada egoísta, no sensible al usuario, y carente de base empírica; el enfoque de análisis de tareas es costoso; y los Principios Rectores son demasiado generales para aplicarse (Smith, 1999: 525-526).
Expertos ampliamente reconocidos en el campo de la evaluación de programas han identificado informalmente listas de competencias para los evaluadores. Por ejemplo, Michael Patton (1990: 48) propuso que un evaluador competente debe poseer conociminento de múltiples y diversos métodos, habilidades de comunicación, capacidad de conceptualización y lógica del programa, habilidades de consultoría, competencia interpersonal, sofisticación política, conocimiento de cómo funcionan las organizaciones, creatividad, habilidades de presentación orales y escritas.
Por su parte, Michael Scriven (1996: 160) desafió a los evaluadores a tener la “competencia razonable” de ser capaces de entender y aplicar metodologías cuantitativas y cualitativas básicas, teoría de la validez, teoría de la generalización, meta-análisis, restricciones legales sobre el acceso y el control de los datos, análisis ético, evaluación de necesidades, análisis de costos, habilidades y modelos internos de síntesis, geografía conceptual, y diseño, construcción y presentación de un informe específico de evaluación. Las propuestas de los autores antes citados contienen una serie de capacidades que podríamos englobar en bloques de competencias: teórico-metodológicas, interpersonales, éticas y sociales.
También hay autores que han propuesto categorías de competencias del evaluador, por ejemplo, Kirkhart (1981) y Mertens (1994), quienes reflexionaron sobre la práctica de evaluación y organizaron de las habilidades y los conocimientos de la evaluación de programas en marcos conceptuales. Karen Kirkhart (1981: 188-189) identificó ocho grandes categorías descriptivas de las competencias del evaluador:
- 1)
Habilidades metodológicas
- 2)
Áreas de conocimiento que proporcionan antecedentes sustantivos
- 3)
Habilidades de análisis de sistemas
- 4)
Astucia y entendimiento políticos
- 5)
Ética profesional
- 6)
Habilidades de gestión
- 7)
Capacidad de comunicación
- 8)
Habilidades interpersonales o rasgos del carácter
Mientras tanto, Donna Mertens (1994: 19) dividió esas habilidades y conocimientos en cuatro categorías:
- 1)
Los exclusivos de la evaluación
- 2)
Los relacionados con la formación típica en metodología de la investigación y la indagación
- 3)
Los relacionados con áreas de la ciencia política o la antropología
- 4)
Los que son específicos para cada disciplina
Antes mencionamos que en México no existen instituciones ni programas de posgrado que tengan como propósito declarado la formación de profesionales de la evaluación en el ámbito educativo.5 En este escenario, podríamos afirmar que en el país los evaluadores “hacen su camino al andar” y lo hacen generalmente mediante el método de “ensayo y error”, así es como en la cotidianidad ellos van fraguando su dominio (o falta de éste) del campo; son, en reiteradas ocasiones, la intuición, la rutina o la imitación, las pautas principales que guían su quehacer como evaluadores, con los riesgos que entrañan, pues sabemos que el progreso conseguido en un trabajo depende de algo más que de la experiencia o de las conversaciones con los colegas:
Podrían haber estado poniéndolo en práctica hasta que criaran pelo las ranas, pero si no hubiesen cambiado la manera en que comprendían lo que es el conocimiento, es muy posible que no hubieran conseguido aprender nada. No se aprende de la experiencia: se aprende de reflexionar sobre la experiencia (Bain, 2014: 180).
No ocurre lo mismo en otros países; así encontramos que la Canadian Evaluation Society (Sociedad Canadiense de Evaluación) (ces), es una organización profesional que ha representado un valioso apoyo para desarrollar las competencias del evaluador en ese país del norte. La ces encargó a su Comité de Desarrollo Profesional promover la práctica profesional de la evaluación, y para ello en 1999 se crearon las Series de Habilidades Esenciales de Evaluación (ess), un programa de formación que consta de cuatro días de talleres guiados por un evaluador experimentado que introduce los conceptos y métodos de evaluación; éste incluye: 1) comprensión de la evaluación del programa, 2) construcción de un marco de evaluación, 3) mejora del desempeño del programa, y 4) evaluación de los resultados (Canadian Evaluation Society, 2004). Las ess brindan una visión general de las competencias esenciales que se requieren en la evaluación de programas (ver Tabla 1).
Series de Habilidades Esenciales de Evaluación (ess)
Comprensión de la evaluaciónde programas | Términos y conceptos clave | |
Beneficios de la evaluación de programas | ||
Pasos básicos en el proceso de evaluación | ||
Principales enfoques para la evaluación de programas | ||
Dar forma a las preguntas de evaluación | ||
Diseño de una evaluación | ||
Evaluar con recursos limitados | ||
Análisis e informe de los resultados de evaluación | ||
Reducción de la resistencia a la evaluación | ||
Involucrar al personal y a los clientes en el proceso de evaluación | ||
Incrementar la utilización de la evaluación | ||
Realizar evaluaciones éticas y justas | ||
Construcción de un marcode evaluación | Identificar quién es el cliente y cuáles son sus necesidades | |
Conceptos básicos de la evaluación de necesidades | ||
Enfoques principales acerca de la evaluación de las necesidadesdel cliente | ||
Métodos de evaluación para “acercarse al cliente” | ||
Construcción de un marco de evaluación a través de modelos lógicos | ||
Involucrar a los gerentes y al personal en la construcción de un marco de evaluación | ||
Relacionar el diseño del programa con las necesidades del cliente | ||
Definir los componentes del programa | ||
Formulación de indicadores para el éxito del programa | ||
Uso del marco de evaluación para vincular los resultados del programa a las necesidades del cliente | ||
Mejora del desempeñodel programa | Uso de la evaluación como una herramienta de gestión para mejorar el desempeño del programa y la rendición de cuentas interna | |
Conceptos básicos de control y evaluación del proceso | ||
Monitorear los resultados del programa con datosadministrativos y sistemas de información existentes | ||
Mejora...(continuación) | Desarrollo continuo de instrumentos y procedimientosde recolección de datos | |
Vincular el proceso de evaluación a la toma de decisionesdel programa | ||
Evaluar la satisfacción del cliente | ||
Comprender la mejora continua de la calidad | ||
Usar la evaluación del programa para la construcciónde una “organización de aprendizaje” | ||
Evaluación de resultados | Definición de los resultados del programa | |
Enfoques principales acerca de la evaluación de los resultados | ||
Desarrollar mediciones de los resultados | ||
Diseñar evaluaciones de los resultados | ||
Validez y confiabilidad | ||
Uso apropiado de técnicas cuantitativas y cualitativas | ||
Relacionar los resultados del programa con los costosdel mismo | ||
Comprender los beneficios del programa | ||
Medir la equidad del programa y su capacidadpara responder a las necesidades de la comunidad | ||
Comunicar las conclusiones de la evaluación | ||
Usar las evaluaciones para mejorar la eficacia del programay la rendición de cuentas |
Tomado de: Canadian Evaluation Society (2004). Essential skills series in evaluation.
Respecto a la información contenida en el cuadro anterior, habría que señalar que en el campo educativo no se suele hacer referencia a los “clientes” ni a los “gerentes”, salvo en los enfoques neoliberales que consideran a la escuela como una empresa (verbigracia el enfoque de la “calidad total”). Por tanto, es preciso reemplazar estos términos por otros que resulten más adecuados al ámbito de la educación; así, resulta más propio hablar de “audiencias” o de “grupos de interés” para el primer caso y de “administradores” o “gestores” educativos (directores, coordinadores) para el segundo.
Como ya se dijo antes, la investigación sobre las competencias del evaluador es exigua. Los estudios desarrollados hasta ahora son de corte teórico y los marcos de trabajo para identificar las competencias del evaluador no gozan de consensos empíricos de los profesionales del campo. Sin embargo, en medio de este desierto de información existe un resquicio que hace albergar la esperanza de un desarrollo del campo.
No fue sino hasta el nuevo milenio que se llevaron a cabo dos proyectos para desarrollar inventarios y descripciones de competencias para los evaluadores (Huse & McDavid, 2006). Uno de los proyectos fue patrocinado por la Sociedad Canadiense de Evaluación (en adelante llamado el proyecto canadiense), y el otro se llevó a cabo de forma independiente por un grupo de investigadores universitarios en los Estados Unidos para desarrollar Competencias Esenciales para los Evaluadores de Programas (ecpe) (en lo sucesivo denominado el proyecto ecpe).
El proyecto ecpe se llevó a cabo por King et. al. (2001) en los EE.UU. Estos autores desarrollaron una taxonomía de las competencias esenciales para los evaluadores de programas, la cual destaca las capacidades que un evaluador necesita tener para llevar a cabo una práctica de evaluación eficaz. El mismo grupo de investigadores (Stevahn, King, Ghere & Minnema, 2005) posteriormente perfeccionó las competencias del evaluador y las cruzó con referencia al Programa de Estándares de Evaluación (Joint Committee on Standards for Educational Evaluation, 1994) y a los Principios Rectores (American Evaluation Association Task Force on Guiding Principles for Evaluators, 1995), así como con las Series de Habilidades Esenciales (Canadian Evaluation Society, 1999).
Las Competencias Esenciales para Evaluadores de Programas se desarrollaron a partir de un coloquio de estudios de evaluación a nivel de posgrado (King et. al. 2001). A continuación, se realizó un estudio de validación presencial con 31 evaluadores del área de Minnesota. Como resultado de los estudios, se establecieron las competencias esenciales para el evaluador de programas, incluyendo 61 ítems en seis categorías: práctica profesional, investigación sistemática, análisis situacional, gestión de proyectos, práctica reflexiva y competencia interpersonal (ver Tabla 2).
Competencias Esenciales para Evaluadores de Programas (ecpe)
Práctica profesional | Aplica estándares de evaluación profesionales | |
Actúa éticamente y se esfuerza por lograr la integridady la honestidad en la realización de las evaluaciones | ||
Transmite enfoques de evaluación personal y habilidadesa clientes potenciales | ||
Respeta a los clientes, los encuestados, los participantesdel programa y otros grupos de interés | ||
Considera el bienestar general y el público en la prácticade evaluación | ||
Contribuye a la base de conocimientos de la evaluación | ||
Investigación sistemática | Entiende la base de conocimientos de evaluación (términos, conceptos, teorías, hipótesis) | |
Conoce los métodos cuantitativos, cualitativos y mixtos | ||
Lleva a cabo revisiones de la literatura | ||
Maneja la teoría específica del programa | ||
Enmarca las preguntas de evaluación | ||
Investigación...(continuación) | Desarrolla el diseño de la evaluación | |
Identifica las fuentes de datos | ||
Recopila datos | ||
Evalúa la validez y la confiabilidad de los datos | ||
Analiza e interpreta datos | ||
Hace juicios | ||
Desarrolla recomendaciones | ||
Proporciona fundamentos para las decisiones a lo largode la evaluación | ||
Informa de los procedimientos de evaluación y los resultados | ||
Nota fortalezas y limitaciones de la evaluación | ||
Realiza metaevaluaciones | ||
Análisis de la situación | Describe el programa | |
Determina la evaluabilidad del programa | ||
Identifica los preocupaciones de los grupos de interésrelevantes | ||
Sirve a las necesidades de información de los usuarios previstos | ||
Aborda los conflictos | ||
Examina el contexto organizacional de la evaluación | ||
Analiza las consideraciones políticas relevantes para la evaluación | ||
Atiende a cuestiones de uso de la evaluación | ||
Atiende a los problemas del cambio organizacional | ||
Respeta la singularidad del sitio de evaluación y al cliente | ||
Está abierto a las aportaciones de los demás | ||
Modifica el estudio cuando es necesario | ||
Gestión de proyectos | Responde a las solicitudes de propuestas | |
Negocia con los clientes antes de que comience la evaluación | ||
Escribe acuerdos formales | ||
Se comunica con los clientes en todo el proceso de evaluación | ||
Hace presupuestos para una evaluación | ||
Justifica los costos dadas las necesidades de información | ||
Identifica los recursos necesarios para la evaluación,tales como la información, la experiencia, el personal,los instrumentos | ||
Usa la tecnología apropiada | ||
Supervisa a los demás involucrados en la realizaciónde la evaluación | ||
Capacita a otras personas involucradas en la realizaciónde la evaluación | ||
Realiza la evaluación de una manera no disruptiva | ||
Presenta la obra en tiempo y forma | ||
Práctica reflexiva | Es consciente de sí mismo como un evaluador (conocimientos,habilidades, disposiciones) | |
Reflexiona sobre la práctica de la evaluación personal (competenciasy áreas de crecimiento) | ||
Persigue el desarrollo profesional en la evaluación | ||
Persigue el desarrollo profesional en las áreas de contenido relevantes | ||
Construye relaciones profesionales para mejorar la prácticade evaluación | ||
Competencia interpersonal | Usa habilidades de comunicación escrita | |
Usa habilidades de comunicación al hablar y escuchar | ||
Emplea habilidades de negociación | ||
Emplea habilidades de resolución de conflictos | ||
Facilita la interacción interpersonal constructiva (el trabajoen equipo, la facilitación de grupos, el procesamiento) | ||
Demuestra competencia intercultural |
Adaptado de: Wilcox, Y. (2012). An Initial Study to Develop Instruments and Validate the Essential Competencies for Program Evaluators (ecpe). A Dissertation for the Degree of Doctor of Philosophy. Faculty of the Graduate School of the University of Minnesota, USA.
Estas competencias están destinadas a mejorar la formación, fortalecer la práctica reflexiva, promover la investigación evaluativa y continuar la profesionalización del campo de la evaluación (Stevahn et. al. 2005).
Por otra parte, en el proyecto canadiense (auspiciado por la ces) se llevaron a cabo dos consultas en internet con la comunidad de evaluación, dos sesiones de debate con los delegados en la Conferencia Nacional de la ces en 2002, y discusiones en línea entre los miembros de un panel de expertos invitados de referencia internacional (Zorzi, McGuire & Perrin, 2002: 1). Se identificó una lista de 151 elementos de conocimiento, agrupados en 23 elementos más generales que posteriormente se clasificaron en seis categorías: ética, planificación y diseño de la evaluación, recopilación de datos, análisis e interpretación de datos, habilidades interpersonales y de comunicación, y gestión de proyectos (ver Tabla 3) (Zorzi et. al. 2002: 31-46).
Elementos de Conocimiento para la Evaluación de Programas
Ética | Comportamiento ético | |
Competencia y garantía de calidad | ||
Planificación y diseñode la evaluación | Comprender el programa | |
Evaluar la disposición para la evaluación | ||
Enfocarse en la evaluación | ||
Teoría de sistemas, desarrollo organizacional y cambio | ||
Tipos específicos de evaluación | ||
Historia de la evaluación, teoría de la evaluacióny modelos de evaluación | ||
Diseño de investigación | ||
Construcción de significado | ||
Planificación...(continuación) | Selección de los métodos adecuados para la recopilacióny el análisis de datos | |
Prácticas efectivas en la investigación aplicada | ||
Recolección de datos | Muestreo | |
Cuestiones de medición | ||
Métodos de recolección de datos | ||
Análisis e interpretación de datos | Análisis cualitativo | |
Análisis cuantitativo | ||
Determinar el mérito o valor | ||
Habilidades de pensamiento crítico | ||
Habilidades interpersonalesy de comunicación | Habilidades interpersonales | |
Habilidades de información | ||
Otras habilidades de comunicación | ||
Gestión de proyectos | Gestión de proyectos de evaluación |
Adaptado de: Wilcox, Y. (2012). An Initial Study to Develop Instruments and Validate the Essential Competencies for Program Evaluators (ecpe). A Dissertation for the Degree of Doctor of Philosophy. Faculty of the Graduate School of the University of Minnesota, USA.
Otra fuente consultada que contiene información importante del tema que nos ocupa, es la Asociación Internacional para el Desarrollo de la Evaluación (International Development Evaluation Association, 2012). En un reporte denominado Proyecto Final: “Competencies for Development Evaluation Evaluators, Managers, and Commissioners. ideas Working Group on Evaluation Competencies”, la Asociación propone un conjunto de competencias para evaluadores, directores o responsables de evaluaciones y comisiones de evaluación. En el citado documento se precisa que las competencias se deben considerar en el contexto del mejoramiento profesional o para la revisión de la competencia del equipo de evaluación.
A continuación se presentan las Competencias para los Comisionados (ver Tabla 4).
Competencias para los Comisionados del Desarrollo Internacional de Evaluaciones
Entiende y defiende la integridad del proceso de evaluación | Acepta los potenciales riesgos iniciales, así como los beneficios, de las conclusiones de una evaluación que confirme o no las creencias existentes y los cargos públicos | |
Se compromete a aceptar las conclusiones basadas en la evidencia de la evaluación | ||
Relaciona la evaluación con la política, los entornos y las cuestiones de gobernanza política | ||
Se asegura de que el proceso de selección sea transparente y que se utilicen prácticas de licitación justas, si participa en la selección del director de evaluación o del equipo de evaluación | ||
Se abstiene de ejercer presión sobre el director de evaluación o los evaluadores ni trata de influir en los resultados de una evaluación | ||
Entiende y defiende...(continuación) | Respeta claramente los límites establecidos de una evaluación | |
Se abstiene de tomar y usar partes de una evaluación fuerade contexto | ||
Persigue las medidas de seguimiento en las recomendaciones de una evaluación | ||
Comprende y actúa sobrela necesidad de comunicaciónen todo el proceso de evaluación | Presenta al director/equipo de evaluación la finalidad de la evaluación, los temas que se abordarán en la evaluación desde su perspectiva, las necesidades de temporización críticos, el tipo de producto (s) que se necesita, y el presupuesto (si está en su dominio) | |
Acuerda y sigue un programa de comunicación e información con el director de evaluación y se reúne cuando surgen problemas inesperados | ||
Es realista acerca de lo que puede lograr una evaluación dados los recursos disponibles | ||
Se abstiene de dictar el alcance de la evaluación y la metodología | ||
Examina y acuerda las preguntas, la metodología y el alcance general, la línea de tiempo y los productos de evaluación antesde que se lleve a cabo ésta | ||
Apoya el acceso de las personas a la evaluación y los registros y el derecho público a la información | Acuerda una amplia consulta con los grupos de interés por parte del director de la evaluación/equipo | |
Acuerda honores de confidencialidad por parte del director de evaluación/equipo | ||
Apoya el acceso del director/equipo de la evaluación a los registros y las personas | ||
Es claro acerca de quién es el propietario los datos dentro de las políticas de la organización | ||
Trabaja para promover el interés público mediante el fomento de un enfoque participativo en la planificación de la evaluación y se compromete a realizar informes públicos de evaluación a menos que esté prohibido por la política de la organización | ||
Respeta los términos del contrato | Considera cambios en el diseño/preguntas/métodos de evaluación si surgen problemas imprevistos | |
Renegocia el contrato de evaluación de acuerdo con cambios acordados importantes para la evaluación | ||
Emprende acciones sobre las recomendaciones deuna evaluación | Apoya un sistema de seguimiento de las recomendaciones, y en lo posible su accesibilidad pública | |
Monitorea la acción sobre las recomendaciones y la difusión de las lecciones | ||
Apoya el monitoreo y la evaluación | Apoya el monitoreo y el fortalecimiento de la capacidad de evaluación |
Tomado de: International Development Evaluation Association (2012). Competencies for Development Evaluation Evaluators, Managers, and Commissioners. ideas Working Group on Evaluation Competencies.
El cuadro siguiente contiene las competencias para los directores o responsables de las evaluaciones (ver Tabla 5).
Competencias para los Directores del Desarrollo Internacional de las Evaluaciones
Fundaciones Profesionales | Conoce y aplica los conceptos, términos y definiciones utilizados en el desarrollo de la evaluación | |
En general entiende y aplica los enfoques, métodos y herramientas del desarrollo de la evaluación | ||
Trata de comprender todo el contexto de una intervención y su teoría/lógica para identificar implicaciones para la evaluación | ||
Reconoce la importancia de la competencia intercultural y muestra sensibilidad cultural | ||
Fundaciones... (continuación) | Conoce el Código de Ética de ideas y se comporta de acuerdo con él | |
Conoce y aplica otros principios y estándares internacionalmente reconocidos para el desarrollo de la evaluación, así como otros principios y estándares de organización aplicables a nivel regional, nacional, y subnacional | ||
Sabe de y apoya redes de evaluación profesionales, la mejora propia y la auto-mejora del personal | ||
Sistemas de Monitoreo | Asegura la revisión de la calidad del monitoreo de los datos con fines de evaluación | |
Usa el monitoreo de los datos para informar a la evaluación y los resultados de la evaluación para mejorar el monitoreo | ||
Planeación y diseño de la evaluación | Apoya y promueve por adelantado la adecuada exploración y planeación para una evaluación, incluyendo la participación de las partes interesadas | |
Trata de minimizar la carga de la evaluación a través de una buena planeación que es participativa en la naturaleza y el análisis secundario de los datos existentes, mediante evaluaciones conjuntas y dirigidas por los países, según corresponda | ||
Asegura que la planeación de la evaluación considere los posibles efectos no deseados de las intervenciones, tanto positivos como negativos, así como los efectos deseados | ||
Desarrolla o promueve un diseño factible más fuerte para responder a las preguntas y a los propósitos de la evaluación | ||
Obtiene revisiones del diseño de evaluación como un control de calidad | ||
Comprueba y toma las acciones apropiadas sobre posibles problemas éticos, incluyendo el conflicto de interés potencial o real, la concesión de confidencialidad/anonimato, y la obtención del consentimiento informado de los participantes en la evaluación | ||
Asegura que instrumentos de recolección de datos sean pretest, protocolos desarrollados, y que los recolectores de los datos tengan la formación adecuada | ||
Gestión de la Evaluación | Construye y mantiene relaciones constructivas con el equipo de evaluación, incluyendo el personal, consultores, asesores y socios, según el caso, y con otros grupos de interés | |
Administra y controla los recursos de evaluación con eficiencia y eficacia, incluyendo los recursos de personal | ||
Muestra un fuerte liderazgo y habilidades de gestión de proyectos para ofrecer evaluaciones de calidad oportunas | ||
Se mantiene informado e informa a la dirección de la organización del progreso y los asuntos de la evaluación | ||
Comunicación de los hallazgos de la evaluación | Concientiza y usa las evaluaciones mediante una comunicación efectiva en cada etapa de la evaluación, promueve la transparencia de los métodos de evaluación, y en la medida de lo posible, difunde públicamente los resultados de la evaluación y el desarrollo de presentaciones específicas, según lo establecido en un plan de difusión | |
Proporciona la oportunidad para que los evaluados revisen y comenten sobre el proyecto de evaluación y sus hallazgos, las conclusiones y recomendaciones, e incorpora la retroalimentación cuando es necesario | ||
Promueve una cultura de aprendizaje de la evaluación | Participa en los comentarios de las evaluaciones realizadas para identificar las lecciones aprendidas tanto del proceso de evaluación como de la calidad del producto | |
Apoya el seguimiento y la búsqueda de los progresos en la aplicación de las recomendaciones de las evaluaciones, según proceda | ||
Aboga por la evaluación y busca construir la capacidad de evaluación de los demás | ||
Apoya formas de construcción del conocimiento, tales como la metaevaluación y los sistemas de lecciones aprendidas |
Tomado de: International Development Evaluation Association (2012). Competencies for Development Evaluation Evaluators, Managers, and Commissioners. ideas Working Group on Evaluation Competencies.
La última tabla muestra las competencias para los evaluadores del desarrollo internacional de las evaluaciones (ver Tabla 6).
Competencias para los Evaluadores del Desarrollo Internacional de las Evaluaciones
Fundaciones Profesionales | Conoce la literatura general y los temas de actualidad en el desarrollo la evaluación | |
Conoce y aplica los conceptos, términos y definiciones utilizados para el desarrollo la evaluación | ||
Comprende y aplica los enfoques, métodos y herramientas para el desarrollo la evaluación | ||
Trata de comprender todo el contexto de una intervención mediante el desarrollo, o examen y revisión, según proceda, de su teoría/lógica para identificar implicaciones para la evaluación | ||
Muestra una competencia intercultural adecuada y sensibilidad cultural | ||
Conoce el Código de Ética de ideas y se comporta de acuerdo con él | ||
Conoce y aplica otros principios y estándares internacionalmente reconocidos para el desarrollo de la evaluación, así como otros principios y estándares de organización aplicables a nivel regional, nacional y subnacional | ||
Busca redes de evaluación profesional y la mejora propia | ||
Busca desarrollar pericia en una especialidad dentro del desarrollo la evaluación | ||
Sistemas de Monitoreo | Demuestra habilidades en el desarrollo y el uso de sistemas de monitoreo y datos | |
Planeación y diseñode la evaluación | Se compromete por adelantado con la adecuada exploración y planeación de una evaluación, incluyendo la participación de las partes interesadas | |
Trata de minimizar la carga de la evaluación a través de una buena planeación que es participativa en la naturaleza y el análisis secundario de los datos existentes, mediante evaluaciones conjuntas y dirigidas por los países, según corresponda | ||
Asegura que la planeación de la evaluación considere los posibles efectos no deseados de las intervenciones, tanto positivos como negativos, así como los efectos deseados | ||
Desarrolla o promueve un diseño factible más fuerte para responder a las preguntas y a los propósitos de la evaluación | ||
Gestión de la Evaluación | Participa en la evaluación como un miembro del equipo, demostrando un fuerte liderazgo y habilidades de trabajo en equipo | |
Gestiona tareas y recursos de evaluación para entregar las responsabilidades de evaluación a tiempo y dentro del presupuesto y de alta calidad | ||
Construye y mantiene relaciones constructivas con los socios, los comisionados de evaluación y otras partes interesadas | ||
Proporciona orientación a los otros dentro y fuera de la organización sobre el diseño y planeación, métodos y enfoques para el desarrollo de la evaluación | ||
Si es el responsable de la evaluación, cumple con las competencias adicionales que se especifican en las Competencias para los Directores del Desarrollo Internacional de las Evaluaciones establecidas por ideas | ||
Realización de la evaluación | Dirige el trabajo de campo y otras revisiones de acuerdo con el diseño y las buenas prácticas de evaluación | |
Analiza e interpreta los datos adecuadamente, obtiene conclusiones basadas en evidencias y formula buenas recomendaciones cuando es necesario |
Tomado de: International Development Evaluation Association (2012). Competencies for Development Evaluation Evaluators, Managers, and Commissioners. ideas Working Group on Evaluation Competencies.
En los tres bloques de competencias identificadas por la International Development Evaluation Association (2012) para el Director, la Comisión y los Evaluadores, se deja claro que la evaluación debe ser un proceso planificado y diseñado, que requiere de sistemas de seguimiento y control, que debe ser gestionado acertadamente y sus hallazgos comunicados de forma efectiva, todo lo cual demanda competencias profesionales de los evaluadores. Otro elemento que resulta de sumo interés apunta a la promoción de una cultura de aprendizaje de la evaluación, es decir, se espera que los evaluadores generen un conjunto de saberes, habilidades, valores y disposiciones en relación tanto con el proceso de evaluación como con la calidad del producto, así como con la aplicación de las recomendaciones, la promoción de la evaluación y la construcción de la capacidad de evaluación de los demás.
Las listas de competencias profesionales —que proponen tanto los especialistas, como las agencias y organismos internacionales para los evaluadores de programas educativos— aportan información relevante que permite ir configurando el nuevo perfil del evaluador para el campo educativo.
Parece que ha llegado el momento de que el evaluador, otrora convertido en auditor/fiscalizador afín a los modelos estandarizados de aseguramiento de la calidad, ceda su trono a un evaluador cuyo perfil se asemeja mucho más al de un asesor (con autoridad académica y moral) que ejerce su liderazgo acompañando el proceso de evaluación con miras a impulsar la mejora permanente de los programas evaluados, sensible a las características y necesidades del contexto, que respeta y valora la diversidad de situaciones. Esta tendencia hacia esquemas de evaluación no estandarizados es la que están siguiendo muchos países, particularmente los desarrollados
Reflexiones finalesEl país requiere de evaluadores profesionales que atiendan las necesidades apremiantes en distintas dimensiones del espectro académico (programas educativos, proyectos de investigación, instituciones escolares, gestión escolar, evaluación curricular, materiales didácticos, evaluación de docentes, formación de evaluadores, etc.), las cuales —ante la ausencia de especialistas— terminan siendo cubiertas por personal novato e improvisado que muchas veces, quizá sin pretenderlo, lleva a cabo evaluaciones claramente perniciosas para los evaluados.
Como los evaluadores profesionales no nacen sino se hacen, luego entonces habrá que formarlos. Los mecanismos y estrategias de esta formación pueden ser múltiples y diversos, pero no se pueden eludir, so pena de hacer de la evaluación un acto distorsionado e inútil que en poco o nada contribuirá a la mejora de la educación superior (Moreno, 2011). Por la especialización que supone la formación de evaluadores educativos, ésta parece ser una labor propia del posgrado, sólo que en el país –a excepción de una sola institución de educación superior privada– no existe una oferta institucional de formación que cubra este vacío. No ocurre lo mismo en otros países, donde el panorama dista mucho del nuestro: “actualmente, hay 26 programas de doctorado que contienen [la palabra] evaluación en su título, especialización o concentración en los Estados Unidos de América” (Kaesbauer, 2012: 2).
Para ser un evaluador competente y fiable se precisa de un conjunto de competencias, las cuales no se pueden adquirir sólo mediante la experiencia acumulada ni con una buena dosis de entusiasmo, sino que se requiere contar con una formación profesional orientada al desarrollo de tales capacidades.
Coincidimos con Robert Stake (2010) en que la mayoría de las personas dan por hecho que el término “evaluación” se refiere a algo técnico o relacionado con la gestión. De algún modo, una buena parte de quienes trabajan en las universidades consideran que una formación general en evaluación carece de importancia. En México es habitual que los responsables de las instituciones educativas, cuando solicitan la realización de una evaluación, lo que buscan es más bien un aval a lo que están haciendo, antes que un conocimiento y comprensión del objeto evaluado. Buscan el reconocimiento más que el conocimiento. Por ejemplo, en el país prácticamente la totalidad de las ies tiene sus programas de licenciatura acreditados por los ciees (Comités Interinstitucionales para la Evaluación de la Educación Superior) como programas de calidad, aunque esa calidad en ocasiones sea dudosa; lo que importa, entonces, es el reconocimiento público que otorga esa acreditación.
En diversas ocasiones se ha señalado que el actual esquema de evaluación de la educación superior en el país está agotado, que es preciso transitar de indicadores cuantitativos a indicadores cualitativos. Desde luego que esto es importante, pero pensamos que el asunto va más allá de establecer indicadores; tiene que ver, en realidad, con un problema de concepción de la evaluación, con la construcción de una determinada cultura de la evaluación y con el papel del evaluador en esta trama, cuyo descuido por su formación profesional resulta evidente. Actualmente, los evaluadores son individuos con antecedentes de formación y experiencias prácticas variadas, relacionadas o no con el campo de la evaluación educativa. Se trata de una actividad no controlada, si bien existe la necesidad de contar con una certificación, acreditación o licencia como evaluador.
Quizá muchos de los problemas que afrontamos en este terreno tienen que ver con esa ausencia de formación de los evaluadores. ¿Por qué muchos evaluadores se sienten inseguros para señalar las deficiencias o los problemas que detectan? ¿Por qué no se evalúa correctamente la falta de calidad? ¿Por qué es habitual que la evaluación esté marcada por los sesgos o las preferencias de los evaluadores? ¿Por qué se asume que las competencias como evaluador se pueden adquirir sólo mediante la experiencia o la imitación? ¿Pero… si se imita a modelos negativos?
Para superar estas carencias, es urgente tomar a la evaluación en serio, y una forma de hacerlo es formar profesionalmente a los evaluadores. Habrá que empezar por comprender que la evaluación formal es una disciplina en sí misma y que, como tal, tiene enfoques teóricos, métodos, prácticas y un código ético.
En este artículo emplearemos el término evaluador para referirnos indistintamente tanto a hombres como a mujeres, evitando así la duplicación innecesaria de sustantivos masculinos y femeninos cuando no hay necesidad específica para diferenciar por sexo. En español es habitual, desde hace mucho tiempo, el uso del masculino genérico (el todos, con lo que nos referimos a todos y todas, por ejemplo) y no es aconsejable (ni siempre posible) forzar cambios en la lengua para transformar sus estructuras gramaticales. En los sustantivos que designan seres animados, el masculino gramatical no sólo se emplea para referirse a los individuos de sexo masculino, sino también para designar la clase, esto es, a todos los individuos de la misma especie, sin distinción de sexos. Consecuentemente, los nombres apelativos masculinos, cuando se emplean en plural, pueden incluir en su designación a seres de uno y otro sexos. Al respecto se recomienda consultar la Nueva Gramática de la Lengua Española de 2009, el Diccionario de la Real Academia Española o el Diccionario Panhispánico de Dudas (artículo temático género).
Título en inglés: The abilities of the educational evaluator.
Estas discusiones se han visto acentuadas a raíz de las modificaciones en materia de legislación educativa, transformaciones que, sin duda, afectan de modo notable la evaluación del desempeño de los maestros de educación básica.
Proviene de la palabra italiana dilettante (“el que se deleita”) y refiere a una persona que tiene afición por una o varias artes o disciplinas del saber. También alude a una persona que cultiva un arte o una disciplina como aficionado, no como profesional, generalmente por no tener capacidad para ello.