En este artículo partimos del supuesto de que cualquier proceso de teorización, práctica e investigación (y por tanto de evaluación) se produce en el marco de las experiencias personales de quien lo realiza, de unas normas socioculturales generales y de ciertas perspectivas teóricas y metodológicas. Esta afirmación nos lleva a pensar que tanto la perspectiva cualitativa como la cuantitativa configuran unos supuestos acerca de la naturaleza de la realidad y del conocimiento, perfilan los problemas y las cuestiones importantes a evaluar, establecen unos criterios para el uso de herramientas apropiadas (es decir, métodos, instrumentos, tipos y formas de recogida de datos) y unos valores implicados en el trabajo.
Así pues, si cada profesional/investigador, a la hora de realizar evaluaciones, comparte un compromiso con unos objetivos, puntos de partida, métodos y concepciones de la asistencia, la prevención, la organización, el sistema... (con independencia de que esta situación en cada caso sea consciente y explícita o inconsciente e implícita), podemos convenir que la investigación evaluativa está, por su propia definición, cargada de valores y por tanto de ideología, sea cuantitativista o cualitativista.
Es por ello que en este artículo no trataremos de hacer un listado de los métodos y técnicas utilizados habitualmente en la investigación cualitativa (para ello véanse artículos publicados anteriormente en esta revista), sino más bien nos interesa dar a conocer los intereses característicos de la evaluación desde esta perspectiva y analizar la problemática y los desafíos metodológicos específicos que se plantean para su aplicación en la práctica de la atención primaria de salud (APS).
Valoración de los límites de la evaluación convencional cuantitativa
La investigación evaluativa se entiende de muy diversos modos. Del conjunto de los manuales utilizados más habitualmente, J.M. Blanch extrae una definición general en los términos siguientes: «La evaluación... es una modalidad de investigación aplicada consistente en la producción de información (sistemática, científica) relevante, orientada a fundamentar un juicio (cálculo, estimación) acerca de la valía (mérito, utilidad, eficacia, acierto, bondad, legalidad, calidad, valor, etc.) de un objeto (programa, política, actividad, producto, persona o grupo, bien o servicio público o privado), facilitar la comprensión de una realidad y orientar decisiones con respecto a la misma."
En el caso específico de la evaluación de programas, se acostumbra señalar que el juicio evaluativo apunta hacia la determinación científica de la eficacia del mismo programa, y se centra en dar cuenta de cuestiones como las siguientes: a) adecuación de los resultados (outputs, efectos e impacto) a las finalidades (políticas) y a los objetivos (programáticos); b) eficacia de la instrumentalización de los recursos, dispositivos y estrategias metodológicas; c) ajuste de los costes de los presupuestos de ejecución; d) cálculo de los efectos imprevistos, perversos y/o indeseables, y e) contribución global del programa a la calidad de vida de sus múltiples usuarios y destinatarios.
Se distinguen, así, cuatro dimensiones diferentes cuando se realiza la evaluación de programas:
1. Efectividad. Resultado en forma de cambio significativo en el objeto (output: corto plazo, efect: medio plazo).
2. Impacto. Efecto estable del cual derivan las condiciones necesarias para un cambio posterior (a largo plazo) en la dirección deseada.
3. Eficiencia. Resultado deseado con el mínimo de efectos no buscados y la máxima economía de recursos.
4. Relevancia. Implica tres aspectos:
Pertinencia. Consistencia del programa con su racionalidad.
Validez. Adecuación del programa a su objeto.
Significación. Se refiere a la conexión entre necesidades fines, objetivos y resultados, y entre el diseño y la implementación. La significación tiene también una doble dimensión: la del evaluador/a y la de los usuarios/as.
5. Evaluabilidad. Análisis de la calidad de los procesos lógicos y metodológicos que hacen evaluable un programa (validez, fiabilidad, objetividad, operatividad, relevancia, etc.).
Pero en la evaluación de programas y servicios de salud tradicionalmente ha predominado el interés casi exclusivo por la eficiencia y la efectividad, así como por la utilización de procedimientos creados a partir de la extensión del método experimental y el uso de procedimientos cuantitativos. Son por ello habituales el análisis estadístico de la información obtenida y las clásicas comparaciones intragrupo (antes/después) e intergrupos (experimental/ control, o bien grupo 1/grupo 2/grupo 3, etc.).
Pero este planteamiento de la evaluación cuantitativa convencional ha desestimado sistemáticamente la relevancia (cuestión central para los/as profesionales y la práctica en la APS). Es en este sentido que se le hacen las siguientes críticas para señalar sus limitaciones: desatiende a los diferentes agentes y grupos implicados en los programas; no sabe qué hacer con sus demandas, intereses y puntos de discusión; no tiene en cuenta los aspectos contextuales de las personas y/o los programas (si no es para controlarlos); trabaja con información generalizable, para lo que tiene que renunciar a las especificaciones situacionales (familiares, comunitarias, culturales...); se presenta como libre de valores, pero debe hacer finalmente juicios de valor; no logra ser lo neutra, objetiva y empírica que pretende, precisamente por la carga ideológica de los resultados que supuestamente establece de manera científica.
Guba y Lincoln (1989) subrayan tres de estas limitaciones como las principales de este modelo de evaluación convencional: su sesgo pro-manager, su incapacidad de adaptación al pluralismo de valores y su vinculación al paradigma positivista.
La primera limitación se refiere a que el evaluador/a tiene la tendencia a asumir implícitamente el punto de vista del promotor/a de la evaluación (su financiador que, en el caso de que sea la APS es la organización y/o el sistema sanitario), con quien corre el riesgo de establecer una relación de colaboración y de complicidad, o de ajuste engañoso (manipular los registros de la práctica para que se ajusten a los objetivos establecidos por la administración). Esto se hace patente no sólo en los informes de la evaluación (en las sugerencias, indicaciones), sino sobre todo al enfocar las cuestiones a evaluar, las opciones metodológicas y el modo de generar los resultados. Sin embargo, debería presuponerse que el que promueve/financia la evaluación (gestores, Administración...) es sólo una de las partes implicadas en el programa, pero no la única ni la determinante.
En segundo lugar, la crítica apunta que los evaluadores/as tradicionalmente asumen el mito de una ciencia libre de valores (como si los estándares de calidad fueran establecidos por procedimientos científicos al margen de las tendencias dominantes y las dinámicas institucionales, sociales, organizacionales, profesionales...). Esto evita afrontar la pluralidad de valores implicados en el proceso evaluativo para cada programa, equipo de profesionales, comunidad, centro o marco social.
Y, en tercer lugar, los citados autores afirman que los/as evaluadores, siguiendo los presupuestos positivistas dominantes en las comunidades científicas de las que forman parte, asumen la existencia incuestionable de una realidad objetiva, captable según las reglas del método científico, traducible a términos cuantitativos y que se puede reflejar en un informe verdadero. El evaluador/a aparece entonces como un técnico (cuyo saber le posibilita una objetividad para emitir juicios al margen de cualquier afecto o preferencia personal o teórico-metodológica), y corre el riesgo de eludir sus compromisos éticos y desentenderse de los efectos que se deriven de los usos de su informe evaluativo. Cuando los/as evaluadores desempeñan este papel de tecnólogos no posibilitan el efecto innovador y de mejora de las prácticas orientadas a la salud (realizadas por profesionales o no) que puede tener la evaluación. Al centrarse exclusivamente en las estrategias y los métodos, prescinden de las finalidades y las metas que configuran toda investigación evaluativa, y la convierten en un ejercicio de control burocrático más que de mejora e innovación profesional y utilidad social.
Una vez mostradas las limitaciones de la evaluación convencional, nos plantearemos a continuación la cuestión que es central en este artículo y que se refiere a perfilar brevemente las posibilidades diferentes que aportan los métodos cualitativos en las evaluaciones de programas y centros en el ámbito de la APS. Realizaremos esta tarea partiendo del convencimiento de que algunas de las limitaciones señaladas hasta ahora también se pueden producir (y se producen) cuando se hacen determinados usos de los métodos cualitativos, ya que su utilización como un método o conjunto de técnicas más, no garantiza ninguna innovación en los supuestos y valores que sostienen el proceso, los resultados o el tipo de efectos de la investigación/evaluación.
Características y planteamientos de la evaluación desde la metodología cualitativa
La mayor parte de los y las profesionales justifican la adopción de la perspectiva metodológica cualitativa porque en ella las exigencias, intereses y discusión de los grupos implicados (usuarios/as, profesionales, comunidad, administración) constituyen la información necesaria y principal para la evaluación. Esto comporta: a) considerar que tales colectivos tienen que ser participantes activos; b) ampliar el campo de análisis incorporando la complejidad de lo psicosocial y explorando aspectos cualitativos; c) tener en cuenta los factores contextuales considerando los problemas de la generalización de los resultados obtenidos en circunstancias particulares, y d) optar por la relevancia de la evaluación como proceso que posibilite el cambio (profesional, organizacional, comunitario, social...).
Este modo de entender la evaluación desde la perspectiva de la metodología cualitativa la presentamos aquí con los siguientes rasgos característicos:
1. Es un proceso de elaboración conjunta (profesionales, usuarios/as, administradores...) en torno al valor de un evaluando (programa, centro...), que es permanentemente reconstruido y reelaborado dado que tiene un carácter y especificidad histórica (el resultado varía y esto puede entenderse analizando la evolución de cada centro/población).
2. Su significado resulta indisociable del marco de los valores comúnmente asumidos, ya que se trata de una información consensual (un acuerdo sobre el valor dado a las cosas desde la perspectiva de las personas y/o instancias implicadas).
3. Tiene carácter contextual (únicamente local-situacional), y no es por tanto generalizable a otras situaciones y contextos (tiene que plantearse de manera específica para cada centro, comunidad...).
4. Los aspectos sociales, políticos y culturales tienen tanta o mayor centralidad en el proceso evaluativo como los metodológicos-técnicos (y por ello se tienen que hacer explícitos).
5. Se genera un proceso de educación-aprendizaje recíproco entre todas las partes que intervienen en la evaluación, ya que el conocimiento se produce a través de la discusión (y no sólo de la medición de una supuesta realidad objetivamente accesible).
Sobre la base de estas consideraciones, Guba y Lincoln (1989) definen también su concepto en los siguientes términos:
«Evaluación es un proceso por el cual evaluadores y usuarios (grupos implicados), conjunta y colaborativamente, crean (o intentan crear) una construcción evaluativa consensual de un evaluando.»
Aproximaciones cualitativas a la investigación evaluativa
La discusión evaluación cualitativa/ cuantitativa no deja ver las diferencias que hay dentro de ambas perspectivas. Pitman y Maxwell (1992) distinguen diferentes maneras de entender la evaluación desde la metodología cualitativa y las agrupan en torno a 4 modelos principales:
Pragmático o focalizado en la utilización (Patton, 1990 y 1997).
Constructivista (Guba y Lincoln, 1989).
Realista, con algunos planteamientos positivistas como los de los métodos cuantitativos (Miles y Huberman, 1984).
Crítica, considerada como una forma de indagación complementaria a la investigación científica (Eisner, 1991).
Cada uno de estos modelos parte de unos supuestos epistemológicos y desarrolla una práctica de la evaluación diferentes. Para más información, sugerimos la lectura del capítulo escrito por Pitman y Maxwell en el Handbook of qualitative research in education o de los textos de cada uno de los autores/as citados como ejemplificaciones de cada modelo.
A continuación mostraremos algunas de las características comunes de la evaluación cuando las elecciones y toma de decisiones se hacen desde los supuestos de la metodología cualitativa (sobre todo desde los modelos constructivista y pragmático).
Ética
Consideramos que la primera decisión que toma la persona/as que tiene la posibilidad de desempeñar el rol de evaluador es sobre los aspectos éticos de la evaluación concreta que se propone. Se trata de explorar si hay un consentimiento mínimamente informado de los diferentes participantes y de anticipar cómo se tendrán en cuenta aspectos como el respeto por la confidencialidad (identificación de lugares y/o personas), y por la participación de los diferentes agentes o colectivos implicados en «la cualidad» del programa o centro de salud. Los compromisos del evaluador/a tendrían que ser, principalmente, con estos participantes (llamados comunidad estudiada o en el estudio), con otros/as colegas y evaluadores que compartan supuestos teóricos o epistemológicos cualitativos (la llamada comunidad profesional o científica) y con quien requiera en primera instancia la evaluación (personas o entidades promotoras).
Definición de objetivos
Las lectoras y lectores de este artículo ya habrán intuido que desde la posición epistemológica que sustenta la metodología cualitativa no se acepta la idea de que el objetivo de una evaluación sea buscar el valor verdadero de lo que se evalúa, o identificar las causas y los aspectos implicados en la calidad de un programa o centro de salud con el fin de modificarlos y después generalizar «el mejor» (para todos los usuarios, centros...) (esto supondría aceptar que es posible relacionar hechos medibles con valores de manera estable). Si no que resaltamos como objetivo el desarrollo (empowerment) de competencias, conocimientos, relaciones, nuevas perspectivas, en los colectivos implicados (usuarios, profesionales, gestores...) a través del proceso de búsqueda de consenso para la evaluación.
Diseño y procedimientos
Aunque hay autores/as que ofrecen principios estándar o procedimientos específicos sobre cómo hacer la evaluación, la mayoría rechazan esta posibilidad argumentando que el diseño es emergente el lugar para adoptar las decisiones del investigador. Es el contexto particular en el que se produce la evaluación. Los aspectos que tienen mayor influencia en esta toma de decisiones situada son su formación y sus predisposiciones teóricas y personales.
Para acceder al evaluando (programa, centro de salud...) con la intención de informar y acordar algo acerca de su valor, es imprescindible poner en marcha un proceso de negociación con las personas e instancias que lo configuran para elegir dónde, cuándo y cómo generar los datos (para una información concreta sobre estos aspectos procedimentales consultar la bibliografía citada en la tabla 1 del volumen 23 número 8, página 497).
Solo a modo de ejemplo, les presentamos un procedimiento que se podría seguir para la evaluación de un programa (tabla).
El papel de quien realiza la evaluación
La persona que desempeña el papel de evaluador/a necesita ir introduciéndose gradualmente en las situaciones, aprender lo que parece apropiado para cada persona/colectivo y tarea, para después escribirlo e iniciar el proceso de generación/discusión de datos, así como de análisis posterior, teniendo en cuenta el marco teórico establecido y los conocimientos de los implicados en el programa o servicio (véase en Fernández y Santos, 1992, un ejemplo de evaluación de un programa de educación diabetológica, y en Keen y Packwood, 1995, el modelo de evaluación para el estudio de casos). Una definición de esta difícil tarea y posición que tiene que negociar la persona que hace una evaluación desde la metodología cualitativa es la siguiente: «es un asesor/a al que se le da la posibilidad de interactuar con algún grupo de personas o fenómeno con el interés de llegar a tener un punto de vista no accesible de otra manera». Se trata, por tanto, de un/a profesional externo al programa o centro a evaluar, «aceptado por el equipo» y capaz de establecer esta relación de asesoramiento metodológico de manera horizontal (de poder compartido y reciprocidad en el aprendizaje). Los/as profesionales de AP, los gestores y los usuarios tienen, por tanto, un papel activo como «evaluadores internos» al participar en este proceso de reflexión y discusión sobre la práctica. Esta contrastación sistemática de puntos de vista (triangulación entre investigadores) es fundamental para sostener la confiabilidad del informe final.
Elaboración de informes y recomendaciones
Hay tantos informes de evaluación como audiencias o destinatarios a tener en cuenta. Sin embargo, en cualquier caso hay que afrontar las siguientes cuestiones: cómo dar cuenta de la credibilidad y el rigor de la evaluación, y cómo informar de los aspectos valorados negativamente sin cometer (ab)usos con la evaluación (Santos Guerra, 1993). Desde el principio de ésta, hay que asumir el compromiso de incluir en el informe final (una vez puestos a discusión los resultados) las opiniones discrepantes con sus conclusiones. Es importante también considerar con los implicados los efectos que pueden tener las propuestas que se hacen a la hora de presentarlas.
Posiciones ante el pluralismo metodológico
La mayoría de autores/as consideran legítimas otras formas de evaluación sistemáticas, y plantean como cuestión clave la articulación de métodos cualitativos y cuantitativos en las evaluaciones (por ejemplo, Cook y Reichhardt, 1982). Desde nuestro punto de vista, cualquier evaluación comparte los presupuestos y valores de una sola de las dos perspectivas metodológicas (la cuantitativa o la cualitativa), y no es, pues, posible hablar de complementariedad en este nivel. Sin embargo, esta consideración no imposibilita que en el marco de una evaluación realizada desde la perspectiva metodológica cuantitativa se utilice puntualmente algún método o técnica cualitativa (con el interés, por ejemplo, de comprender las percepciones, significados o valores compartidos por los usuarios en torno a un programa o el funcionamiento de un CAP a través de la realización de un grupo focal). La cuestión es que este uso instrumental no cambia los supuestos generales de la evaluación sobre la concepción del objeto/sujeto de evaluación, los datos, el rol de la persona que evalúa, etc., por lo que la modalidad de evaluación cotinúa siendo cuantitativa.
Por esto pensamos que tiene sentido optar, y optar quiere decir, principalmente, formarse y aprender otras formas de evaluar e investigar en el ámbito de la salud (véase, por ejemplo, Grbich 1998). Estamos convencidos de que es necesario y posible pensar y hacer evaluaciones en la práctica en el sistema sanitario de otra manera. Y de que la perspectiva metodológica cualitativa también abre estas posibilidades.
Bibliografía general
Cook TD, Reichhardt ChS. Métodos cualitativos y cuantitativos en investigación evaluativa, Madrid: Morata, 1982.
Eisner EW. The enlightened eye: qualitative inquiry and the enhancement of school programs. Nueva York: McMillan, 1991.
Fernández Sierra J, Santos Guerra MA. Evaluación cualitativa de programas de educación para la salud: una experiencia hospitalaria. Granada: Aljibe, 1992.
Grbich C. Qualitative Research in Health: an introduction. London: Sage, 1998.
Guba EG, Lincoln YS. Fourth generation evaluation. Newbury Park Cal: Sage, 1989.
Keen J, Packwood T. Case study evaluation. Br Med J 1995; 311: 444-446.
Miles MB, Huberman AM. Qualitative data analysis. A source of new methods. Beverly Hills: Sage, 1984.
Patton MQ. Utilization-focused evaluation. Newbury Park: Sage, 1997.
Patton MQ. Qualitative evaluation and research methods, Newbury Park: Sage, 1990.
Pitman MA, Maxwell J. Qualitative approaches to evaluation: models and methods. En: Lecompte MM, Millroy WL, Preissle J, eds. The handbook of qualitative research in education. Nueva York: Academic Press, 1992.
Santos Guerra MA. La evaluación, un proceso de diálogo, comprensión y mejora. Archidona: Aljibe, 1993.
