Durante 2 años estuvimos realizando la evaluación de la formación de médicos residentes en la ciudad de Málaga. En la exploración utilizamos la observación como un método básico de investigación. Haremos referencia a esta experiencia para hilvanar los presupuestos teóricos de utilización de estos métodos.
Un grupo de 5 investigadores realizamos la negociación inicial, la exploración a través de la observación, de entrevistas, de cuestionarios, de análisis de documentos... Realizamos un informe final y sobre él se llevaron a cabo diversas sesiones de negociación.
Esta experiencia ha sido objeto de una publicación que lleva por título «Evaluación externa de la formación de médicos residentes o el arte de cambiar a través del conocimiento» (Madrid: semFyC, 1997).
La observación es la piedra angular de los métodos de investigación cualitativa. Observar no consiste simplemente en mirar, sino en buscar. Lo cual exige un principio estructurador de la mirada y del pensamiento. Para observar con rigor hace falta educar los ojos para ver. Pero no sólo eso. Hay que formar la mente para que las teorías permitan descifrar el significado de lo que se ha visto.
«La observación científica se lleva a cabo de una forma no sólo deliberada y consciente, sino de un modo sistemático, ordenando las piezas, anotando los resultados de la observación, describiendo, relacionando, sistematizando y, sobre todo, tratando de interpretar y de captar su significado y alcance.» (Ruiz e Ispizúa, 1989)
De forma parecida habla De Ketele (1984), que hace referencia a un principio organizador, principio que atraviesa el proceso de planificación, la recogida de información y sobre todo la fase de análisis y de interpretación.
«Observar es un proceso que requiere atención voluntaria, selectiva, inteligente, orientado por un proceso terminal u organizador.»
Es preciso conocer lo que realmente está sucediendo en el programa. Ese proceso de conocimiento no exige solamente un registro fiel de lo que sucede, sino una exploración intencionada que descubra la interpretación de lo que acontece.
El fenómeno de la observación requiere una preocupación por el contexto y una focalización (anterior-posterior/posterior-anterior) que centre selectivamente la atención. No se puede observar todo a la vez, pero poco sentido tiene recoger una frase, un hecho, un gesto si no tenemos en cuenta el contexto en el que se ha dado.
No importa el sentido de la diacronía: se puede empezar prestando atención al contexto para realizar después un zoom atencional, o bien centrarse en una parcela aislada que posteriormente se sitúe en el contexto.
Nosotros empezamos por hacer entrevistas y, luego, observamos situaciones diferentes. Creímos que la comunicación con los protagonistas rompería la tensión que genera el sentir la mirada intensa y persistente de observadores desconocidos.
La atención selectiva permite recoger con precisión y dar dimensión relevante a lo que pasa inadvertido al espectador cotidiano y superficial.
Antes de comenzar la observación, el equipo de evaluadores analizaba los focos temáticos en los que habría de centrarse la observación, a la luz de la información que hubiesen brindado las entrevistas.
Al centrarse la evaluación en la formación de médicos, era fundamental tener como eje de la observación los procesos de enseñanza y aprendizaje que se producían en las diferentes modalidades o estrategias didácticas. La comunicación interpersonal constituía otro de los elementos fundamentales de análisis, comunicación en la que aparecían dimensiones afectivas, jerárquicas, institucionales...
Los registros de la observación deben permanecer en cuadernos de campo utilizados por los evaluadores. Esos cuadernos se mantienen como material de referencia que acredita la validez de los datos. Esos cuadernos están a disposición de los metaevaluadores como un criterio de credibilidad de la exploración.
Dilemas de la observación
Para entender la complejidad de la observación y poder utilizarla con rigor y sentido en los procesos de evaluación, hemos de conocer los dilemas que encierra. Plantearemos, de forma sucinta, algunos problemas o peculiaridades de los métodos de observación:
Objetividad/subjetividad
¿Cómo sabemos que no estamos siendo arbitrarios en la selección y en la interpretación de la información recogida? ¿Cómo sabemos que lo que estamos recogiendo en el proceso de observación es fruto de nuestras preocupaciones más que fiel reflejo de la realidad? ¿Observamos la realidad como es o, más bien, como somos?
Bertrand Russell decía que los etólogos alemanes y americanos llegaban a conclusiones divergentes en la observación de los animales. Mientras los animales observados por los americanos se comportaban juguetonamente, de forma activa, inquieta y capaz de encontrar la solución de manera casual, los animales observados por los alemanes se mostraban reflexivos y problemáticos y llegaban a la solución después de realizar intentos sistemáticos y repetidos para llegar a ella. ¿Observaban a los animales o su propia imagen en el espejo de sus comportamientos?
Cercanía/distancia
¿La excesiva cercanía, nos hace perder la necesaria neutralidad, la imprescindible objetividad? ¿La excesiva lejanía, nos impide conocer lo que realmente sucede en el contexto cultural de la observación?
La excesiva proximidad dificulta la neutralidad, la excesiva lejanía impide conocer las claves del significado. Por eso es aconsejable realizar retiradas periódicas del campo de investigación.
Nuestra presencia persistente en los escenarios era periódicamente interrumpida por períodos más o menos largos, con el fin de que no acabásemos convirtiéndonos en «nativos».
Espontaneidad/artificialidad
¿Cómo saber que la observación no está alterando el comportamiento normal y espontáneo de las personas a las que se observa?
Mientras más transparencia exista en la investigación, menos artificialización se producirá en el comportamiento de los observados. También reduce la artificialidad el control democrático de los informes, el tiempo prolongado y la amplitud de la observación.
Una forma de saber si ha existido espontaneidad es preguntar a los sujetos por la situación observada. A veces te piden que vayas a observar más veces porque el sujeto observado «parecía otro».
Contextualización/focalización
¿Cómo conseguir el equilibrio entre contextualización y focalización? Si no contextualizamos, no tenemos posibilidad de entender lo que sucede. Si no focalizamos, se convierte en tarea imposible observarlo todo de forma constante.
El contexto de la observación debe ser conocido no sólo por el observador, sino también por el lector de los informes. Quien lee debe conocer no sólo cómo sino de dónde han surgido los datos.
Exclusividad/interactividad
¿Conviene que los observadores se especialicen en la aplicación de este método y que otros investigadores hagan entrevistas, analicen documentos...? Es preferible, a nuestro juicio, que los métodos interactúen, es decir, que quien entrevista pueda observar y que quien observa pueda entrevistar y analizar documentos. Así se establece una circularidad entre los métodos. Si hemos observado algo de interés, podemos preguntar por ello en la entrevista. Son los protagonistas los que poseen las claves del significado.
Después de largas sesiones de debate optamos porque los mismos investigadores estuviesen en el centro de salud o en el hospital. No creímos oportuno por las razones indicadas que algunos hiciesen la observación en todos los centros y que otros realizasen todas las entrevistas.
Ámbitos de la observación
Los marcos de observación tienen que ser diversos y en ellos se ha de observar de forma persistente. Diversos porque la actividad se produce en diferentes escenarios. Persistentes porque si se observa durante períodos cortos se puede recoger un comportamiento atípico. Si un extraterrestre viniese a la Tierra y se encontrase a un perro que está regurgitando, haría un registro del siguiente tipo: animal, cuadrúpedo, herbívoro... Bastaría que siguiese observando un tiempo más largo para que descartase la condición de herbívoro del animal.
Nosotros observamos consultas médicas, guardias, urgencias, cursos, sesiones clínicas... En todos estos escenarios tienen lugar actividades de formación. Era necesaria la información previa de los observados sobre lo que se estaba haciendo y sobre su finalidad. Cuando el protagonista sabe qué se va a hacer con la información y cuando él controla los informes actúa de forma más espontánea.
Es bueno que quien hace la observación pueda entrevistar a los sujetos que ha observado (y a la inversa). Llamamos a esta característica de la aplicación de métodos interactividad o circularidad, es decir, que lo que se ha descubierto se convierte en objeto de análisis en la entrevista.
En nuestra evaluación, los diversos evaluadores actuaron no especializándose en cada uno de los métodos, sino situándose en un centro sanitario en el que podía observar y luego entrevistar (o a la inversa).
Estrategias de la observación
Se puede observar de diversas formas. Cada una de ellas tiene unas peculiaridades y unas exigencias diferentes. Nos referiremos, fundamentalmente, a estas tres.
Registro de lápiz y papel
Se trata de observar directamente y anotar lo que resulte significativo para comprender el fenómeno que se está estudiando.
Hay que observar atentamente, situarse en lugar estratégico para no interrumpir el desarrollo natural de la acción y registrar de forma discreta y no ostensible.
Algunos preferíamos describir lo que veíamos y poner entre paréntesis las interpretaciones. Otros utilizaban la parte superior de la página para hacer la descripción y la inferior para la interpretación.
Nosotros no somos partidarios de utilizar plantillas para realizar la observación. No es aceptable contemplar la realidad para forzar su inclusión en unos casilleros previamente preparados. Es mejor que, una vez contemplada, creemos los casilleros que facilitan su comprensión. La utilización de plantillas encierra algunos peligros:
1. Encorsetan la realidad, la cierran a matices, la simplifican en exceso, ya que frecuentemente el registro se realiza mediante signos o cruces que indican la presentación y frecuencia de un fenómeno.
2. Descontextualizan el comportamiento, ya que el registro suele ser simple y no sitúa el hecho en el marco y circunstancias en que se produce.
3. Cierra a lo imprevisible. Si no has previsto un determinado comportamiento en la plantilla, es fácil que te pase inadvertido en la observación.
Es preferible registrar aquellas situaciones que tengan relevancia y significado para la comprensión del fenómeno que estemos observando.
Aunque, como hemos dicho, no somos partidarios de llevar plantillas previamente, sí lo somos de preparar y de focalizar la atención en lo que se desea observar de forma preferente.
El registro ha de ser analizado sin mucha demora, ya que el tiempo hace inevitable la pérdida de recuerdos. Y las pérdidas no son sólo cuantitativas, ya que olvidamos selectivamente.
Es preciso observar preguntándose por lo realmente significativo que se produce en la acción, por aquellas situaciones que tienen unidad de interpretación significativa.
Se toma notas en una situación que no distorsione y dificulte la acción. En una posición discreta, pero que no impida la buena visión de lo que sucede.
Nosotros utilizamos para el registro este primer modo y no los que a continuación se citan. Creímos que era el que menos provocaba la artificialización del comportamiento, tanto en consultas como en cursos.
Grabación en vídeo
El modo de explorar el mundo descansa, fundamentalmente, sobre los sentidos de la vista y el oído. El hombre posee ampliaciones, extensiones de esos sentidos en los llamados medios audiovisuales.
El vídeo, la fotografía, el magnetofón, son medios de registrar la realidad que poseen ventajas e inconvenientes con los que ha de contar el evaluador.
Ventajas de la utilización del vídeo. El vídeo es un microscopio que nos permite contemplar la interacción humana más allá de donde llega la vista. Los primeros y primerísimos planos, por ejemplo, nos acercan a la expresión de los sentimientos y reacciones humanas.
El observado puede verse después en la grabación y analizar sus comportamientos con la ayuda del investigador. Esta posibilidad de autopresenciar el comportamiento permite analizarlo de una forma peculiar.
La grabación permite, además, la repetición y la fijación de modo que el evaluador y el propio sujeto puedan disponer del material vivo con facilidad y suma precisión. Además, se posibilita el contraste de la interpretación de otro evaluador distinto al que ha hecho el registro original, disponiendo de la fuente misma de los hechos.
Filmando la acción se puede recoger mucha información simultáneamente. Describir una secuencia de acción puede suponer numerosas páginas. En la grabación disponemos de la palabra, de los ruidos, del aspecto físico de los personajes, de las expresiones, del ambiente donde se desarrolla la acción, etc.
El observador está plenamente dedicado al registro de la acción. No tiene que mirar y luego registrar, sino que su mirada está sirviendo de registro.
Inconvenientes de la utilización del vídeo. La aparente «objetividad» de la grabación no debe ocultar sus limitaciones.
No es pequeña la que entraña el muestreo de planos. ¿Qué es lo que se debe recoger? ¿Lo más genérico (a través de planos generales, de planos conjunto...) o lo más específico (a través de planos medios, enteros, tres cuartos, primeros planos, planos detalle...)? Es tanto lo que no se recoge que bastaría contrastar la diferencia existente entre 2 filmaciones independientes de una misma sesión para ver que apenas si existe entre ellas un ligero parecido. La subjetividad del evaluador se esconde detrás del visor de la cámara. El objetivo de la cámara es muy subjetivo.
El registro debe ser multifacético, no exclusivizado en una sola parcela, momento o persona, ya que la práctica sanitaria tiene una compleja red de situaciones, interacciones y momentos, sin los cuales no puede ser comprendido en su totalidad y en su esencia.
El investigador tendrá que defenderse de presiones, ofertas, obstáculos y negativas para la colaboración. Habrá quien desee aparecer a toda costa en las grabaciones y quien trate de evitar ser objeto de la filmación.
La gran abundancia de información heterogénea dificulta el análisis. No se ha hecho una criba de los fenómenos para depurar su importancia, su interés, su profundo significado.
Los innumerables datos recogidos son difícilmente codificables, ya que la realidad se ha registrado tal como se ha producido, con su secuencia temporal, sin ejes estructurales organizativos.
El videoanálisis ofrece una serie de pautas para la interpretación del material recogido, pero es el evaluador quien ha de elegir el modo de trabajar con los materiales filmados.
El análisis del material grabado resulta complejo y, a veces, lento, aconsejándose la toma de notas sobre lo pertinente para no tener que localizar datos constantemente en la banda de imagen.
El vídeo puede distorsionar la realidad, ya que los sujetos pasan a ser actores ante las cámaras. La familiarización con el vídeo no elimina completamente el hechizo de la imagen y el deseo de «salir bien». La presión de una grabación que inmortaliza el comportamiento, que proyecta a los sujetos fuera de sí mismos, es mayor que la simple mirada o el registro a través de notas.
Las cámaras ocultas encierran una trampa. Los datos recogidos por este medio sólo deberían ser utilizados con el consentimiento expreso de los sujetos, una vez aclarada la situación y contemplado el resultado de la grabación.
El manejo de la cámara requiere un dominio de técnicas sobre planificación, angulación, movimiento, iluminación, etc. que hay que añadir a los conocimientos sobre observación y sobre la realidad misma observada.
Los derechos de imagen crean problemas al investigador. En la negociación ha de plantear claramente qué es lo que se va a grabar, qué utilización se va a hacer de las imágenes obtenidas, a quién pertenecen los originales y quiénes pueden ser los futuros usuarios de las mismas (¿se destruirá el material después del estudio?, ¿se podrán hacer copias del mismo?, ¿se podrá difundir libremente?, etc.)
La grabación exige una postura equilibrada entre la espontaneidad completa y la planificación rigurosa. Dentro del paradigma naturalista se dará más peso a la espontaneidad de la grabación ya que la realidad va dictando al investigador nuevas situaciones y peculiaridades, quizás imprevisibles al comienzo.
Fotografía
La estructuración del espacio, la actuación de las personas, la naturaleza y disposición de los objetos, etc. pueden ser captados por la cámara fotográfica.
La foto fija tiene gran utilidad como instrumento de reconstrucción de la realidad. Hay situaciones y fenómenos que pueden ser captados por la cámara para convertirse, posteriormente, en objeto de diálogo y comentario entre el evaluador y las personas fotografiadas.
En un interesante trabajo titulado «¿Dicen la verdad las fotografías?», Becker (1978) se pregunta hasta qué punto son éstas un reflejo fiel de la realidad.
La congelación del tiempo y del espacio, la fragmentación de la realidad, la descontextualización que suponen, la intencionalidad ideológica/psicológica/sociológica/técnica que tiene el fotógrafo ponen en tela de juicio esa pretendida objetividad (que frecuentemente se hace equiparable a verdad) de las fotografías.
Las fuentes de error aparecen por diferentes canales: ¿qué se selecciona?, ¿con qué ángulo y en qué plano?... ¿Cómo se contextualiza?, ¿cómo se interpreta?...
La dialéctica entre denotación y connotación en la lectura de mensajes icónicos presenta una gran complejidad, ya que lo que dice el texto fotográfico ha de ser entendido bajo el prisma subjetivo del lector.
La fotografía (o la serie de fotografías que permiten recoger constantes o invariantes de la acción) permiten dialogar con los protagonistas sobre su comportamiento e intenciones.
La fotografía con rayos infrarrojos permite fotografiar en la oscuridad (en sesiones de laboratorio, proyecciones cinematográficas, por ejemplo). Esas fotografías, obtenidas sin la anuencia y el conocimiento de los protagonistas, no deberían utilizarse sin el consentimiento expreso de las personas que aparecen en ellas.
El investigador puede solicitar de los médicos/as y enfermeros/as que realicen fotografías de aspectos que consideren importantes o interesantes en la actividad. Ellos mismos podrán explicar por qué han considerado interesante o importantes los documentos gráficos que han obtenido.
«Las fotografías y películas también pueden emplearse para presentar e ilustrar los descubrimientos. Las imágenes pueden tomar el lugar de las palabras o por lo menos transmitir algo que las palabras no pueden. Por cierto, al lector de un estudio cualitativo la imagen le proporciona una sensación de "estar allí", viendo directamente el escenario y las personas.» (Taylor y Bogdan, 1986)
Interpretación
No conviene distanciar mucho la interpretación del registro. Si pasa mucho tiempo, olvidamos lo que ha sucedido. Y, además, olvidamos selectivamente. Es decir, lo que queremos olvidar.
Registrar correctamente es una de las fases importantes de la observación, pero no la última. Después de recoger la información hay que analizarla, hay que interpretarla. Para ello nos valdremos, a veces, de la opinión de los protagonistas. Es fácil realizar esta tarea cuando hemos tomado fotografías o grabado en vídeo la acción. Los sujetos pueden hacer comentarios e interpretaciones sobre su práctica.
Para interpretar los datos recogidos, el evaluador debe compatibilizar la empatía y el compromiso con la teorización científica, tiene que ver lo que el actor no ve, lo que el interesado ve con dificultad o lo que fácilmente distorsiona.
Garfinkel (1967) habla del principio de reflexibilidad: las explicaciones relativas a algún aspecto del mundo observado están simultáneamente dentro del mismo mundo descrito, son parte integrante de él. Por eso se debe observar lo que pasa y también aquello por lo que pasa. El observador deberá estar atento a los hechos y a las explicaciones de éstos. Un mismo fenómeno tiene explicación y significado distinto en cada contexto, según el juego de papeles, las relaciones sociales establecidas, las coordenadas sociohistóricas, etc.
Sea cual sea el papel del observador, automáticamente se producirán en él una serie de intereses, de formas de obtener y crear información y de preocupaciones que otro determinado papel no hubiera producido. (Si realiza las actividades del centro, interpretará los hechos de forma probablemente distinta a si no las lleva a cabo.)
El papel del observador puede variar en un proceso largo. Sea de forma estratégica y planeada, sea por exigencias de la evolución de su actividades y de la respuesta que obtenga de los miembros de la comunidad.
La interpretación de los hechos recogidos plantea el problema de la objetividad/subjetividad. La interpretación tiene por misión permitir al investigador y a los lectores la comprensión de lo que sucede en el entorno, siguiendo un modelo teórico y sintetizando los conocimientos existentes al respecto.
Para evitar la subjetividad en la interpretación, contrastamos la opinión de 2 observadores de la misma realidad o entregábamos la interpretación a expertos ajenos a la investigación para que analizasen el rigor.
El observador tiene que poner en relación los hechos recogidos con el marco teórico que sirve para descifrar la realidad. Los hechos son analizados a través de modelos. Al construir un modelo de lo que ocurre en el centro se le da coherencia, forma y significado a las acciones dispersas.
La teoría es indispensable para llegar a una interpretación de los hechos observados. En un doble sentido: saber lo que realmente significan los hechos y saber luego articularlos en el marco de una teoría que les dé coherencia y sentido.
Para valorar el rigor de la interpretación, podemos utilizar algunos criterios de referencia:
1. Analizar la línea de razonamiento y revisar el proceso utilizado (bases internas, lógica, alternativas...).
2. Corroboración multiplicativa. A través de observaciones múltiples o repetidas, bien por el mismo evaluador, bien por colegas suyos en la misma situación o sobre el mismo asunto.
3. Comprobar si la interpretación está en relación con todo lo que se conoce sobre el tema de estudio. Es necesario considerar si nuestra interpretación concuerda con lo que se sabe y piensa en el mundo científico actual (Geertz, 1973). No porque sea rechazable la discrepancia o la novedad, sino porque, en caso de existir, adquiriría una significación diferente.
4. Comprobar si los conceptos y teorías proporcionados por la interpretación facilitan un entendimiento enriquecedor del fenómeno bajo estudio.
5. La revisión de la interpretación por personas expertas ajenas al estudio que pueden detectar falsedad de proceso, imprecisión registros o arbitrariedad en la interpretación, miedo en las conclusiones, etc.
6. Para conocer la realidad es preciso mirar, a veces, fuera de ella. En el entorno se pueden encontrar explicaciones que no se hallarían desde una mirada miope.
La asfixia de los datos (el exceso de información) hace que el evaluador no sepa cómo defenderse de ellos, cómo seleccionarlos, cómo trabajar ordenadamente. Para atajar este problema y hacer frente a esta sensación, es preciso seguir una estructura de análisis, sea ésta de algún autor, sea invención del propio investigador.
Ética de la observación
La evaluación tiene que estar presidida por la ética. Este principio afecta, entre otros aspectos, a la aplicación de cada uno de los métodos.
En la evaluación que realizamos, por ejemplo, se planteó un problema ético al observar las consultas. El paciente se encontraba con su médico, con el MIR y con otra persona que vestía una bata blanca y que no era un profesional de la medicina, sino un evaluador. No consideramos ético que, sin advertírselo, alguien estuviese presente.
Es necesario respetar el anonimato de los sujetos observados. El derecho a la imagen no puede ser roto por los evaluadores.
La evaluación ha de estar encaminada a la mejora de los programas. Existen muchos abusos en la forma de plantear la evaluación (Santos Guerra, 1993, 1998).
Es necesario respetar las reglas del juego. No hacer trampas. Esto significa que los principios de la evaluación son conocidos y respetados.
Formación
Parece fácil observar. En realidad, todos observamos casi de forma inevitable. Ahora bien, pocas personas perciben e interpretan adecuadamente lo que sucede. ¿Cómo se aprende a observar?
1. Siendo observados: si alguien es observado y accede a los informes, podrá comprobar que, a veces, ha sido mal interpretado su comportamiento.
2. Contrastando la observación de dos o más personas que han contemplado la misma acción.
3. Entregando la observación realizada a expertos para que analicen el rigor de las interpretaciones.
4. Haciendo ejercicios de observación y analizando posteriormente los informes a la luz de las opiniones de los observados.
No deberíamos tratar cada método de forma independiente, porque es imprescindible la triangulación de la información procedente de los diferentes métodos que hemos utilizado. La entrevista puede decir cosas distintas a lo que nos expresa la observación. Por ejemplo, un médico puede decirnos que trata a los pacientes de forma agradable, pero la observación nos permite comprobar que su forma de relacionarse produce tensión y agresividad.
La triangulación no consiste en eliminar las discrepancias, sino en interpretarlas, en explicarlas. Se trata de un proceso de depuración de la información, de un modo de garantizar la credibilidad de la investigación.
Nosotros contrastamos la información recibida a través de la observación con la que procedía de la entrevista, con el fin de depurar y explicar las discrepancias.
La negociación de los informes de la investigación es la piedra angular de la mejora. Esa negociación facilita el debate, intensifica el control democrático del conocimiento y hace más fáciles las decisiones de cambio.
Bibliografía general
Los libros que llevan asterisco son especialmente aconsejados para el desarrollo de la investigación cualitativa.
Becker HS. ¿Dicen la verdad las fotografías? En: Cook TD, Reichardt CHS, eds. Métodos cualitativos y cuantitativos en educación. Madrid: Morata, 1986.
Croll P. La observación sistemática en el aula. Madrid: La Muralla, 1995.
De Ketele JM. Observar para educar. Observación y evaluación en la práctica educativa. Madrid: Aprendizaje Visor, 1984.
*Eisner E. El ojo ilustrado. Indagación educativa y mejora de la práctica educativa. Barcelona: Paidós Educador, 1998.
Garfinkel H. Studies in ethnomethodology. Englewood Cliffs: Prentice-Hall, 1967.
Geertz C. The interpretation of cultures. Nueva York: Basic Books, 1973.
Goetz JP, Lecompte MD. Etnografía y diseño cualitativo en investigación educativa. Madrid: Morata, 1988.
Postic M, Deketele JM. Observar las situaciones educativas. Madrid: Narcea, 1988.
Rodríguez Gómez G, Gil Flores J, García Jiménez E. Metodología de la investigación cualitativa. Archidona: Aljibe, 1996; cap. VIII.
Ruiz Olabuénaga JI, Ispizúa MA. La descodificación de la vida cotidiana. Bilbao: Universidad de Deusto, 1989; cap. II.
*Santos Guerra MA. Hacer visible lo cotidiano. Teoría y práctica de la evaluación cualitativa de centros escolares. Madrid: Akal, 1993; cap. 8.
Santos Guerra MA. La evaluación, un proceso de diálogo, comprensión y mejora. Archidona: Aljibe, 1993.
Santos Guerra MA. Evaluar es comprender. Buenos Aires: Magisterio del Río de La Plata, 1998.
*Santos Guerra MA, Prados D. Evaluación externa de la formación de médicos residentes o el arte de cambiar a través del conocimiento. Madrid: semFYC, 1996.
*Taylor SJ, Bogdan R. Introducción a los métodos cualitativos de investigación. Buenos Aires: Paidós, 1986; caps. II y III. Velasco H, Díaz de Rada A. La lógica de la investigación etnográfica. Madrid: Trotta, 1997.
Wittrock MC. La investigación de la enseñanza, II. Métodos cualitativos y de observación. Barcelona: Paidós, 1990.
