Introducción
Existe un creciente interés por mejorar la participación de los ciudadanos en las decisiones de carácter público. Los sistemas sanitarios no son ajenos a esta tendencia. Algunos documentos oficiales resaltan como una de sus prioridades dar información a los ciudadanos, a los pacientes, y así capacitarles para mejorar su salud1,2. En el caso de la información transmitida de manera escrita, esto supone garantizar una adecuada legibilidad. Según Alliende, la legibilidad «es el conjunto de características de los textos que favorecen o dificultan una comunicación más o menos eficaz entre ellos y los lectores, de acuerdo con la competencia de éstos y con las condiciones en que realizan la lectura»3. Cada característica determina un tipo de legibilidad: lingüística, tipográfica, psicológica, conceptual, estructural o pragmática. La legibilidad lingüística analiza, por una parte, la forma de construcción del mensaje (tamaño de las palabras, frases, construcciones gramaticales, etc.) y la denominamos legibilidad lingüística formal. Por otra analiza sus aspectos semánticos (significados de las palabras) y la llamamos legibilidad lingüística material. El presente trabajo se centra en el análisis de la legibilidad lingüística formal, porque es la que estudian las técnicas de medición objetiva de la legibilidad, desarrolladas sobre todo en lengua inglesa: fórmula de Flesch, escala de Fry, Flesch-Kincaid, SMOG, Raygor y Gunnig Fog Test. Prácticamente todas existen en versión informatizada. Dichas técnicas se han aplicado a formularios de consentimiento informado4-8, materiales de educación para la salud9-13, informes de urgencias14, prospectos de los medicamentos15 o información sanitaria en la web16-18. Hay varios trabajos que validan la fórmula de Flesch al castellano, tanto en versión manual19 como informatizada20, y la utilizan para el análisis de formularios de consentimiento informado clínicos21,22 o de investigación23. También se ha tratado de validar y utilizar el SMOG24. Una aproximación más amplia al análisis de la legibilidad, por abarcar varias de las dimensiones de ésta, la proporciona la escala BIDS de Bernier. Dicha escala fue propuesta por el Grupo de Educación Sanitaria y Promoción de la Salud del PAPPS para evaluar la legibilidad de folletos educativos, sorprendentemente sin previa validación25. El presente trabajo baraja la hipótesis de que los métodos informáticos de análisis de la legibilidad lingüística formal tienen una buena correlación con el método manual y pueden sustituirlo de manera fiable para el estudio de materiales escritos, como por ejemplo los folletos de educación para la salud (EPS). Para ello, en el marco de un proyecto de investigación más amplio sobre la legibilidad de los folletos de EPS, se propone analizar la correlación entre los valores del índice de Flesch calculados por 3 métodos: el manual, el calculado mediante el programa informático Word Perfect 726 y el estimado por el programa Microsoft Word 200027, así como la correlación entre otras medidas informáticas de la legibilidad.
Material y métodos
Se trata de un estudio observacional y descriptivo. Se realizó en el Centro de Salud Avda. de Daroca, del Área 4 AP de Madrid. Se recogieron sistemáticamente 100 documentos de EPS disponibles en el centro. Además, para la comparación, se recuperaron 10 textos de tipo general utilizados en un estudio anterior: el artículo 10 de la Ley General de Sanidad de 1986; la primera página de los periódicos El País, El Mundo y Diario 16; los primeros párrafos de El Quijote de Cervantes28, del diálogo platónico La República29 y del libro del Génesis30; un texto de literatura infantil titulado Los mifenses, de Rocío de Terán, pensado para niños de más de 9 años31, y 2 cómics, uno de adultos (El Víbora), y otro infantil (Mortadelo y Filemón). Se incluyó además un undécimo texto, construido artificialmente como texto control, formado por la frase «El sol da luz» repetida 125 veces. Dicho texto contiene, obviamente, 500 palabras, 500 sílabas y 125 frases.
Análisis de los textos
Se extrajo de cada documento un texto con las 500 primeras palabras del documento. Se procesó sucesivamente con los programas Word Perfect 7 y Word 2000, y se determinaron las variables y puntuaciones de legibilidad con cada uno de los programas. Los programas permiten contar el número de palabras y el número de frases. Además analizan la legibilidad mediante 4 índices, de los que en este trabajo sólo se utilizan 2: la puntuación de fluidez de lectura (Word Perfect) o grado en la escala de Flesch (Word 2000), que no es sino el índice de Flesch, que puntúa entre 0 (muy difícil) y 100 (muy fácil); y el índice de complejidad de oraciones (CO), que puntúa entre 0 (muy fácil) y 100 (muy complicada). Como complemento del índice de Flesch y el CO se utilizó además el índice de legibilidad integrada (LEGIN), de Simón, Barrio y Concheiro (1996), que relaciona los índices anteriores y obtiene valores entre 0 (muy difícil) y 200 (muy fácil). Según ellos una legibilidad adecuada obtiene puntuaciones del índice de Flesch superiores a 10, del índice de CO inferiores a 40 y del LEGIN superiores a 70. Una vez analizado el texto, se imprimió y se realizó el análisis manual de Flesch siguiendo el procedimiento y las recomendaciones de Simón y Concheiro (1993). Las 13 variables estudiadas son las que se reflejan en la tabla 1. Sus resultados se mostrarán agrupados como media e intervalo de confianza. Se calculó el coeficiente de correlación de Pearson, «r», entre los resultados del análisis manual de Flesch, el de Word Perfect 7 y el de Word 2000 en los 100 documentos recogidos y los 11 textos generales de comparación32. Todos estos análisis se efectuaron mediante el programa Excel.
Resultados
En la tabla 1 se refleja el análisis descriptivo de los 100 textos, y en la tabla 2 el de 11 textos generales.
La correlación es muy buena entre las 3 mediciones del índice de Flesch (r > 0,75), siendo excelente (r > 0,9) entre las 2 mediciones informatizadas (tabla 3). Asimismo existe una excelente correlación entre el CO efectuado por los 2 programas.
La correlación entre el índice LEGIN y el índice de Flesch medido manualmente es moderada. Sin embargo, la correlación del LEGIN en ambos programas con las puntuaciones de Flesch y CO es en todos los casos muy buena. También se estimó la correlación entre el número de palabras y frases medidas por el método manual y por los métodos informatizados, mostrando en todos los casos resultados excelentes (r > 0,9) (tabla 4).
Discusión
En su trabajo de 1999 Ordovás et al23 desechaban el cálculo informatizado de la fórmula de Flesch aduciendo que tenía una discutible «reproducibilidad y variabilidad interobservador», afirmación que basaban en un único artículo de 199533. A nuestro modo de ver, los resultados obtenidos en este trabajo contradicen esta afirmación y permiten confirmar la buena correlación que tiene el análisis manual de la legibilidad usando la técnica de Flesch, con su análisis informático mediante los 2 programas utilizados. Por consiguiente, puede afirmarse que las mediciones efectuadas con estos 2 programas pueden sustituir con fiabilidad al análisis manual, más lento, complicado y costoso. Que sepamos no existe ningún otro método de análisis de la legibilidad lingüística formal validado de forma tan amplia. El intento de validación de la fórmula SMOG, realizado por Mirón et al24, utiliza obras literarias como textos generales de validación que quizás no son tan accesibles al ciudadano medio como se pretende. Ello hace que la puntuación de corte de la legibilidad aceptable que obtienen sea muy alta. Un problema añadido es que no existe en versión informatizada, lo que dificulta su utilización.
No es fácil explicar por qué los programas obtienen un resultado diferente del manual al contar las palabras y frases. Seguramente la estructura del texto y las puntuaciones interfieren en el reconocimiento de palabras y frases; eso mismo condiciona los resultados diferentes en las puntuaciones de legibilidad. Como puede verse en la tabla 2, en el texto control «El sol da luz» los resultados son idénticos independientemente del procedimiento utilizado. En cualquier caso, la correlación es siempre muy buena o excelente. Los resultados que se muestran en la tabla 2 permiten además confirmar de nuevo las puntuaciones de corte de la legibilidad que para la medición informática expusieron Simón et al20. En cambio, la afirmación de que un texto analizado con la fórmula manual de Flesch obtiene valores «entre +50 y 50»19 debe ser revisada, puesto que el texto control obtuvo una puntuación de 118 con dicho método.
El límite fundamental de este trabajo es la duda de si las versiones sucesivas de los programas mostrarán los mismos resultados. Además, cabe distanciarse de la fiabilidad de los puntos de corte de legibilidad. Por todo ello conviene seguir investigando esta cuestión con nuevos programas, nuevos textos y nuevas metodologías de validación.
Correspondencia: Inés M. Barrio Cantalejo. C/ Casuarina, 7. 28044 Madrid. España. Correo electrónico: ibarrio@eresmas.net
El presente trabajo forma parte de un estudio de mayor amplitud, titulado «¿Pueden leer los pacientes lo que pretendemos que lean?», premiado por el XXI Certamen de Enfermería San Juan de Dios.
Manuscrito recibido el 27 de mayo de 2002.
Manuscrito aceptado para su publicación el 10 de julio de 2002.
