Introducción
La difusión del conocimiento biomédico a través de internet ha puesto al alcance de los ciudadanos una variedad y cantidad de información sin precedentes. En principio, este hecho podría favorecer el ejercicio de su autonomía y contribuir a lograr una mayor equidad en el acceso a la atención sanitaria1. No obstante, la incertidumbre que implica la búsqueda de información de calidad desigual por parte de la población2 conlleva que algunos autores consideren que los profesionales, los gestores y demás responsables sanitarios deberían asistir a los pacientes en este proceso. Los pacientes precisarían no sólo información sobre las fuentes disponibles, sino también consejos que les permitan entender y evaluar la información como apoyo al proceso de la toma de decisiones3, además de paliar el efecto adverso que puede derivarse de un mal uso de internet4.
En los últimos años se han desarrollado con este propósito diferentes instrumentos para medir la calidad de los sitios web sanitarios5-9. Su diseño tiene como base un código ético implícito o explícito, que se define como un conjunto de criterios de calidad para evaluar el contenido de los sitios web10 (p. ej., que en la web se describa el responsable de la misma).
Algunos instrumentos se utilizan en forma de filtros (que excluyen páginas que no cumplen criterios), guías para el usuario (automatizadas o no) y sellos de acreditación por terceros. Otras iniciativas se han enfocado en la autorregulación del proveedor a través de sellos de calidad autoaplicados11.
Entre los códigos de conducta destacan cuatro iniciativas: a) el código de la American Medical Association (AMA)12, que rige la calidad de las sitios web de sus miembros; b) el e-Health Code of Ethics13 de la Internet Health Coalition; c) el código del Health Summit Working Group (Summit)14, y d) el código e-Europe 2002 (criterios de calidad para sitios web sanitarios)15, que busca estimular la implementación de códigos en los estados comunitarios.
En España, el Colegio de Médicos de Barcelona otorga el sello «Web Médica Acreditada» a las páginas que cumplen con su código de conducta16, y la iniciativa «Webs médicas de calidad» (WMC), respaldada por diversas asociaciones médicas, otorga también un sello que pretende la mejora de la calidad de los sitios web españoles17. En la literatura médica sólo se ha encontrado un trabajo realizado en España que desarrolla un instrumento, elaborado a partir de criterios de calidad considerados por los médicos18.
La existencia de diferentes códigos plantea problemas como la redundancia de criterios, o la competencia entre ellos para ser reconocidos como el «patrón oro» (gold standard)19. Sin embargo, el mayor problema radica en la implementación de cualquier código, ya que las recomendaciones suelen ser demasiado generales y difíciles de utilizar como «reglas operativas» para evaluar sitios web específicos. Para ser prácticos, los códigos deberían incluir criterios específicos de evaluación y documentación de apoyo con ejemplos de «buenas prácticas» para los proveedores20.
La iniciativa e-Europe, originada por la Comisión Europea en 2002, pretende guiar a las autoridades sanitarias, asociaciones y otros proveedores, para que implementen los criterios de calidad de los sitios web sanitarios de manera apropiada, según su audiencia, y teniendo en cuenta su entorno cultural15. Sin embargo, los criterios que plantea no son operativos20.
El objetivo del presente trabajo es elaborar y evaluar la fiabilidad de un instrumento en español que permita valorar la calidad de los sitios web sanitarios en el ámbito iberoamericano, y que cumpla las recomendaciones de los principales códigos éticos y la normativa vigente para España y Europa. Por fiabilidad se entiende que el cuestionario produzca resultados similares para una misma evaluación aunque sea utilizado por diferentes personas. El procedimiento consistió en incluir de manera práctica los criterios del código e-Europe y completarlos con los criterios de los demás códigos disponibles a través de un análisis comparativo.
Material y método
La metodología del estudio se describe en el esquema. Cada una de las fases se describe a continuación.
Análisis de contenido
Para incluir de manera práctica los diferentes criterios del e-Europe, se efectuó un análisis cualitativo comparado, que incluía cada dimensión, con el código de la AMA, el código Summit, el e-Health Code of Ethics y la normativa y directrices vigentes. Las dimensiones que contiene el e-Europe son: a) transparencia y ausencia de conflicto de intereses; b) autoría; c) protección de datos personales; d) actualización de la información; e) responsabilidad, y f) accesibilidad.
La normativa y directrices estudiadas fueron la iniciativa internacional de la OCDE21 y la iniciativa europea e-Confidence22 para la protección del consumidor en internet, la World Wide Web Consortium-W3C23, la ley de protección de datos personales24 y los modelos internacionales de aseguramiento de la calidad EFQM25 e ISO 900026.
Para el análisis cualitativo se utilizó el programa QSR Nudist Vivo 1.1.127.
Elaboración del cuestionario preliminar
A partir de los resultados se elaboró un cuestionario preliminar y, teniendo en cuenta las recomendaciones de Casas et al27, las preguntas se agruparon por temas, según las dimensiones del e-Europe.
Prueba piloto
Una vez redactadas las preguntas y situadas en el cuestionario, se realizó una prueba piloto, por parte de 3 investigadores que utilizaron el cuestionario para evaluar 20 sitios web relacionados con temas de salud. Los sitios web evaluados y la metodología para su selección se describen en un artículo publicado previamente28. Esta prueba piloto sirvió para determinar si las preguntas fueron correctamente comprendidas por todos los sujetos, si producían fatiga o rechazo, si la duración fue excesiva o cualquier otra deficiencia.
Medición de la fiabilidad del cuestionario preliminar
Se evaluó la concordancia en las respuestas de los sujetos a preguntas con el índice kappa de Cohen y el nivel de significación estadística mediante el intervalo de confianza (IC) del 95%. Para calcular el índice kappa, el valor p asociado y el IC del 95%, se utilizó el programa STATA/SE 8.0 para Windows. Se consideraron los criterios de Fleiss para valorar el índice kappa29: menor de 0,20 se considera concordancia escasa; entre 0,21 y 0,40, débil; entre 0,41 y 0,60, moderada; entre 0,61 y 0,80, buena, y entre 0,81 y 1,00, muy buena.
Elaboración del cuestionario definitivo
Con base en los resultados obtenidos en la prueba piloto y en la concordancia obtenida, se efectuaron los ajustes pertinentes para los ítems con peores valores de kappa.
Medición de la fiabilidad del cuestionario definitivo
Se realizó una nueva prueba de la concordancia, para evaluar si se había mejorado a valores aceptables, para lo cual se evaluaron 26 sitios web por parte de 3 investigadores, y se calcularon las pruebas aplicadas al cuestionario preliminar. Para calcular el índice kappa, el valor de p asociado y el IC del 95%, se utilizó el programa STATA/SE 8.0 para Windows.
Resultados
Análisis de contenido
El análisis de contenido de las dimensiones abordadas por los códigos de conducta se utilizó para elaborar el cuestionario preliminar (anexo 1).
Elaboración del cuestionario preliminar
El cuestionario preliminar se describe en el anexo 2. Con respecto a los ítems incluidos, para el apartado de transparencia y ausencia de conflicto de intereses se incluyeron todos los criterios del e-Europe, los cuales pudieron incluirse de manera práctica con facilidad por ser objetivos. Otras exigencias del e-Health Code of Ethics y del Summit sobre el control de la influencia de patrocinadores en búsquedas y contenidos no fueron incluidas, puesto que se consideró que hacer explícita la fuente de financiación debe bastar para que el usuario esté informado de un posible conflicto de intereses. Para la autoría, además de los criterios de e-Europe, se incluían los criterios considerados por los demás códigos, a excepción del requerimiento de solicitar un enlace a la fuente (del e-Health Code of Ethics), al haberlo considerado de difícil cumplimiento. En las dimensiones sobre la protección de datos personales y la actualización de la información había acuerdo entre los códigos, así que al considerar el e-Europe, se consideraban también los demás. Para la responsabilidad se incluyeron los criterios del e-Europe y también los de los demás códigos. Los criterios del código de la AMA se utilizaron para incluir de manera práctica la accesibilidad, que estaba descrita de manera muy general en el e-Europe.
Las categorías para la evaluación de cada criterio fueron: 0, 1, 2 o 3 (0, no lo cumple; 3, lo cumple totalmente). El tiempo necesario para su contestación fue de 15 min aproximadamente.
Prueba piloto del cuestionario preliminar
Los resultados encontrados al calcular el índice kappa para la concordancia entre los 3 evaluadores se presenta en la tabla 1.
Diseño del cuestionario definitivo
El cuestionario definitivo, que resultó después de hacer los ajustes detectados en la prueba piloto, está accesible en internet (anexo link 2). Se ajustaron las preguntas con peor concordancia entre evaluadores, se valoraron como fuentes los profesionales (nombre, título, lugar de trabajo), los estudios publicados (artículos, guías de práctica clínica, libros), las declaraciones de sociedades científicas y las fuentes gubernamentales.
Para la autoría, al tener una concordancia tan débil, se solicitó su evaluación más específica, solicitándola para los tres documentos más accesibles.
Prueba del cuestionario definitivo
En general, se ha encontrado una buena concordancia entre evaluadores para el cuestionario definitivo. Los resultados encontrados al calcular el índice kappa para la concordancia entre los 3 evaluadores se presenta en la tabla 2.
Discusión
El cuestionario diseñado puede servir a los usuarios; profesionales, ciudadanos, gestores y responsables sanitarios como herramienta de evaluación de la calidad de los sitios web que consultan. Además, permitiría a los proveedores revisar su grado de cumplimiento de la política europea sobre «Criterios de calidad para sitios web relacionados con la salud», cuyo incumplimiento podría ser utilizado en su contra en discusiones legales20. Con todo, el cuestionario se ha probado en páginas dirigidas a profesionales y su utilización debería circunscribirse a este contexto.
El análisis de contenido efectuado para seleccionar los ítems incluidos en el cuestionario podría haber dejado fuera algunos criterios de calidad relevantes, debido a que sólo se han estudiado 4 códigos de conducta. Sin embargo, los códigos estudiados son los más reconocidos, lo cual da cierta garantía al cuestionario, además de que se estudió también la normativa vigente.
En general, el cuestionario presentó buena fiabilidad en casi todos sus ítems. Con respecto a la actualización de la información, el análisis muestra una concordancia débil, lo cual puede deberse a la dificultad que supone evaluar objetivamente el grado de actualización de la información ofrecida por un sitio web, dado que éste puede variar en función del contenido específico que se explora. Por esta razón sería necesario, en futuros trabajos, definir criterios de calidad específicos para el contenido. Por su parte, la accesibilidad para personas con discapacidades tuvo una concordancia débil, posiblemente porque había dos formas de revisar: con el sello W3C o con la autodeclaración del sitio. La facilidad para encontrar contenidos tuvo una escasa concordancia, dado que éste tiene un componente subjetivo, relativo a las capacidades y preferencias particulares.
Este estudio aporta a la literatura médica un instrumento con la definición de criterios explícitos y una evaluación de la fiablidad bastante aceptable, las cuales son las principales limitaciones de los 273 instrumentos encontrados en la bibliografía. Bernstam et al9 efectuaron recientemente una revisión de éstos, encontrando que sólo 80 (el 29%) explicitaban los criterios de calidad utilizados y que sólo 2 estudios evaluaron la fiabilidad de los instrumentos. El primero9 encontró un valor kappa >= 0,6 y el segundo30 evaluó un instrumento con 22 criterios similares a los del primero, encontrando 15 criterios con un índice kappa > 0,6.
La utilidad de la medición de la calidad de los sitios web ha sido cuestionada por algunos autores31,32 por diversos motivos, entre los que se mencionan el posible carácter subjetivo de la calidad, que podría depender del tipo de información requerido en cada momento y de las características y de prejuicios particulares del consumidor33. Por otra parte, se ha mencionado también que los consumidores podrían enfrentarse al contenido de los sitios web como lo han hecho frente a otros medios34. Respecto a este debate, Wilson et al11 rescatan el valor de los códigos de conducta, afirmando que no todos los profesionales y menos los pacientes tienen el tiempo y la disposición para utilizar apropiadamente los recursos disponibles, con lo cual es necesario contar con herramientas que faciliten esta cuestión, si bien hay que considerar que la calidad tendrá un componente subjetivo.
Por esta razón, en este estudio no se planteó hacer una validación del constructo que supone la «calidad». Se pretendió hacer una comparación de los criterios del e-Europe con los códigos de conducta, a través de una revisión exhaustiva, lo cual sería el primer paso para una validación del contenido.
El uso del cuestionario presentado podría apoyar la consulta y la producción de sitios web de mayor calidad. Futuras investigaciones en este ámbito podrían dirigirse al desarrollo de criterios más objetivos para determinados aspectos, como el grado de actualización de la información ofrecida, profundizando, por ejemplo, en el tema de los contenidos y la facilidad para la búsqueda de contenidos de los sitios web, incluyendo por ejemplo las competencias individuales en el uso de internet.
Agradecimientos
Agradecemos a Soledad Márquez Calderón sus valiosos aportes para la mejora del manuscrito preliminar.
Fuente de financiación: Red de Centros de Epidemiología y Salud Pública.
Correspondencia:
C. Bermúdez Tamayo.
Escuela Andaluza de Salud Pública. Campus Universitario de Cartuja.
Apdo. de Correos 2.070. 18080 Granada. España.
Correo electrónico: clara.bermudez.easp@juntadeandalucia.es
Manuscrito recibido el 21 de julio de 2005.
Manuscrito aceptado para su publicación el 19 de diciembre de 2005.
