El ensayo clínico aleatorizado (ECA) es una de las mejores formas de adquisición de pruebas científicas en ciencias de la salud. Es catalogado como la piedra angular de la medicina basada en la evidencia y como eje de la formación de conocimiento de alta calidad. Diversos tipos de sesgos pueden comprometer sus resultados y afectar su validez interna.
ObjetivosEvaluar el «riesgo de sesgo» de los ensayos clínicos publicados en la Revista Colombiana de Anestesiología (RCA) mediante la aplicación de la herramienta para detección de «riesgo de sesgo» de la Colaboración Cochrane.
MétodosMediante una búsqueda sistemática se identificaron todos los ensayos clínicos publicados en la RCA. Estos se distribuyeron de forma aleatoria entre 6 evaluadores entrenados en la utilización de la herramienta para detección de «riesgo de sesgo» de la Colaboración Cochrane. Los resultados se presentaron de forma descriptiva, gráfica y temporal para cada uno de los 6 dominios que constituyen la herramienta.
ResultadosLa RCA ha publicado 40 volúmenes desde 1973. El proceso de búsqueda identificó hasta el 2009 un total de 75 ECA. La frecuencia de publicación de ECA ha aumentado con el paso del tiempo, las ciudades con mayor publicación fueron Bogotá DC y Medellín, y en su mayoría están relacionados al manejo del dolor agudo y crónico. El mayor riesgo de sesgo (29% de los ECA) se identificó en el encubrimiento de la secuencia de aleatorización (dominio 2). El 30% de los estudios presentaron 4 dominios o más clasificados como bajo riesgo de sesgo. Se apreció una tendencia a la reducción de la proporción de dominios clasificados como alto riesgo de sesgo con el paso del tiempo.
ConclusionesExiste una tendencia sostenida al mejoramiento y a la reducción del riesgo de sesgo de los ECA publicados en la RCA, con algunos puntos a fortalecer en el proceso de diseño, conducción, análisis y reporte.
Randomized clinical trials (RCT) are one of the most reliable methods of scientific investigation in health sciences. It is a corner stone of evidence based medicine and the backbone of high standard knowledge. Several types of errors can compromise the results and affect its validity.
ObjectivesTo assess the risk of bias of the clinical trials published in the Revista Colombiana de Anestesiología (RCA) medical journal by applying the «risk of bias detection» tool of the Cochrane Collaboration.
MethodsAll the clinical trials in the RCA journal were found by carrying out a systematic research. These trials were randomly distributed among 6 evaluators trained in the use of the «risk of bias detection» tool of the Cochrane Collaboration. Results were presented descriptively, graphically and chronologically to each of the 6 parameters that conform the «risk of bias detection» tool.
ResultsThe RCA journal has published 40 volumes as of 1973. The searching process identified a total 75 RCT up until 2009. The frequency of RCT publication has risen with time. The cities with most publications were Bogotá DC and Medellín, and most trials were related to the management of acute and chronic pain. The greatest risk of bias (29% of all RCT) was found in the concealing of randomization sequences (parameter 2). 30% of the studies showed four or more parameter values of low risk of bias. A trend of decreasing proportion of high risk values was observed as time passed.
ConclusionsThere is a sustained trend of improvement and risk reduction in RCTs’ in the RCA journal.
El ensayo clínico es un experimento cuantitativo, comparativo y controlado en el cual un grupo de investigadores estudian 2 o más intervenciones en un grupo de individuos quienes generalmente las reciben de forma aleatoria1. Representa una de las mejores formas de adquisición de evidencia científica en ciencias de la salud y es el diseño de investigación que proporciona mayor inferencia de causalidad. Es catalogado como la piedra angular de la medicina basada en la evidencia y como eje de la formación de conocimiento de alta calidad2. Sus resultados sirven de sustrato para la elaboración de evidencia científica de alta calidad, de revisiones sistemáticas y guías de práctica clínica.
Su bien posicionado lugar en la jerarquía de la evidencia ha generado algunas concepciones equivocadas de validez, calidad y carencia de sesgo que se han relacionado únicamente a su nombre y al abuso de sus virtudes. A pesar de sus bondades, no está libre de problemas metodológicos que pueden afectar su validez interna y externa3.
Con respecto a validez interna, los posibles sesgos que pueden amenazar un ensayo clínico pueden resultar de fallas en el diseño, conducción, análisis, interpretación y reporte de sus resultados. Han sido clasificados en 4 grupos: sesgos de selección, realización, desgaste y de detección4. Se ha demostrado que la inadecuada aleatorización, el «fallo» en el ocultamiento de la asignación, la ausencia de ceguera o las pérdidas diferenciales del seguimiento pueden afectar los efectos observados de los tratamientos5-8. Hay evidencias que sugieren que el inadecuado ocultamiento de la asignación y la carencia de doble ciego pueden sobreestimar el efecto de la intervención en estudio9.
El método para evaluar la calidad de un ensayo clínico es un tema de amplio debate. La ausencia de un estándar de referencia para esta evaluación y la incertidumbre de la evaluación en el efecto de la intervención han llevado al desarrollo de múltiples escalas y listas de chequeo10. Sin embargo, solo el 12% de estos instrumentos ha sido evaluado de forma empírica11. Muchos de ellos incluyen la evaluación de elementos referentes al reporte y diseño que no están relacionados directamente con el sesgo4.
En febrero de 2008, la Colaboración Cochrane introdujo una herramienta para la evaluación de riesgo de sesgo, diseñada para establecer la validez interna de un ensayo clínico4. La elección de los componentes incluidos (6 dominios) se basó en evidencias de su asociación positiva o negativa con la estimación del efecto7,8,12. Sus autores tuvieron como objetivo diferenciar entre los elementos usados para desarrollar un ensayo clínico de los necesarios para su reporte. Cada domino es evaluado en 3 categorías de riesgo de sesgo (alto, bajo, no claro) que finalmente resultan en la evaluación individual de cada estudio y para cada dominio con 2 herramientas gráficas de valoración. Su calificación se hace a partir del reporte original del ensayo clínico y además puede incluir otros documentos adicionales, como el protocolo del estudio13.
La Revista Colombiana de Anestesiología (RCA) es la publicación oficial de la Sociedad Colombiana de Anestesiología y Reanimación (SCARE), y tiene como objetivos divulgar los conocimientos relacionados con la especialidad y áreas afines. Desde su primera publicación, en 1973, ha publicado 40 volúmenes con 157 números. Está actualmente clasificada como categoría A2 en Publindex de Colciencias.
El objetivo de este estudio fue evaluar el riesgo de sesgo de todos los ensayos clínicos aleatorizados (ECA) publicados en la RCA mediante la aplicación de la herramienta para detección de riesgo de sesgo de la Colaboración Cochrane.
MétodosEstudio observacional que incluyó todos los ECA publicados en la RCA desde la fecha de su primera edición (año 1973) hasta los contenidos en el volumen 37, número 1, de 2009.
Se diseñó una búsqueda sistemática para la identificación de todos los ensayos clínicos publicados que incluyó la exploración de la base de datos SCIELO, revisión manual de todos los volúmenes de la RCA y el uso de la herramienta de búsqueda y localización del sitio web www.revcolanest.com. Se excluyeron los ensayos o experimentos cuasiexperimentales (antes-después) y los que no habían sido desarrollados con humanos.
Una vez identificados los estudios, para su evaluación, el total de estudios se dividió en 6 grupos iguales utilizando una tabla de números aleatorios generada por computador (R Development Core Team [2010]14). Cada grupo de estudios fue dividido entre 6 evaluadores, quienes tenían previa experiencia y entrenamiento para la evaluación de ensayos clínicos y/o publicación de revisiones sistemáticas mediante la metodología de la Colaboración Cochrane. La numeración original y la distribución de los estudios estuvieron a cargo del autor principal de este estudio.
Cada revisor aplicó a cada estudio un formulario electrónico. En este formulario se recogió información correspondiente a: 1) título del estudio; 2) tipo de ensayo clínico; 3) número de grupos en estudio; 4) número de autores del estudio; 5) desenlaces estudiados y tiempo de estudio del desenlace primario; 6) sitio y fecha de realización, 7) número de participantes del estudio, y finalmente los 6 dominios de la herramienta para la evaluación del riesgo de sesgo de la Colaboración Cochrane.
Análisis de la informaciónPara el análisis de los datos se diseñó una base de datos en el paquete estadístico R14. Los resultados se presentan de forma descriptiva y gráfica e incluyen la descripción de los estudios incluidos, las proporciones temporales y geográficas de publicación y la proporción de evaluación del riesgo de sesgo para cada dominio dentro de sus 3 categorías (alto riesgo, bajo riesgo, riesgo no claro). Adicionalmente, se crearon gráficas para evaluar las tendencias de publicación, su relación con el riesgo de sesgo y el número de participantes reclutados.
ResultadosLa RCA ha publicado hasta el momento 40 volúmenes, con 4 números por año, para un total de 157 ejemplares (considerando el número 1, volumen 40, de 2012). Su publicación se inició en julio de 1973 (volumen 1, número 1) y se ha continuado durante los últimos 39 años.
El primer ensayo clínico de la RCA fue publicado en el número 10, del año 1982. Desde entonces el proceso de búsqueda, que incluyó hasta el volumen 37, número 1, de 2009, localizó un total de 75 ensayos clínicos publicados. No se incluyeron los últimos 8 números de la revista (3 de 2010, 4 de 2011 y uno de 2012), en los cuales se han publicado 13 nuevos ensayos clínicos, dado que durante este periodo se llevó a cabo la etapa de extracción y análisis de este estudio. En la figura 1 hay más detalles del proceso de búsqueda y selección.
Las características generales de los estudios incluidos, las áreas de investigación en orden de frecuencia y el tiempo de seguimiento que hicieron del (de los) desenlace(s) primario(s) se presentan en la tabla 1. La figura 2 presenta el sitio de realización de los estudios y la figura 3, el número de estudios publicados por bloques de 3 años en la historia de la RCA.
Características generales de los ensayos clínicos incluidos, áreas de investigación y tiempo de seguimiento del desenlace primario (n=75)
| Variable en estudio | n (%) |
| Año de publicación | |
| 1982-1984 | 3 (4) |
| 1985-1987 | 1 (1) |
| 1988-1990 | 7 (9) |
| 1991-1993 | 5 (7) |
| 1994-1996 | 10 (13) |
| 1997-1999 | 7 (9) |
| 2000-2002 | 11 (15) |
| 2003-2005 | 13 (17) |
| 2006-2008 | 15 (20) |
| 2009-2012a | 3 (4) |
| Grupos de estudio en el ensayo clínico | |
| Estudio paralelo | 68 (91) |
| Más de dos grupos de estudio | 7 (9) |
| Tipo de ensayo clínico | |
| Farmacológico | 68 (91) |
| No farmacológico | 7 (9) |
| Número de autores del estudio | |
| Un autor | 10 (13) |
| Dos | 17 (23) |
| Tres | 18 (24) |
| Cuatro | 16 (21) |
| Cinco | 3 (4) |
| Seis o más autores | 11 (15) |
| Áreas de investigación | |
| Manejo del dolor agudo o crónico | 15 (20) |
| Complicaciones postoperatorias | 9 (12) |
| Anestesia obstetricia | 9 (12) |
| Anestesia regional | 9 (12) |
| Anestesia general inhalatoria | 8 (11) |
| Anestesia general intravenosa | 6 (8) |
| Manejo de la vía aérea | 6 (8) |
| Relajación neuromuscular | 5 (7) |
| Anestesia pediátrica | 3 (4) |
| Homeostasis intraoperatoria y/o balance hídrico | 3 (4) |
| Educación en Anestesiología | 2 (3) |
| Tiempo de seguimiento del desenlace primario | |
| Percentil 25 | 30 minutos |
| Percentil 50 - mediana | 2 horas |
| Percentil 75 | 24 horas |
| Percentil 90 | 55.2 horas (2.3 dias) |
| Rango | 30 segundos - 2 meses |
| Sin reporte del tiempo de seguimiento del riesgo de sesgo (8 números con 13 ensayos clínicos) | 19 (25) |
Número de ensayos clínicos publicados por años (bloques de 3 años) en la historia de la Revista Colombiana de Anestesiología (n=75). La última barra (2009-2011) incluye los 13 ensayos clínicos no incluidos en el análisis del riesgo de sesgo (únicamente para la tendencia de frecuencia).
La clasificación como bajo riesgo de sesgo se alcanzó en el 66% de los estudios en el dominio 4 (pérdidas del seguimiento), en el 54% (reporte selectivo) y en el 45% en el dominio 1 (aleatorización). El dominio con mayor clasificación como alto riesgo de sesgo fue el número 2, relacionado con el encubrimiento de la secuencia de aleatorización. El 30% del total de ECA alcanzó 4 o más dominios clasificados como bajo riesgo de sesgo. La tablas 2 y 3 y la figura 4 presentan las frecuencias y proporciones de los dominios de la herramienta para la evaluación del riesgo de sesgo alcanzadas por los ensayos clínicos publicados en la RCA.
Proporción de estudios y las categorías alcanzadas por dominios de la herramienta para la evaluación del riesgo de sesgo
| Riesgo de sesgo | Dominio 1 | Dominio 2 | Dominio 3 | Dominio 4 | Dominio 5 | Dominio 6 |
| ¿Fue la secuencia de aleatorización generada adecuadamente? | ¿Fue la secuencia de aleatorización adecuadamente encubierta? | ¿Fue el conocimiento de las asignaciones adecuadamente cegado en el el estudio?a | ¿Fueron adecuadamente explicadas las perdidas del seguimiento? | ¿Está el estudio libre de reporte selectivo de desenlaces? | ¿Está el estudio libre de otros riesgos? | |
| Bajo | 34 (45) | 21 (28) | 30 (40) | 50 (66) | 41 (54) | 24 (32) |
| Alto | 17 (23) | 22 (29) | 19 (25) | 8 (11) | 2 (3) | 19 (25) |
| No claro | 24 (32) | 32 (43) | 26 (35) | 17 (23) | 32 (43) | 32 (43) |
Número de dominios alcanzados [n(%)] con bajo riesgo de sesgo en el total de los ensayos clínicos (n=75)
| Seis dominios alcanzados | 7 (9) |
| Cinco dominios alcanzados | 7 (9) |
| Cuatro dominios alcanzados | 9 (12) |
| Tres dominios alcanzados | 12 (16) |
| Dos dominios alcanzados | 17 (23) |
| Un dominio alcanzados | 17 (23) |
| Ningún dominio alcanzado | 6 (8) |
La relación entre el año de publicación, el número de ensayos publicados y la evaluación de los 4 principales dominios de la herramienta de evaluación se describe en la figura 5. En ella se aprecia el incremento del área de coloración azul con el paso del tiempo como evidencia de la reducción sostenida en el riesgo global de sesgo de los estudios. Adicionalmente, la figura 6 presenta en color azul la proporción de estudios que alcanzan 3 o más dominios con bajo riesgo de sesgo y en el radio de las burbujas el tamaño promedio de reclutamiento de los estudios.
Gráfica de burbujas comparando el año de publicación del ensayo clínico con el promedio de cumplimiento de dominios en bajo riesgo de sesgo en la Revista Colombiana de Anestesiología (n=75). Color azul: promedio de los estudios clasificados con 3 o más dominios con bajo riesgo de sesgo; color verde: promedio de los estudios clasificados con menos de 3 dominios con bajo riesgo de sesgo; diámetro de la burbuja: tamaño promedio de los estudios (número de pacientes reclutados).
Para finalizar, la figura 7 es un diagrama de cajas con la distribución del total de participantes reclutados por los estudios en relación al año de publicación (organizados en bloques de 3 años).
Discusión
Este estudio presenta una perspectiva de la producción de ensayos clínicos en el área de anestesiología en Colombia. Fue una iniciativa de estudio con el propósito de mostrar nuestro crecimiento y posiblemente planificar estrategias de mejoramiento en el futuro.
Presentamos la discusión de sus resultados en 2 secciones. Primero, los aspectos generales de la producción en la revista, y finalmente el análisis del riesgo de sesgo de las publicaciones.
Aspectos generales de la producciónLa mayoría de los estudios publicados han sido desarrollados en la ciudad de Bogotá y Medellín. Posiblemente estas ciudades provean mayores capacidades organizativas, colaborativas, logísticas y de financiación para el desarrollo de ensayos clínicos, los cuales, por su complejidad, así lo exigen. Varios estudios de origen internacional también han utilizado la RCA para su publicación, aunque el número de artículos internacionales ha disminuido en los últimos años. La visibilidad internacional de la RCA ha aumentado de forma importante por diversas estrategias adoptadas por la SCARE y por su comité editorial. Actualmente se encuentra indizada en SciELO Colombia, LILACS, EBSCO, Imbiomed, Index Copernicus, Redalyc, LICOCS, Latindex y, la más reciente, Elsevier-Doyma15. Es un interés general el hecho de convertirse en atractiva para la publicación de estudios desarrollados en otras latitudes y de alcanzar su indización en Medline.
El número de ensayos clínicos ha aumentado con el paso del tiempo, y a partir del año 2003 se han producido aproximadamente 5 artículos por año. La tendencia gráfica aparenta ser lineal y sostenida. Muchos autores, investigadores y grupos podrían ser influenciados por equipos de asesoría metodológica y analítica. En una publicación que evaluó los ensayos clínicos de la Revista Española de Anestesiología, García et al. reportaron que el 30% de los estudios probaban intervenciones no farmacológicas16. Para la RCA esta proporción es más baja; sin embargo, está presente. Por las características propias de la especialidad, la anestesiología es un área en la cual se utilizan variadas intervenciones no farmacológicas que representan una oportunidad para nuevos retos en el diseño y planeación de estudios experimentales.
Pocos estudios realizaron seguimientos de los desenlaces mayores a 24h. De hecho, la mayoría de ellos únicamente lo hicieron durante 2h. Un gran número de ECA en el área de anestesiología se limitan al periodo postoperatorio inmediato, pero muchos desenlaces relevantes para el paciente —más que para el anestesiólogo o para el investigador— pueden presentarse en el seguimiento intrahospitalario o en el periodo de recuperación tardía. Esta consideración debe ser tenida en cuenta y adaptarse a la pregunta de investigación y al escenario en estudio17. Adicionalmente, en el caso de utilizar desenlaces subrogados (o mediciones sustitutas o intermedias), que usualmente son más fáciles de medir, estos deben ser cuidadosamente seleccionados para representar adecuadamente el evento clínico de interés para el paciente18.
Los ensayos clínicos son estudios que exigen una gran planificación y altos recursos incluso cuando su diseño o sus intervenciones no sean complejos. En la RCA, más del 50% de los estudios fueron publicados por 3 o menos autores. En nuestra consideración, son pocos investigadores para el complejo proceso de planificación, diseño, conducción y publicación de un proceso de esta envergadura. Es necesaria la conformación de un mayor número de grupos de investigadores, y su conexión efectiva en red.
Análisis del riesgo de sesgo de las publicacionesEl ensayo clínico y las revisiones sistemáticas de dichos ensayos proporcionan la evidencia «más válida» de los efectos de las intervenciones en salud y sus asociaciones causales. Sin embargo, las inferencias de causalidad extraídas a partir de estos estudios pueden estar menoscabadas por falencias en el diseño, conducción, análisis y reporte de los mismos. Esto resulta en una subestimación o sobreestimación de los efectos de la intervención (sesgos)5,6,13. Usualmente, es imposible conocer con exactitud la medida en que los sesgos afectan los resultados de un ensayo clínico. Es más, es difícil juzgar —como lectores— las dificultades a las que el grupo de investigación se enfrentó durante un estudio en particular. Por tal motivo, la tendencia actual es juzgar el «riesgo de sesgo» entendiendo la «calidad» como el grado en que el diseño, conducción, análisis y presentación son apropiados para enfrentar los retos de llevar a cabo un ECA sin sesgos.
La herramienta empleada en este estudio para la evaluación del riesgo de sesgo se utiliza para el desarrollo de revisiones sistemáticas al interior de la colaboración Cochrane. Pocas publicaciones la han utilizado con el ánimo de describir el riesgo de sesgo en una revista determinada (posiblemente por su reciente diseño)19. A pesar de algunas limitaciones encontradas en esta herramienta y descritas en la literatura20-22, nuestro interés fue presentar una perspectiva global de la evolución de los ECA de la RCA.
El análisis de las tablas y figuras presentadas en este estudio muestra que el número de dominios clasificados con bajo riesgo de sesgo alcanzados por los ensayos clínicos es mayor con el paso de los años. El 30% de los estudios presentan 4 o más dominios con bajo riesgo de sesgo. Esta tendencia representa en gran medida una intención clara y sostenida de mejoramiento, de formación y de capacidades de desarrollar investigación de alta calidad. En una próxima publicación de este grupo de trabajo esperamos presentar un subanálisis del periodo comprendido entre el año 2000 hasta la actualidad.
Los resultados de este estudio proporcionan evidencia del gran interés de la RCA, su comité editorial y la SCARE por seguir adelante en el proceso de mejoramiento e incrementar cada vez más la visibilidad de la publicación15,23. Sin embargo, este esfuerzo debe ser también compartido con cada uno de los autores de la revista, quienes establecen el paso inicial con la calidad de sus reportes24.
El proceso de elaborar un ECA de alta calidad, con bajo riesgo de sesgos, requiere de instituciones sólidas y un sistema de salud que garantice los derechos de los usuarios. También es necesaria una reforma del sistema educativo, en el cual los profesores de las instituciones educativas de nivel superior tengan las suficientes garantías para desarrollar su trabajo investigativo y que las universidades tengan un adecuado presupuesto para este rubro. En Colombia, el sistema de salud actual —dirigido principalmente por la búsqueda pobremente controlada de rentabilidad del intermediario en la prestación de servicios de salud— limita la ejecución no solo de ECA, sino de toda la investigación clínica que se trata de hacer. La rigidez y la estrechez de la rentabilidad como único fin de un sistema de salud coartan la libertad de pensamiento y de acción necesarias para buscar mejores e incluso más económicas alternativas para el cuidado de los pacientes.
FinanciaciónRecursos propios de los autores.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
A la Sociedad Colombiana de Anestesiología y Reanimación SCARE, al Departamento de Educación de la SCARE y a la Unidad de Epidemiología Clínica de la Universidad del Cauca.