Introducción
Las autoridades sanitarias tienen la responsabilidad legal de velar por la salud de los ciudadanos. En el ámbito del medicamento, a través de las agencias de medicamentos, son responsables de determinar la idoneidad de los nuevos tratamientos para su uso en la población general en términos de beneficio y riesgo, regulando así su comercialización y condiciones de utilización.
Las autoridades reguladoras basan sus decisiones en la investigación científica que debe avalar la calidad, seguridad y eficacia de los medicamentos. En concordancia con la magnitud de las consecuencias de sus decisiones, las agencias reguladoras deben aplicar un elevado nivel de exigencia en términos de calidad de la investigación. Asimismo, como organismos públicos, sus decisiones deben tomarse de acuerdo con los principios de transparencia y justicia.
Una buena forma de aplicar el principio de transparencia consiste en hacer públicos los requisitos que después se exigirán. Éste es el papel de los documentos guía en los que se explicitan las recomendaciones y requisitos para que una investigación concreta sea apta como referencia en la toma de decisiones reguladoras.
Estos documentos de guía están elaborados por las agencias reguladoras, que para ello recaban la colaboración de expertos externos, que han de declarar potenciales conflictos de intereses. Todas las recomendaciones se someten a un período de consulta pública durante el cual se reciben comentarios de cualquier actor interesado (industria farmacéutica, sociedades científicas y particulares). Aunque no son vinculantes ni tienen carácter legal, son referencias reconocidas por todas las partes interesadas.
Estas directrices abordan aspectos de calidad, investigación preclínica y desarrollo clínico de medicamentos.
Si establecemos un nivel jerárquico en la generalizabilidad de las distintas guías existentes, el primer nivel correspondería a las guías derivadas de las conferencias tripartitas de armonización (International Conference on Harmonisation; ICH). El objetivo de la ICH es evitar que, ante una misma evidencia científica, los requisitos de las autoridades sanitarias de Europa, Japón y Estados Unidos sean distintos, lo que motiva investigación redundante. En la ICH participan autoridades reguladoras y representantes de las asociaciones de la industria farmacéutica de las tres regiones. Las guías ICH establecen los requisitos mínimos para la toma de decisiones en materia de eficacia, seguridad y calidad de los productos medicinales, asegurando la homogeneidad en los criterios aplicados en las tres regiones que las suscriben. Estas guías, junto con otras recomendaciones ICH, están disponibles en su web (http://www.ich.org).
Algunas de las guías más referenciadas son la ICH E3 Structure and Content of Clinical Study Reports1, publicada en 1995; la guía ICH E6 Good Clinical Practice2, en 1996; la guía ICH E9 Statistical Principles for Clinical Trials3, en 1998, y la guía ICH E10 Choice of Control Group and Related Issues in Clinical Trials4, publicada en el año 2000.
Por su naturaleza general y con motivo de la necesidad de consenso, las guías ICH no cubren con suficiente detalle algunos aspectos metodológicos importantes. En un segundo nivel, las guías del Comité de Medicamentos de Uso Humano (CHMP) de la agencia europea (European Medicines Agency; EMEA) (http://www.emea.eu.int/), las de la Food and Drug Administration; FDA (http://www.fda.gov/) y las del Ministry of Health, Labor and Welfare, de Japón; MHLW (http://www.mhlw.go.jp/english/), establecen recomendaciones destinadas a sus respectivas áreas geográficas de influencia. Estas guías abordan temas más concretos y con un mayor nivel de detalle que las directrices ICH, y consideran en cada caso las características sanitarias, legales y culturales de su entorno, si bien siempre dentro del ámbito definido por las guías armonizadas de la ICH.
En el apartado clínico, las directrices del CHMP se centran en el desarrollo de medicamentos para indicaciones concretas. Sin embargo, con objeto de disponer de referencias metodológicas transversales, el CHMP ha elaborado guías específicas que cubren aspectos metodológicos esenciales, aplicables independientemente de la naturaleza del medicamento y de su indicación terapéutica. Estas guías metodológicas hacen referencia a: a) estudios de superioridad, no inferioridad y equivalencia5; b) papel regulador del metaanálisis6; c) gestión de los valores faltantes o missing7; d) multiplicidad8; e) comparabilidad basal y ajuste por covariables9; f) la selección del límite de no inferioridad10; g) ensayos clínicos en poblaciones pequeñas11, y h) análisis intermedios y otros diseños flexibles12. En la actualidad además se encuentran en fase de redacción y discusión documentos sobre comités de seguimiento y monitorización de datos13, y medidas de calidad de vida14. Al igual que la EMEA, otras administraciones han elaborado algunas recomendaciones, como la FDA de Estados Unidos, la TGA (Therapeutic Goods Administration, de Australia; http://www.tga.gov.au/) y Health Canada (http://www.hc-sc.gc.ca/).
La principal diferencia de las directrices reguladoras con otras referencias metodológicas es el especial énfasis que éstas hacen en los aspectos prácticos de la conducción de los estudios, los principios metodológicos aceptables y los sistemas de control de calidad de la investigación. En estos aspectos puede considerarse que tienen el máximo nivel de exigencia, tratando eso sí, de que sea compatible con un grado razonable de viabilidad en el desarrollo clínico de nuevos medicamentos. No obstante, cabe señalar que estas exigencias pueden no ser de aplicación estricta a algunos tipos de investigación de finalidad exploratoria o sin interés comercial. Aun así, las guías están fácilmente disponibles y son una buena referencia a considerar para la autoría, revisión y edición de estudios clínicos.
El objetivo de este artículo es revisar algunas guías que pueden ser de especial utilidad, incluidas las recomendaciones de ICH y las aportaciones posteriores de las guías metodológicas de la EMEA acerca del diseño, desarrollo, formato y contenido en el contexto de los ensayos clínicos.
Principios generales
Las guías ICH E31 y E93 detallan los aspectos generales de la elaboración del informe final de un ensayo clínico y las generalidades en los aspectos metodológicos, respectivamente. Ambas son referencias de la máxima utilidad; la guía ICH E31 puede servir incluso como lista de comprobación de aquello que es necesario documentar para la correcta evaluación de un estudio. La guía ICH E104 aborda la selección de un grupo de control y otros aspectos del diseño de un ensayo clínico.
En general, las recomendaciones de la ICH E93 se centran más en principios estadísticos que en métodos concretos, y lo hacen casi exclusivamente en los ensayos clínicos comparativos. Aunque se habla más de métodos frecuentistas, se considera igualmente válidos otros métodos como los bayesianos. En ella se describen las características que deben tener los ensayos clínicos confirmatorios aquellos que proporcionan una información firme de eficacia y/o seguridad mediante la evaluación de una hipótesis formulada a priori para evitar sesgos, en relación con la aleatorización, el enmascaramiento y la selección del grupo de control. También se describen las características de otros tipos de ensayos clínicos cuyos objetivos son más abiertos, como los estudios exploratorios. La mayoría de las recomendaciones de las guías y también del presente documento están enfocadas a los típicos ensayos clínicos confirmatorios, aunque pueden aplicarse a otros tipos de estudios.
Tanto la ICH E31 como la E93 establecen una serie de recomendaciones metodológicas que es constante en todas las guías en general, y que pueden resumirse en: a) metodología adecuada al objetivo y especificada en detalle a priori; b) trazabilidad; c) comprobación de la adecuación de los métodos usados; d) justificación de cualquier desviación del plan inicial, y e) análisis de sensibilidad evaluando la robustez de los resultados en distintos escenarios. Estos principios conducen cualquier recomendación en situaciones específicas recogida en los restantes documentos.
Variables
Desde el punto de vista regulatorio, la utilidad de un estudio se determina por su variable principal, sobre la que posteriormente se tomarán decisiones. Por ello se confiere un papel clave a la variable principal, su predefinición y su utilización en el cálculo del tamaño muestral, y sólo un papel de refuerzo o soporte a las variables secundarias y los análisis complementarios. Respecto a la variable principal, resumimos algunos puntos de la ICH E93 que pueden tener utilidad en relación con los manuscritos médicos.
Uno de los temas abordados es el de las condiciones que pueden permitir la utilización de variables intermedias o sub-rogadas (plausibilidad biológica, evidencias epidemiológicas o procedentes de otros ensayos clínicos), así como los riesgos metodológicos que pueden derivarse de su utilización.
Otro tema es el de las variables compuestas por más de una medida. A este respecto, se advierte sobre variables que combinan eficacia y seguridad; éstas tienen sentido cuando sirven de apoyo a otras variables, o cuando se analizan conjuntamente al mismo nivel que la eficacia y seguridad por separado, pero pueden derivarse conclusiones erróneas al basarse en ellas si se miden medicamentos poco eficaces pero muy seguros. De forma similar, desde un punto de vista regulatorio, las variables basadas en medidas de calidad de vida14 tienen un papel secundario y limitado, de soporte a la demostración de eficacia.
También se comenta la práctica de categorizar variables continuas y ordinales, habitualmente en forma de variables binarias, con el fin de facilitar su interpretación clínica (por ejemplo mediante análisis de respondedores). Al respecto, si el análisis de la variable original demuestra un resultado estadísticamente significativo, es aceptable centrar el interés en la magnitud del efecto y evaluar el análisis de respondedores para facilitar la interpretación clínica, pero no es correcto un análisis de respondedores aislado del de la variable original. Se advierte de que esta práctica conlleva una disminución en la potencia estadística y que es necesario prever y especificar a priori el diseño.
Dos procesos descritos en las guías y quizá menos conocidos fuera de los ámbitos regulatorios son la elaboración de un plan de análisis estadístico (statistical analysis plan SAP) y el proceso de revisión enmascarada de los datos (data review). El SAP es un documento complementario al protocolo que detalla a priori el método y el análisis estadístico previstos para todas las variables del estudio; este documento debe cerrarse antes de desvelar los códigos de aleatorización. El data review se realiza antes de la apertura del código para identificar desviaciones del protocolo, asegurar una selección no sesgada de las poblaciones de análisis, explorar la calidad de los datos y comprobar las presunciones metodológicas del diseño. La documentación de ambos es una forma de valorar la calidad y trazabilidad de la metodología aplicada en un estudio.
De cara a la selección de las variables para un estudio concreto, es de utilidad consultar las guías clínicas específicas por enfermedades disponibles en la web de la EMEA (http://www.emea.eu.int/).
Comparabilidad basal y ajustes por covariables
Respecto a las medidas basales, las guías3,9 enfatizan la necesidad de definir a priori en el protocolo cuál es el momento en el que se toman y de qué forma, así como que los datos basales se analicen para describir las características y homogeneidad de los pacientes a los que se realizará la inferencia estadística y para disponer de una medida del estado inicial de la enfermedad como referencia para la eficacia y la seguridad del tratamiento.
Ante la aparición de desigualdades basales, no está justificada la realización de análisis ajustados que no estuviesen previstos a priori. Es importante recalcar que la asignación aleatoria garantiza asintóticamente la ausencia de sesgo para la evaluación del efecto del tratamiento, tanto para los factores conocidos como para los desconocidos y los no medidos. Los análisis no ajustados son técnicamente más fáciles e interpretables, mientras que los ajustados suelen ser más complejos.
Desde el punto de vista regulatorio se prefiere una aleatorización estratificada si se conoce a priori que algunas covariables tienen un impacto relevante en los resultados clínicos, covariables que, como norma general, se incluirán en el análisis. Por otro lado, no se considera aceptable la inclusión de variables después de la aleatorización en el ajuste de un análisis principal, ya que pueden estar influidas por el tratamiento. No se consideran válidas estrategias que predefinan ajustes por una serie de covariables que presenten una valor de significación predeterminado (p. ej., p < 0,05) para un análisis principal confirmatorio. En cualquier caso, se recomienda limitar el uso de covariables, y presentar resultados por los diferentes subgrupos para facilitar la evaluación de la validez de las asunciones de los modelos ajustados. Finalmente, se desaconseja la inclusión de la interacción del tratamiento con covariables en el modelo; en caso de que se sospeche una interacción a priori, se debe proveer al estudio suficiente potencia estadística para estimar el efecto del tratamiento en los subgrupos específicos.
Diseños multicéntricos
La mayoría de los ensayos multicéntricos están estratificados por centro (o investigador) por razones administrativas o porque se cree que el centro (o investigador) puede estar confundiendo con otros factores conocidos o desconocidos. Algunos puntos a considerar en estudios multicéntricos son la estratificación por centros o países, y el análisis estadístico posterior; éstos se reflejan principalmente en la guía E93 y en la de ajuste por covariables9.
Cuando el número de pacientes por centro se espera que sea pequeño, se recomienda mejor estratificar por otras variables como, por ejemplo, país o región, con lo que se concretarán las similitudes en otras variables, como otras medicaciones o cuidados paliativos, que harán la estratificación más adecuada. Se recomienda predefinir una estrategia para agrupar en el caso que se prevean pocos efectivos en algún estrato. Cuando estas variables se han utilizado para estratificar, se las debe incluir en el análisis para ajustar el análisis principal, sea cual sea su valor pronóstico. En estudios con muy pocos efectivos por centro y sin otros estratos previstos, se considera válido predefinir el análisis principal sin ajustar. Finalmente, aunque se recomienda explorar las diferencias entre centros, está consensuado que el modelo principal no debe incluir la interacción centro con tratamiento.
Multiplicidad
Un tema crítico desde el punto de vista regulatorio es el de la multiplicidad, abordado en una guía específica8. En un estudio es frecuente la necesidad de contestar a más de una pregunta de eficacia (o seguridad) de uno o más tratamientos, dado que el éxito del desarrollo de un medicamento puede depender más de respuestas positivas a varias preguntas que a una sola. Desafortunadamente, la posibilidad de hallar un resultado positivo espurio se incrementa con el número de preguntas formuladas, a menos que se establezcan acciones para evitar la aparición de resultados falsos positivos secundarios a la multiplicidad. Los problemas de multiplicidad más habituales proceden de análisis intermedios repetidos, comparaciones múltiples, múltiples variables y análisis de subgrupos.
Existen múltiples métodos documentados para controlar el incremento de este error, pero no todos son igualmente efectivos para proporcionar una interpretación clínica. Puesto que éste se considera un aspecto clave, se recomienda utilizar métodos que permitan el cálculo de intervalos de confianza siempre que sea posible.
Las guías regulatorias son tajantes en cuanto a concluir resultados positivos a partir de significaciones estadísticas o hallazgos clínicamente relevantes en variables secundarias o análisis de subgrupos: carecen de valor para la toma de decisiones en ausencia de un efecto demostrado a partir de la variable principal del estudio, y sólo se les confiere valor en el caso de que su análisis haya sido previsto a priori. Asimismo, se recomienda que se evalúe la interacción de los subgrupos predefinidos con el tratamiento como paso previo a la descripción de los resultados de éstos.
Análisis intermedios y otros diseños flexibles
Los diseños flexibles aprovechan el hecho de que la información de los pacientes incluidos se obtiene de manera gradual. De esta manera, en función de los resultados obtenidos se puede tomar decisiones que afectan a la finalización prematura, seguimiento del estudio o incluso su extensión. Estos diseños son sólo válidos cuando están predefinidos y son sensibles a sesgos derivados del conocimiento de los resultados y a los problemas generales derivados de la multiplicidad de análisis. Por ello, las agencias reguladoras los aceptan dentro de las condiciones generales de predefinición, trazabilidad y corrección metodológica.
Aunque la guía EMEA que trata este tema está actualmente en fase de redacción y discusión interna12, los principios básicos están descritos en la guía E93 y recogen los problemas antes mencionados. En estos y también en otros casos es clave el papel de comités independientes de seguimiento del estudio Data Monitoring Committee (DMC) u otros como Data Monitoring Board o Data Safety Monitoring Committee (Board) como grupo de expertos independientes a la conducción del estudio para la revisión de los datos de eficacia y/o seguridad; existen recomendaciones específicas13 de la EMEA sobre las funciones y procedimientos de estos comités.
Poblaciones del ensayo clínico
Tanto en la ICH E31 como en la E93 se describe la selección de poblaciones de análisis, que incluyen criterios para su definición.
Puede tener sentido intentar analizar a todos los pacientes aleatorizados independientemente de su adhesión al protocolo, si deseamos averiguar el resultado de nuestra decisión inicial de tratar con una u otra estrategia con la intención de reproducir las condiciones de la práctica clínica habitual. Por el contrario, puede tener sentido restringir la población analizada a pacientes con características y seguimiento más homogéneos de acuerdo a las condiciones especificadas en el protocolo para maximizar la capacidad de discriminar entre tratamientos. Es necesario el análisis de todos los pacientes que han recibido al menos una dosis del tratamiento en estudio para una correcta evaluación de seguridad. La definición de estas tres poblaciones, población de intención de tratar o intention to treat (ITT), población por protocolo o per protocol (PP) y población de seguridad, es clave desde el punto de vista regulatorio, especialmente teniendo en cuenta el objetivo principal del estudio, sus conclusiones y sus potenciales repercusiones sanitarias.
Por ejemplo, en estudios de no inferioridad, cuyo objetivo es demostrar similitud, la aproximación ITT dificulta demostrar diferencias y es inadecuada. En estudios de búsqueda de dosis, la aproximación PP facilita la discriminación entre tratamientos y es aceptable, siempre que posteriormente se siga de estudios de tipo confirmatorio en poblaciones más amplias y con aproximación por ITT. En los estudios confirmatorios con objetivo de superioridad y que sustentan la demostración de la eficacia de un producto, la aproximación por ITT es la más conservadora y garantiza unas conclusiones más sólidas.
Por lo tanto todo manuscrito debe describir con detalle el número de pacientes identificados, incluidos, aleatorizados y analizados para seguridad y para eficacia, así como los criterios aplicados en la definición de cada población de análisis, y cabe preguntarse cuál es la hipótesis de trabajo para valorar la idoneidad de la aproximación elegida por los autores. La obtención de conclusiones idénticas para todas las aproximaciones es un criterio de robustez y fiabilidad del estudio.
Pérdidas y valores faltantes
La forma de gestionar los datos clínicos incompletos es motivo de uno de los documentos guía7 de la EMEA. Ya que entre los datos faltantes pueden estar la propia evolución de la enfermedad, la (in)eficacia y/o la (in)tolerancia al tratamiento, el rechazo del paciente a continuar en el estudio u otras situaciones que pueden estar relacionadas con el objeto de la investigación, hay que considerar si pueden introducir sesgos en las conclusiones del estudio.
Algunos métodos estadísticos son menos sensibles a las pérdidas u obtienen información de ellas, y se puede aplicarlos en determinadas situaciones. En otras situaciones pueden estimarse los valores que faltan mediante imputación. Pero evitar o minimizar la información faltante es siempre la opción preferible. Así, la primera recomendación de las guías7 es establecer medidas en el protocolo para que las pérdidas de información sean mínimas. La forma en que éstas se gestionarán debe quedar predefinida y debe describirse junto a los resultados, indicando el momento en que se decidió una u otra estrategia en relación con la apertura del código. Asimismo, en la descripción de resultados debe incluirse claramente el número, el momento y la distribución de las pérdidas de información.
En todos los casos, desde el punto de vista regulatorio, se recomienda aplicar la opción más conservadora, aquella que penaliza al máximo la confirmación de la hipótesis principal del estudio. Los ejercicios de sensibilidad que muestran conclusiones similares para el análisis de los datos crudos y de los datos con imputaciones proporcionan consistencia y credibilidad a los resultados. En cualquier caso, en todo trabajo a publicar debe mencionarse el grado de compleción de los datos obtenidos, y cómo se han tratado estadísticamente los datos faltantes y los potenciales sesgos asociados.
Diseños de superioridad, no inferioridad y equivalencia
Generalmente, la finalidad de los estudios con objetivo de no inferioridad es proporcionar una conclusión de eficacia basada en la similitud a un estándar de referencia. Esto se considera aceptable desde el punto de vista regulatorio en determinadas situaciones. Pero, en cualquier caso, se requiere una corrección metodológica de estos estudios muy estricta, ya que la evidencia de eficacia es indirecta y la toma de decisiones no es tan evidente como en los estudios de superioridad. En la guía ICH E93 se abordan los aspectos metodológicos de estos estudios.
Los estudios con objetivo de no inferioridad requieren establecer unos límites de eficacia que precisan de la definición de una diferencia clínicamente irrelevante (margen de no inferioridad o delta). Los criterios para una selección válida de esta delta y la capacidad de los estudios para discriminar respecto al efecto de un placebo se discuten en una guía específica10. En otras guías se abordan otros aspectos críticos del diseño de estos estudios. La guía ICH E104 describe criterios para seleccionar un estándar de referencia con suficientes pruebas de eficacia frente a placebo bien conocida y medible, para seleccionar variables y pacientes similares a los de los estudios de referencia, y la inclusión de un grupo de control interno con placebo para validar el experimento si es éticamente aceptable.
Otra guía5 aborda la aceptabilidad del cambio de un objetivo de no inferioridad a uno de superioridad en estudios ya terminados, generalmente aceptable. También la previsión de la situación inversa para estudios con objetivo de superioridad, mediante la predefinición en el protocolo de un valor de delta de forma prospectiva; en ausencia de una definición prospectiva el cambio es generalmente inaceptable. La guía también discute otros problemas que dificultan este cambio de objetivo.
Conclusiones
Existe una serie de documentos generados por las propias autoridades que resumen la traducción práctica de estos principios en forma de recomendaciones y requisitos para que una investigación concreta sea apta como referencia en la toma de decisiones reguladoras. Estos documentos de guía son públicos, están elaborados de forma consensuada por expertos sin intereses comerciales y, aunque no son vinculantes ni tienen carácter legal, son referencias reconocidas por todas las autoridades sanitarias.
Estas directrices abordan tanto aspectos metodológicos como de seguridad o eficacia, en términos generales o referidos a poblaciones especiales o enfermedades concretas. Todas estas guías incorporan, de uno u otro modo, unas recomendaciones básicas que pueden resumirse en: a) metodología adecuada al objetivo y especificada en detalle a priori, b) trazabilidad, c) comprobación de la adecuación de los métodos usados, d) justificación de cualquier desviación al plan inicial y e) análisis de sensibilidad que evalúe la robustez de los resultados en distintos escenarios.
Cabe señalar que estas recomendaciones pueden no ser de aplicación estricta a algunos tipos de investigación de finalidad no comparativa o no confirmatoria. Aun así, las guías están fácilmente disponibles y son una buena referencia a considerar para el diseño y la realización de ensayos, así como para la redacción, revisión y edición de manuscritos médicos.
