Los Índices de Episodios suelen estar Sobrevalorados en los Ensayos Cardiovasculares

Los índices de episodios de ensayos controlados aleatorizados (ECA) que evalúan intervenciones cardiovasculares y dispositivos suelen estar sobrevalorados, según un estudio publicado en Internet el pasado 28 de mayo de 2015, previo a su edición impresa en el American Journal of Cardiology.

“Este fenómeno que hace que no se facilite información veraz influye de manera importante sobre el diseño de los ECA pudiendo, además, influir, negativamente, en el potencial estadístico de estos ensayos para responder a preguntas importantes sobre estrategias terapéuticas,” según el Dr. David R. Holmes Jr, de la Clínica Mayo (Rochester, MN) y sus colegas.

Los investigadores preespecificaron 10 puntos que suelen investigarse en el campo de las intervenciones cardiovasculares y los dispositivos e identificaron los últimos 5 ECA revisados por colegas médicos para cada uno de estos puntos publicados con fecha 14 de abril de 2014. Tras excluir estudios con diseños distintos del modelo tratamiento frente a controles, poblaciones de menos de 30 pacientes, manuscritos no escritos en inglés o sin cálculos del tamaño de la muestra ni un listado de los índices de episodios estimados, analizaron los índices de episodios en 27 ECA aleatorizando, para ello, a 19.436 pacientes entre 2000 y 2012.

Diecisiete ensayos fueron diseñados para confirmar superioridad y 10 con un diseño de no inferioridad. La duración media del ensayo fue de 2.2 años y el índice medio de abandono del 2.4%. Todos, a excepción de 5 ensayos, estuvieron, al menos en parte, financiados por la industria.

El Patrón está ‘Claro’

El Dr. Holmes y sus colegas hallaron “evidencias claras de la sobrevaloración de los índices de episodios,” aseguran.

Por ejemplo, el índice de episodios primarios en el grupo de control fue menor que el predicho en 20 ensayo (74.1%), arrojando una diferencia relativa media de -22.9% (IC del 95% del -33.5% al -12.2%) entre los índices de episodios observados y los estimados. Las disparidades fueron mayores en los ensayos con SLF de polímero biodegradable y stents implantados en la arteria renal, siendo esta diferencia superior al 10% para 16 ECA (tabla 1).

Tabla 1. Índice de Episodios Predichos frente a Actuales según Asunto estudiado en el ECA

Abreviaturas: FOP: foramen oval permeable; IAM: infarto agudo de miocardio; TAVR: sustitución de la válvula aórtica mediante técnicas transcatéter; SLF: stent liberador de fármaco.

En un análisis exploratorio, los investigadores identificaron ciertas tendencias hacia una mayor sobrevaloración de los índices de episodios en estudios más largos (P = .12) así como en estudios con índices más altos de abandonos (P = .15). Además, las predicciones basadas en un ECA anterior parece que fueron las más precisas (P = .07).

Ningún diseño de estudio (superioridad frente a no inferioridad) ni momento en el tiempo (año de inicio de la inscripción) influyó en la sobrevaloración de los episodios. Tampoco se observó diferencia alguna entre los ECA financiados por la industria o los ECA con financiación pública (P = .662).

Tres ensayos: PREVAIL, PROTECT AF y RESPECT, estuvieron condicionados por los episodios más que por el diseño condicionado por el tamaño de la muestra convencional. De ahí que cuando estos ensayos fueron retirados del análisis, las variaciones en el tamaño de la muestra fueron menos acusadas entre los otros 24 ensayos (diferencia relativa media de -7.9%; IC del 95% de -17.9% al 2.2%), siendo el tamaño actual de la muestra menor que el planeado en 7 de ellos.

Nueve ensayos (33.3%) arrojaron un resultado positivo (superioridad o no inferioridad), 2 ensayos de no inferioridad (7.4%) demostraron inferioridad y 15 endayos de superioridad (55.6%) fueron irrelevantes.

De 14 ensayos de superioridad que fueron irrelevantes para un único punto final primario, 8 arrojaron resultados no concluyentes. Según una escala de riesgo relativo, solo 3 de estos ensayos (21.4%) arrojaron conclusiones verdaderamente negativas basadas en la diferencia de riesgo relativo mínimo preespecificada.

¿Cómo Ocurre la Sobrevaloración?

“Al utilizar un abordaje basado en puntos a estudio, el presente estudio revela cómo una sobrevaloración sistemática de los índices de episodios podría influir en el cuerpo de evidencias aleatorizadas tanto en el campo de las intervenciones cardiovasculares como de los dispositivos,” tal y como aseguran el Dr. Holmes y sus colegas.

La tendencia observada hacia menos episodios con estudios más largos “podría explicarse por los avances hechos, a nivel general, en atención médica, tales como mejoras concurrentes en el manejo de la hipertensión y la llegada de las estatinas en los, por lo general, largos ECA que realizan comparativas entre la implantación de stents en la arteria renal y el tratamiento médico,” sugieren. “Los índices de episodios también solían ser más bajos cuando los índices de abandono eran más altos. Las evidencias que tenemos en este campo son limitadas si bien algunos estudios asocian los abandonos de los pacientes y la no adherencia a la medicación con una mayor mortalidad, mermando, potencialmente, un ECA de los resultados.”

Como la estimación de los índices de episodios solía ser más precisa cuando un estudio se basaba en un ECA anterior, esto podría ser algo “razonable” de hacer cuando nos dispongamos a diseñar estudios en el futuro, advierten los autores, si bien “la literatura médica está dividida en lo que respecta a la precisión de la estimación de los resultados tanto en ECA como en estudios no aleatorizados.”

Refiriéndose al efecto Hawthorne, aseguran que los pacientes podrían cambiar sus hábitos por el mero hecho de saber que están siendo objeto de un estudio. “Se sostiene que el efecto Hawthorne fue responsable de una bajada de 12 mm Hg en la presión sistólica de un grupo sometido a una intervención simulada en un reciente ensayo que investigó la denervación renal para el tratamiento de la hipertensión resistente,” según los investigadores. “Algunos de estos pacientes con hipertensión resistente podrían, sencillamente, no haberse adherido a la medicación pero sí mejorado sus hábitos de vida durante la realización del ensayo.”

La Transparencia es Fundamental

La sobrevaloración “puede tener un efecto perjudicial en el potencial estadístico de un ECA,” aseguran el Dr. Holmes y sus colegas. “Los investigadores pueden aprovecharse de la ley del cuadrado inverso a la hora de diseñar un ensayo teniendo en cuenta restricciones presupuestarias. La sobrevaloración de los índices de episodios del grupo de control reduce, drásticamente, el tamaño requerido de la muestra y es más probable que se aceptado por una junta institucional de valoración que ajustes hechos al comienzo de un ensayo o en el potencial estadístico de éste. En cualquier caso, nuestro estudio ilustra que esto reduce, de forma severa, las probabilidades de realizar un ensayo que arroje resultados concluyentes.”

Aunque parece que los ensayos de superioridad y no inferioridad “sobrevaloraron los índices de episodios por igual, estos últimos preocupan especialmente,” observan, advirtiendo que los ensayos de no inferioridad que emplean un margen absoluto pueden sesgarse hacia un resultado positivo cuando los índices de episodios son más bajos de lo esperado. Tanto los ensayos adaptativos como los condicionados por episodios preocupan, también, ante la posibilidad de “duraciones prolongadas de los ensayos e inversiones adicionales de recursos,” aseguran.

Yendo más allá, “se debería de animar a los investigadores a utilizar estimaciones más conservadoras del índice de episodios, aunque esto requiera un mayor tamaño de la muestra o resultados en un ensayo con menor potencial estadístico,” sugieren los autores. Otra opción, aseguran, sería recalcular, de forma ciega, el tamaño de la muestra durante el transcurso de un ensayo.

La justificación ética de los ensayos no dotados de las herramientas estadísticas necesarias es un tema abierto a debate, aseguran.

“Aunque algunos se han posicionado frontalmente en contra, otros advierten que los ensayos no dotados de las herramientas estadísticas necesarias pero sí bien dirigidos son capaces de dar un cálculo puntual no sesgado de los efectos del tratamiento y que los resultados de estos ensayos no dotados de las herramientas necesarias podrían ser, luego, recopilados en meta análisis bien armados,” concluyen los autores, que subrayan que es fundamental ser transparentes a este respecto. “En la actualidad, es muy difícil para el lector esporádico/casual identificar qué ensayos no están dotados de las herramientas necesarias, con independencia de que se acepte o no dicha práctica.”

Mahmoud KD, Lennon RJ, Holmes DR Jr. Event rates in randomized clinical trials evaluating cardiovascular interventions and devices. Am J Cardiol. 2015;Epub ahead of print.

Declaraciones:

• El Dr. Holmes dijo ser el investigador principal de los ensayos PROTECT AF y PREVAIL y colaborador de los ensayos PARTNER.

Artículos Relacionados:

• Paper Highlights Pitfalls in Interpreting Randomized Clinical Trials
• ‘Absence of Evidence Is Not the Evidence of Absence’ - How Do We Translate Clinical Research Into Clinical Practice?