Constant effect in randomized clinical trials with quantitative outcome : a methodological review

Abstract

The past decade has seen continuous growth in so-called precision medicine, due especially to great advances in the genetics. While applying it presently goes unquestioned in certain fields like oncology, it is more controversia! in other medical specialties that usually practice it. Precision medicine is justified under two assumptions. First, it must be more cost-effective than the universal standard of care, as a world with limited resources requires that an individual treatment's benefits be inversely related to the number of people on whom it is effective. Second, and most importantly, the intervention under study should actually show different responses among patients or subgroups of them, which this work focuses on. Strictly speaking, the fundamental problem of causal inference makes the latter requirement impossible to prove, because a conventional trial observes patient outcome only under a single treatment. However, the variability of a continuous outcome provides important information about the presence (or absence) of a constant treatment effect, of which a direct consequence is that outcome variance remains unchanged under different treatment regimens. Thus, homoscedasticity may be a useful tool for testing the hypothesis of a homogeneous effect. Our work here conducts a methodological review of randomized clinical triaIs (RCT) with two ·treatment arms and a quantitative primary end point. Among other variables, we collected the outcome and baseline variances for each treatment group with two purposes: to quantify the outcome variance ratio between the experimental and reference groups; and to estimate the proportion of studies with variance discrepancies large enough to be attributed to a heterogeneous treatment effect among participants. This variance comparison was carried out between treatment arms (independent by randomization) and overtime, contrasting the end-of-study and baseline outcomes. The Medline database provided us 208 randomized clinical trials fulfilling the eligibility criteria and published in the years 2004, 2007, 2010 and 2013. A random effects model was used to estimate the variance ratios (experimental to reference), of which the mean was 0.89, 95% CI from 0,81 to 0,97. Thus, contrary to popular belief, the point estimate indicate that the experimental treatments reduce the variability of patient response by 11%. The experimental group's variance ratio (final to baseline) in the comparison over time was 0,86, 95% CI from 0,76 to 0,98, meaning lower variability at the end of the study. This analysis provides no statistical evidence to justify ruling out a constant intervention effect on our target population in four out of five studies (80,3%, 95% CI from 74,1 to 85,3%). This percentage barely changed in four sensitivity analyses with percentage point estimates ranging from 79,8 to 90,0%. Among the studies that we found evidence of a non-constant intervention effect, the experimental group showed 7,2% and 12,5%, respectively, greater and lower outcome variance than the reference arm. The high number of studies with lower variability in the experimental group can be explained by the ceiling and floor effects of sorne measurement scales, which generally group patients at one of the scale boundaries in cases of highly effective interventions. This work aims to show that comparing variances provides evidence on whether ar not precision medicine is a sensible choice for a specific treatment. When both arms have equal variances, a simple interpretation is that the treatment effect is constant. lf true, searching for any predictors of a differential response is futile. This means that the average treatment effect can be viewed as an individual treatment effect, which justifies using a single clinical guideline for all patients fulfilling the eligibility criteria. This in turn supports using parallel controlled trials to guide decision-making in these circumstances.

La medicina de precisión ha experimentado un auge continuo en la última década debido sobre todo a grandes avances en la genética. Aunque su uso es actualmente incuestionable en campos como la oncología, es más controvertido en otras especialidades médicas. La medicina de precisión queda justificada bajo dos supuestos. Por una parte, debe ser más rentable que el tratamiento estándar en el sentido que los beneficios individuales de un tratamiento deben relacionarse inversamente con el número de personas en las que es realmente eficaz. En segundo lugar, y más importante, la intervención debe actuar realmente de forma diferencial entre los pacientes. Formalmente, el problema fundamental de la inferencia causal establece que este último requisito es indemostrable debido a que los ensayos convencionales muestran la respuesta de cada paciente bajo un único tratamiento. Sin embargo, la variabilidad de una respuesta continua proporciona información valiosa sobre la presencia de un efecto constante, siendo una consecuencia directa que la variabilidad permanece inalterable bajo diferentes intervenciones. Por tanto, el estudio de la homoscedasticidad de la respuesta puede ser una herramienta útil para probar la hipótesis de homogeneidad del efecto. Se realizó una revisión metodológica de ensayos clínicos aleatorizados paralelos con una variable respuesta principal cuantitativa. Se recogió información referente a las varianzas de dicha variable respuesta al final y al inicio del estudio para cada grupo de tratamiento con dos propósitos: estimar la razón de varianzas y estimar la proporción de estudios con discrepancias en la varianza lo suficientemente grandes como para ser atribuidas a un efecto heterogéneo. Se compararon las varianzas entre brazos de tratamiento (independiente por la asignación aleatoria) y a lo largo del tiempo, comparando las varianzas de las respuestas al final y al inicio del estudio. Se obtuvieron 208 ensayos clínicos publicados en los años 2004, 2007, 2010 y 2013 de la base de datos Medline que cumplían los criterios de elegibilidad. El análisis principal se basó en un modelo de efectos aleatorios que estimó la media de las razones de varianzas (experimental vs. control) en 0,89, IC95% de 0,81 a 0,97. Contrariamente a la creencia popular, los tratamientos experimentales redujeron en media la variabilidad de la respuesta del paciente en un 11%. La razón de varianzas dentro del grupo experimental a lo largo del tiempo (final vs. basal) fue de 0,86, IC del 95% de 0,76 a 0,98, implicando una variabilidad menor al final del estudio. Nuestro análisis principal no proporcionó evidencia estadística para descartar un efecto constante del tratamiento en nuestra población objetivo en cuatro de cada cinco estudios (80,3%, IC95% de 74,1 a 85,3%). Este porcentaje apenas cambió en cuatro análisis de sensibilidad que arrojaron estimaciones puntuales entre 79,8 y 90,0%. Entre los estudios en los que se halló evidencia de un efecto no constante, un 7,2% y un 12,5% presentaron una mayor y menor variabilidad en el grupo experimental, respectivamente. Este resultado podría explicarse por los efectos techo y suelo característicos de algunas escalas, que tienden a agrupar a los pacientes en alguno de sus extremos cuando las intervenciones son altamente eficaces. El objetivo de este trabajo es mostrar que la comparación de varianzas proporciona evidencia sobre si la medicina de precisión es una opción razonable para un tratamiento específico ya que una interpretación simple de la presencia de homoscedasticidad es que el efecto del tratamiento es constante. En caso de ser constante. la búsqueda futura de predictores de una respuesta diferencial es inútil y el efecto promedio del tratamiento puede asimilarse como un efecto individual. Esto justificaría el uso de una única guía clínica para todos los pacientes que cumplan los criterios de elegibilidad y respalda el uso de ensayos paralelos para guiar la toma de decisiones.