En un estudio reciente1 se obtienen evidencias psicométricas del Florida Patient Acceptance Survey, FPAS2, una medida útil para la investigación científica y la práctica clínica. No obstante, existen imprecisiones en sus conclusiones de la confiabilidad, que pueden conducir a un insostenible optimismo sobre su uso. La presente carta señala estos puntos y presenta respaldo analítico para fundamentarlos mediante varios métodos estadísticos, que incluyen una prueba de contraste para dos coeficientes alfa independientes, magnitud de la diferencia entre ambos coeficientes e intervalos de confianza.
Los autores obtienen una confiabilidad del puntaje total igual a 0.724 (n=126), y declaran cualitativamente que este alcanza un nivel aceptable de acuerdo con el criterio de George y Mallery; también afirman que este resultado es similar al estudio original (alfa=0.83). Sin embargo, con la aplicación del método de Feldt3 para contrastar estadísticamente ambas estimaciones se halló que existe una diferencia estadísticamente significativa (χ2=8.743, gl=1, p 0.003). Este resultado contrasta seriamente con la afirmación de similaridad que los autores hacen. Para detallar más esta discrepancia se puede calcular el tamaño de esta diferencia. En la métrica de diferencias estandarizadas4, entre ambas hay una distancia de 0.331 (método Lui-Weng5), lo que puede sugerir una diferencia pequeña4; pero dado que el nivel de confiabilidad es apenas aceptable y el impacto en la precisión del puntaje es clínicamente importante, la diferencia entre ambas puede nominarse como grande, y el coeficiente alfa del estudio de Castillo es inferior, no similar, al estudio original.
En segundo lugar, los autores concluyen que la confiabilidad es aceptable, pero la variabilidad muestral del coeficiente calculado no asegura que esta conclusión sea correcta. Para corroborarlo se deben estimar intervalos de confianza para el coeficiente alfa obtenido6. Por medio del método de Bonnet7 y con un nivel de confianza del 95%, la magnitud poblacional del coeficiente va de 0.643 a 0.786. Esta amplia banda de variabilidad está influenciada por el tamaño muestral y el nivel de confianza elegido6, y en el presente análisis incluye al nivel cuestionable y aceptable (George y Mallery); en otras palabras, el parámetro de la confiabilidad puede ser cuestionable o aceptable desde el punto de vista poblacional.
Una complicación de usar criterios “plug-and-play” (listos para usar) como el de Gregory y Mallery, es que fueron creados como una heurística sugestiva, estructurados con el juicio de los autores y no con referencias metaanalíticas empíricas. Por lo tanto, no puede considerarse aplicable a toda situación de medición, a menos que sea explícita una justificación fuertemente razonable.
Esta carta no desmerece el esfuerzo de los autores ni presenta argumentos para invalidar los análisis realizados, sino enfatiza que las conclusiones sobre la confiabilidad de los puntajes del FPAS deben lograr un mejor respaldo, específicamente de tipo empírico. De este modo, los usuarios finales pueden tomar decisiones informadas y alineadas en las prácticas basadas en la evidencia. Respecto a la adaptación del FPAS concluimos que la confiabilidad de su puntaje total es moderadamente menor que la el estudio original, y puede ser de nivel cuestionable en la población de referencia. Futuros estudios deben orientarse al incremento del tamaño muestral, así como a elegir criterios cualitativos de confiabilidad con base empírica o sintetizados de la literatura psicométrica.
FinanciaciónNinguna.
Conflicto de interesesNinguno.