Inter-rater Agreement in the Choice of Prophylactic Treatment for Vestibular Migraine and Role of an Assisted Algorithm for This Choice

Abstract

Background and objective

Vestibular migraine (VM) is a cause of episodic vestibular syndrome. There are many drugs available for its prophylaxis and currently the choice is mainly made according to the patient’s comorbidities. The aim of this article was to measure the agreement of a group of otorhinolaryngologists in the choice of a prophylactic treatment and to evaluate the role of an assisted algorithm in the choice of this prophylaxis.

Materials and methods

The medical records of 10 patients with VM were offered to 10 otolaryngologists who were asked to select for each patient the drug they considered most appropriate among five possible options. The Fleiss’ κ index was calculated among the 10 otolaryngologists alone, recalculating it including the algorithm as the eleventh evaluator, and Cohen’s κ index was calculated between each otolaryngologist and the answers of the algorithm. The otolaryngologists were offered the option to change their responses after knowing the responses of the algorithm and then both indexes were calculated again.

Results

The Fleiss’ κ index was .302. This index was raised to .343 after introducing the algorithm as an evaluator. After offering the responses proposed by the algorithm, Cohen’s κ was improved in 9 of the 10 evaluators, and Fleiss’ κ rose to .711.

Conclusions

The agreement between otorhinolaryngologists in choosing prophylaxis for MV can be defined as “fair”. The responses of the algorithm for the choice of prophylaxis were close to the average opinion of the otolaryngologists, raising the agreement between them to “substantial”.

Resumen

Antecedentes y objetivo

La migraña vestibular (MV) es una causa de síndrome vestibular episódico. Existen muchos fármacos disponibles para su profilaxis y actualmente la elección del mismo se realiza mayoritariamente según las comorbilidades del paciente. El objetivo de este artículo es medir la concordancia de un grupo de otorrinolaringólogos en la elección de profilaxis y evaluar el papel que ejerce sobre esta un algoritmo asistido para la elección de profilaxis.

Materiales y métodos

Las historias clínicas de 10 pacientes con MV fueron ofrecidas a 10 otorrinolaringólogos, a los que se les pidió que seleccionasen para cada paciente el fármaco que considerasen más adecuado entre cinco opciones posibles. Se calcularon los índices κ de Fleiss entre los 10 otorrinolaringólogos solos, recalculándolo incluyendo al algoritmo como decimoprimer evaluador, y κ de Cohen entre cada otorrinolaringólogo y el algoritmo. Se ofreció a los otorrinolaringólogos la opción de cambiar su respuesta tras conocer la respuesta del algoritmo y ambos índices fueron calculados nuevamente.

Resultados

El índice κ de Fleiss fue de 0,302. Dicho índice se elevó a 0,343 tras introducir al algoritmo como evaluador. Tras ofrecer las soluciones propuestas por el algoritmo, se mejoró la κ de Cohen en 9 de los 10 evaluadores y a κ de Fleiss subió a 0,711.

Conclusiones

La concordancia entre otorrinolaringólogos para elegir profilaxis para la MV se define como “justa”. Las respuestas del algoritmo para la elección de profilaxis se situaron próximas a la opinión media de los otorrinolaringólogos, elevando la concordancia entre los mismos a “sustancial”.