El acuerdo entre-examinadores es un aspecto fundamental en la planificación de cualquier trabajo de investigación donde la principal herramienta diagnóstica es la entrevista clínica. El objetivo de este estudio es valorar el acuerdo entre-examinadores de un instrumento de evaluación de la conducta suicida (Protocolo breve de evaluación del suicidio) utilizando las valoraciones de múltiples observadores en una sola sesión.
MétodoDurante la fase piloto de un estudio clínico multicéntrico centrado en la monitorización de intentos de suicidio, 32 examinadores evaluaron el vídeo de la entrevista clínica a un paciente simulado con conducta suicida. Para identificar los ítems en los que existía una mayor discordancia y a los examinadores cuyo criterio se alejaba más del acuerdo general, se utilizó el método Detection Of Multiple Examiners Not In Consensus (DOMENIC).
ResultadoEl acuerdo interexaminadores osciló entre pobre (<70%) y excelente (90-100%). En la escala de acontecimientos vitales estresantes el nivel de acuerdo osciló entre 48,4 y 97%; en la escala problemas psicosociales del DSM-IV, entre 75,5 y 100%; en la escala de evaluación de la actividad global fue de 82,58%; en la escala de intencionalidad suicida, osciló entre 67,5 y 97%; en la escala de ideación suicida, entre 63,5 y 100% y en la escala de letalidad del intento de suicidio fue de 88,39%. En general, los examinadores mostraron un nivel de acuerdo adecuado tanto en las puntuaciones globales de cada escala como en cada ítem en particular.
ConclusionesEl diseño propuesto permite evaluar el acuerdo entre-examinadores de una forma eficiente (en una única sesión). Además, con respecto al Protocolo breve de evaluación del suicidio, el acuerdo entre-examinadores fue apropiado.
Inter-rater agreement is a crucial aspect in the planning and performance of a clinical trial in which the main assessment tool is the clinical interview. The main objectives of this study are to study the inter-rater agreement of a tool for the assessment of suicidal behavior (Brief Suicide Questionnaire) and to examine whether the inter-examiner agreement when multiple ratings are made on a single subject is an efficient method to assess the reliability of an instrument.
MethodIn the context of designing a multicenter clinical trial, 32 psychiatrists assessed a videotaped clinical interview of a patient with suicidal behavior. In order to identify those items in which a greater level of discordance existed and detect the examiners whose ratings differed significantly from the average ratings, we used the DOMENIC method (Detecion of Multiple Examiners Not in Consensus).
ResultsInter-rater agreement was between poor (<70%) to excelent (90-100%. Inter-rater agreement in Brugha's list of threatening experiences ranged from 75.5 and 100%; in the Global Assessment of Functioning (GAF) Scale was 82.58%; in the Beck's Suicidal Intent Scale, ranged from 67.5 and 97%; in the Beck's Scale for Suicide Ideation, ranged from 63.5 and 100%; and in the Lethality Rating Scale was 88.39%. On the whole, the level of agreement among raters, both in general scores and in particular items, was appropriate.
ConclusionThe proposed design allows the assessment of the inter-rater agreement in an efficient way (only in one session). In addition, regarding the Brief Suicide Questionnaire, inter-raters agreement was appropriate.
La conducta suicida es causa principal de consumo de recursos sanitarios y mortalidad a nivel mundial, especialmente en jóvenes1, y una prioridad de salud pública para la Unión Europea. La conducta suicida (ideación, intentos, suicidio consumado) es heterogénea por la compleja interacción de factores genéticos, biológicos, psicológicos y ambientales2,28. La investigación en conducta suicida está limitada por las dificultades en valorar estos aspectos, por ello en muchas ocasiones se estudia subordinada a diagnósticos del eje I (trastornos afectivos y por abuso de sustancia) o eje II (trastorno limite de personalidad límite) sin unos instrumentos específicos de valoración, cuando su impacto clínico y sanitario merece que se trate como una entidad nosológica independiente3.
En la actualidad, el gold standard para la valoración de la conducta suicida es la evaluación clínica4. Sin embargo, el uso de protocolos y escalas ha demostrado ser muy útil para mejorar la forma en que se documenta la información y aumentar la exhaustividad de la evaluación clínica5. Además, el hecho de emplear protocolos y escalas clínicas puede tener valor legal y servir para sustentar la decisión clínica6,7. No obstante, algunos estudios recientes han puesto de manifiesto que en nuestro medio la documentación que acompaña a la valoración de la conducta suicida es deficiente8,9. El grupo español para la investigación en conducta suicida (GEICS), consciente de esta situación, ha diseñado un Protocolo breve de evaluación del suicidio que incluye las escalas más utilizadas para valorar todo el espectro de la conducta suicida, desde la ideación hasta el intento de suicidio9, y examina los factores de riesgo y protectores más importantes (Apéndice).
Para construir el Protocolo breve de evaluación del suicidio se utilizaron las escalas, preferentemente autoaplicadas, más utilizadas en la literatura de los últimos 40 años en suicidiología, y preguntas que englobasen los factores sociodemográficos con una mayor capacidad descriptiva y predictiva7.
Uno de los requisitos esenciales de los instrumentos de valoración es su reproducibilidad10. Esta noción se superpone con la noción de acuerdo (agreement), que se usa indistintamente para hablar de medidas de consistencia (fiabilidad, reproducibilidad, repetibilidad), que se refieren al acuerdo entre varias medias en las que ninguna es la «correcta», y a medidas de conformidad (validez, exactitud), que se refieren al acuerdo entre una medida y otra que actúa de referencia11. El diseño prototípico para poner a prueba la fiabilidad inter-examinador (interexaminer reliability) utiliza un pequeño número de examinadores independientes (generalmente 2) que valoran una muestra grande de sujetos (más de 30). La fiabilidad se mide utilizando los coeficientes Kappa, el weighted Kappa (Kappa ponderado) o el coeficiente de correlación intraclase, en función de que el tipo de instrumento que se vaya a evaluar sea una escala cualitativa nominal, cualitativa ordinal o cuantitativa 12–16. El uso de estos índices necesita una muestra mayor de un único sujeto para realizar apropiadamente el estudio de fiabilidad, ya que no es posible calcular el acuerdo por azar (chance agreement) con muestras de un único paciente. Su poder estadístico depende tanto del número de examinadores como de sujetos, lo que supone una limitación de recursos muy importante17.
Para estimar el acuerdo entre-examinadores del instrumento de valoración de la conducta suicida que se presenta, se empleó la estrategia de un solo caso valorado por múltiples investigadores. Para ello, utilizamos el método propuesto por Cicchetti et al17, que permite generar índices, interpretables clínica y estadísticamente, que permitan evaluar el acuerdo global de los examinadores en cada uno de los ítems de las escalas. Por otra parte, permite identificar a los examinadores que diverjan del acuerdo global (entendido como la puntuación media, ya que no se asume un patrón de referencia previo).
MétodoExaminadoresEn este estudio participaron 32 investigadores –psiquiatras y psicólogos clínicos con al menos 2 años de formación- que evaluaron una entrevista clínica grabada en vídeo de un caso prototípico, reproducida en una misma sesión. Previa a la entrevista se les explicó brevemente en qué consistía el instrumento y cada una de las escalas que se incluían. Este soporte audiovisual se ha usado en la valoración de la fiabilidad de instrumentos de evaluación en psiquiatría18 y, aunque por lo general presenta un menor acuerdo que las historias clínicas, es más cercano a la realidad y resulta más económico que utilizar múltiples entrevistas repetidas individualmente19.
La entrevista fue realizada por dos de los participantes en el estudio (LG y JAG). Con este sistema se trataron de minimizar las factores relacionados con la entrevista y con el paciente que afectan a cualquier estudio de fiabilidad, ya que al tratarse de una muestra de un solo paciente, esta fuente de variabilidad desaparece20. Por otra parte, identificar los factores relacionados con los investigadores era uno de los objetivos del estudio.
Instrumentos de medidaLos distintos grupos investigadores diseñamos un protocolo de evaluación que examinase las siguientes variables relacionadas con la conducta suicida: desencadenantes (acontecimientos vitales estresantes, problemas psicosociales), funcionalidad (nivel de actividad previo), circunstancias objetivas relacionadas con el intento de suicidio, características de la ideación suicida y letalidad del intento de suicidio. Además de examinar datos sociodemográficos y clínicos, nuestro protocolo de evaluación (Apéndice) incluía los siguientes instrumentos, todos ellos traducidos al castellano6:
Acontecimientos vitales estresantes (List of Threatening Experiences, LTE) 21Se trata de un inventario que examina los acontecimientos vitales experimentados por el paciente en los últimos 6 meses. Consta de 12 ítems dicotómicos, que solo admiten dos respuestas (presente/ausente)
DSM-IV-TR. Problemas psicosociales22Mediante este instrumento se recogió la información relativa a los problemas psicosociales y ambientales que habían estado presentes durante los 6 meses anteriores, tal y como están descritos en el DSM-IV (APA, 2000).
Escala de evaluación de la actividad global (EEAG)La EEAG o Global Assessment Scale (GAS) es un instrumento heteropaplicado propuesto por el DSM-III-R (APA, 1987) 23, que valora el nivel general de actividad del sujeto en la esfera psicosocial, social y laboral. La puntuación de esta escala oscila entre 0 y 100, en tramos de 10 puntos. La escala se puntúa de acuerdo a la actividad global previa al intento de suicidio.
Escala de intencionalidad suicida de Beck (Suicide Intent Scale, SIS) 24Escala heteroaplicada para evaluar las características de la tentativa suicida (TS) que consta de dos subescalas. En la primera se recogen las circunstancias objetivas en las que se llevó a cabo el intento de suicidio; en la segunda se valora la actitud del paciente ante la vida y la muerte y la valoración que hace el paciente de su tentativa. En este trabajo, utilizamos la primera sección, que examina las circunstancias objetivas relacionadas con el intento de suicidio25. Esta sección se compone de 15 ítems valorados de 0 a 2. En los trabajos realizados para la validación de la escala, la media de las puntuaciones en TS de elevada gravedad fue de 16,3; en TS de gravedad media, 10,1 y 6,7 para las de baja gravedad25. En un trabajo posterior realizado por Baca-García et a lse estableció un punto de corte de 11 para distinguir a los pacientes que, tras la TS, precisaban un ingreso en unidad psiquiátrica de los que no precisaban dicho ingreso7.
Escala de ideación suicida (Scale for Suicidal Ideation, SSI)26Se trata de una escala que cuantifica y evalúa la gravedad de los pensamientos suicidas, o grado de seriedad e intensidad con el que alguien está pensando en suicidarse. Es una escala de 19 ítems que debe ser completada por el examinador en el contexto de una entrevista clínica semiestructurada. Se divide en cuatro secciones que recogen una serie de características relativas a la actitud hacia la vida/muerte; pensamientos o deseos suicidas; plan de intento de suicidio y realización del intento planeado. En la última sección se examinan los intentos de suicidio previos. Para cada ítem hay tres alternativas de respuesta que indican un grado creciente de gravedad y/o intensidad de la intencionalidad suicida.
Letalidad del intento de suicidio (Lethality Rating Scale)27El método del intento de suicidio empleado fue codificado de acuerdo con el Lethality Rating Scale and Method Attempt Coding (LRS), que valora los diversos métodos empleados y examina también las consecuencias médicas del intento.
Análisis estadísticoEl proceso que se ha seguido para el análisis estadístico se basa en el método propuesto por Cicchetti et al16. Según este método, el acuerdo global se define en función de los niveles de acuerdo parciales (las puntuaciones presentan mayor acuerdo conforme menor distancia hay entre ellas). Específicamente, se calcularon los siguientes índices:
Promedio global del nivel de acuerdo inter-examinador (Average overall level of interexaminer agreement). Esta media indica el acuerdo global de todos los examinadores. Los valores de referencia para su interpretación son los siguientes: acuerdo excelente (valor comprendido entre 90 y 100), bueno (80-89), débil (70-79) y pobre (menor de 70).
El nivel de acuerdo de cada examinador individualmente. Para ello, se agrupan aquellos investigadores con el mismo grado de acuerdo y se calcula la valoración clínica y estadística del nivel de acuerdo de cada uno de los examinadores utilizando los índices de acuerdo, Z score o valor Z (que indica la desviación de cada examinador con respecto al valor de consenso, en este caso la media de las puntuaciones).
Para identificar los ítems en los que existía una mayor discordancia y a los examinadores con una baja fiabilidad entre-examinadores, se utilizó el método Detection Of Multiple Examiners Not In Consensus (DOMENIC)17.
ResultadosAcontecimientos vitales estresantesEl promedio global de acuerdo entre examinadores en cada uno de los ítems oscila entre el 48,4 y el 97% (tabla 1). En su mayoría el nivel de acuerdo está entre bueno (80-89%) y excelente (90-100%), salvo en los ítems 6, 7, 8 y 10 (6. Ha roto una relación estable; 7. Ha tenido un problema grave con algún amigo cercano, vecino o familiar; 8. Se ha quedado sin empleo o ha buscado empleo durante más de un mes sin éxito, y 10. Ha tenido una crisis económica grave) donde existe una divergencia importante (tabla 2).
Acuerdo en los diferentes ítems de cada instrumento
Escala | Item | Promedio global de acuerdo entre examinadores (%) | Nivel de significación |
Brugha | 1. Ha sufrido usted mismo una enfermedad, lesión o agresión grave. | 100,00 | Excelente |
2. Algún familiar cercano ha sufrido una enfermedad, lesión o agresión grave. | 100,00 | Excelente | |
3. Ha muerto uno de sus padres, hijos o su pareja/cónyuge. | 93,55 | Excelente | |
4. Ha muerto un amigo cercano a la familia o algún otro familiar (tíos, primos, abuelos). | 100,00 | Excelente | |
5. Se ha separado a causa de problemas en su matrimonio. | 81,94 | Bueno | |
6. Ha roto una relación estable. | 60,65 | Pobre | |
7. Ha tenido un problema grave con algún amigo cercano, vecino o familiar. | 62,58 | Pobre | |
8. Se ha quedado sin empleo o ha buscado empleo durante más de un mes sin éxito. | 54,84 | Pobre | |
9. Le han despedido de su trabajo. | 87,53 | Bueno | |
10. Ha tenido una crisis económica grave. | 48,39 | Pobre | |
11. Ha tenido problemas con la policía o ha comparecido ante un tribunal. | 81,94 | Bueno | |
12. Le han robado o ha perdido algún objeto de valor. | 93,55 | Excelente | |
DSM-IV | Problemas con el grupo de apoyo primario | 93,01 | Excelente |
Medio social | 100,00 | Excelente | |
Escuela | 87,31 | Bueno | |
Trabajo | 89,35 | Bueno | |
Vivienda | 83,39 | Bueno | |
Finanzas | 81,45 | Bueno | |
Acceso a servicios de salud | 81,29 | Bueno | |
Sistema legal | 83,39 | Bueno | |
Otros problemas psicosociales | 75,48 | Medio | |
EEAG | Escala evaluación actividad global previo | 82,58 | Bueno |
SIS | 1. Aislamiento: | 100,00 | Excelente |
2. Tiempo: | 70,62 | Medio | |
3. Precauciones contra el descubrimiento/intervención: | 67,57 | Pobre | |
4. Actos para obtener ayuda durante y después del intento: | 66,88 | Pobre | |
5. Actos finales, anticipando la muerte (p.ej.: seguros, regalos, testamento): | 86,02 | Bueno | |
6. Preparación activa para el intento: | 69,46 | Pobre | |
7. Nota de suicidio: | 81,89 | Bueno | |
8. Comunicación de la intención antes del intento: | 67,20 | Pobre | |
9. Propósito del intento: | 71,78 | Medio | |
10. Expectativas sobre el resultado mortal: | 91,96 | Excelente | |
11. Conocimiento de la letalidad del método: | 89,12 | Bueno | |
12. Seriedad del intento: | 74,84 | Medio | |
13. Actitud sobre la vida/muerte: | 64,13 | Pobre | |
14. Concepción de la intervención médica: | 86,15 | Bueno | |
15. Grado de premeditación: | 67,96 | Pobre | |
Total punto de corte=11 | 87,53 | Bueno | |
SSI | 1. Deseo de vivir: | 93,76 | Excelente |
2. Deseo de morir: | 67,89 | Pobre | |
3. Razones para vivir/morir | 100,00 | Excelente | |
4. Deseo de intentar activamente el suicidio | 93,76 | Excelente | |
5. Intento de suicidio de forma pasiva | 77,42 | Medio | |
6. Duración de la ideación/deseo suicida | 63,51 | Pobre | |
7. Frecuencia de la ideación/deseo suicida | 65,48 | Pobre | |
8. Actitud hacia la ideación/deseo suicida | 87,53 | Bueno | |
9. Control sobre el acto suicida: acting-out/deseo | 87,53 | Bueno | |
10. Disuasores («frenos») para hacer un intento activo (familia, secuelas si no se consuma) | 74,80 | Medio | |
11. Razones para el intento planeado | 84,84 | Bueno | |
12. Método: especificidad/planificación | 74,62 | Medio | |
13. Método: disponibilidad/oportunidad | 88,73 | Bueno | |
14. Sensación de «capacidad para realizar el intento» | 84,84 | Bueno | |
15. Expectancia/Anticipación del intento actual | 87,53 | Bueno | |
16. Preparación real | 64,62 | Pobre | |
17. Nota suicida | 88,73 | Bueno | |
18. Últimos arreglos para preparar la muerte (seguros, testamento, donaciones, etc.) | 87,53 | Bueno | |
19. Engaño/Ocultación de la tentativa planeada | 69,38 | Pobre | |
20. Intentos de suicidio previos | 93,76 | Excelente | |
21. Intención de morir relacionada con el último intento | 91,35 | Excelente | |
LRS | Letalidad del intento de suicidio | 88,39 | Bueno |
Acuerdo entre los diferentes observadores en la Escala evaluación actividad global previo (EEAG)
Puntuación | n | Promedio del acuerdo entre-examinador | Significación clínica | Valor Z | p | Examinadores que otorgan la misma puntuación |
0 | 2 | 0,24 | Pobre | -3,53 | <0,001 | 2, 3 |
1 | 0 | |||||
2 | 0 | |||||
3 | 0 | |||||
4 | 0 | |||||
5 | 3 | 0,80 | Bueno | -0,54 | 0,59 | 12, 18, 23 |
6 | 14 | 0,89 | Bueno | 0,06 | 0,95 | 5, 6, 7, 11, 13, 17, 19, 22, 24, 26, 27, 30, 31, 32 |
7 | 12 | 0,86 | Bueno | 0,65 | 0,51 | 4, 8, 9, 10, 14, 15, 16, 20, 21, 25, 28, 29 |
8 | 0 | |||||
9 | 0 |
El promedio global de acuerdo entre examinadores en cada uno de los ítems oscila entre el 75,5 y el 100% (tabla 1). En su mayoría el nivel de acuerdo está entre bueno y excelente, salvo el ítem «Otros problemas psicosociales» donde el acuerdo era débil.
Escala evaluación actividad global previa (EEAG)El acuerdo en la puntuación de esta escala fue bueno (82,58%). Solo 2 examinadores (Raters 2 y 3) presentaban un acuerdo significativamente pobre (p<0,001) con respecto a la media de las puntuaciones totales (patrón de referencia).
Escala de intencionalidad suicida de Beck parte I: circunstancias objetivas relacionadas con el intento de suicidioEl promedio global de acuerdo entre examinadores en cada uno de los ítems oscila entre el 67,5 y el 97% (tabla 1). En la mayoría de los ítems el nivel de acuerdo oscila entre bueno y excelente, salvo en los ítems 3, 4, 6, 8, 13, 15 (3. Precauciones contra el descubrimiento/intervención; 4. Actos para obtener ayuda durante y después del intento; 6. Preparación activa para el intento; 8. Comunicación de la intención antes del intento; 13. Actitud sobre la vida/muerte y 15. Grado de premeditación), donde se detecta una divergencia importante. Los evaluadores cuyas puntuaciones diferían más de las del resto, en cada uno de los ítems, fueron el 5 y el 7 (tabla 3). El acuerdo en la puntación total de la escala, usando como punto de corte 11, fue bueno (87,5%).
Acuerdo entre los diferentes observadores en los ítems de la Escala de tentativa suicida de Beck parte I: Circunstancias objetivas relacionadas con el intento de suicidio
Ítem | Puntuación | n | Promedio del acuerdo entre-examinador | Significación clínica | Valor Z | p | Examinadores que otorgan la misma puntuación |
SIS1 | 0 | 0 | |||||
1 | 0 | ||||||
2 | 31 | 100,00 | Excelente | 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 | |||
SIS2 | 0 | 2 | 47,33 | Pobre | -2,65 | 0,01 | 4 25 |
1 | 24 | 83,33 | Bueno | 0,00 | 1,00 | 3 5 7 8 10 11 12 13 14 16 17 18 19 20 22 23 24 26 27 28 29 30 31 32 | |
2 | 2 | 47,33 | Pobre | 2,65 | 0,01 | 2 21 | |
SIS3 | 0 | 2 | 55,33 | Pobre | -2,37 | 0,02 | 23 27 |
1 | 12 | 66,67 | Pobre | -0,75 | 0,45 | 3 4 8 9 12 13 15 18 19 21 25 30 | |
2 | 16 | 74,00 | Medio | 0,86 | 0,39 | 2 5 6 7 10 11 14 16 17 20 24 26 28 29 31 32 | |
SIS4 | 0 | 0 | |||||
1 | 19 | 76,67 | Medio | -0,73 | 0,47 | 3 4 6 8 9 10 13 14 15 16 19 20 21 22 25 26 28 30 31 | |
2 | 10 | 61,67 | Pobre | 1,38 | 0,17 | 2 5 7 11 17 23 24 27 29 32 | |
SIS5 | 0 | 26 | 91,67 | Excelente | -0,44 | 0,66 | 2 3 4 5 6 8 10 11 12 14 16 17 18 20 21 22 23 24 25 26 27 28 29 30 31 32 |
1 | 5 | 56,67 | Pobre | 2,28 | 0,02 | 7 9 13 15 19 | |
2 | 0 | ||||||
SIS6 | 0 | 14 | 70,00 | Medio | -1,07 | 0,29 | 2 4 8 10 11 12 13 14 16 17 18 19 20 22 |
1 | 16 | 73,33 | Medio | 0,94 | 0,35 | 3 5 6 7 9 15 21 23 24 25 27 28 29 30 31 32 | |
2 | 0 | ||||||
SIS7 | 0 | 23 | 88,67 | Bueno | -0,57 | 0,57 | 2 3 4 5 6 7 8 10 12 14 16 18 20 21 22 23 25 26 28 29 30 31 32 |
1 | 2 | 51,67 | Pobre | 0,69 | 0,49 | 13 19 | |
2 | 6 | 66,00 | Pobre | 1,94 | 0,05 | 9 11 15 17 24 27 | |
SIS8 | 0 | 15 | 72,33 | Medio | -0,92 | 0,36 | 3 4 5 7 10 11 12 13 14 16 17 18 19 20 23 |
1 | 13 | 68,33 | Pobre | 0,70 | 0,48 | 2 6 21 22 24 25 26 27 28 29 30 31 32 | |
2 | 2 | 55,00 | Pobre | 2,33 | 0,02 | 9 15 | |
SIS9 | 0 | 14 | 72,33 | Medio | -1,01 | 0,31 | 2 3 4 5 8 11 12 17 18 23 24 26 27 30 |
1 | 15 | 73,33 | Medio | 0,64 | 0,52 | 6 7 9 10 14 15 16 20 21 22 25 28 29 31 32 | |
2 | 2 | 56,33 | Pobre | 2,29 | 0,02 | 13 19 | |
SIS10 | 0 | 2 | 61,00 | Pobre | -3,58 | 0,00 | 3 4 |
1 | 1 | 50,00 | Pobre | -1,63 | 0,10 | 29 | |
2 | 28 | 95,67 | Excelente | 0,31 | 0,75 | 2 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 30 31 32 | |
SIS11 | 0 | 2 | 60,67 | Pobre | -3,38 | 0,00 | 13 19 |
1 | 2 | 51,67 | Pobre | -1,51 | 0,13 | 5 24 | |
2 | 27 | 94,00 | Excelente | 0,36 | 0,72 | 2 3 4 6 7 8 9 10 11 12 14 15 16 17 18 20 21 22 23 25 26 27 28 29 30 31 32 | |
SIS12 | 0 | 0 | |||||
1 | 13 | 70,00 | Medio | -1,18 | 0,24 | 3 4 8 11 12 13 17 18 19 22 26 28 31 | |
2 | 18 | 78,33 | Medio | 0,85 | 0,40 | 2 5 6 7 9 10 14 15 16 20 21 23 24 25 27 29 30 32 | |
3 | 0 | 1,00 | |||||
SIS13 | 0 | 6 | 60,67 | Pobre | -1,60 | 0,11 | 5 11 13 17 19 30 |
1 | 12 | 66,67 | Pobre | -0,27 | 0,79 | 2 6 12 14 18 20 21 22 23 25 26 27 | |
2 | 12 | 68,67 | Pobre | 1,07 | 0,29 | 3 4 7 9 10 15 16 24 28 29 31 32 | |
SIS14 | 0 | 26 | 92,00 | Excelente | -0,41 | 0,68 | 2 3 4 5 6 7 8 10 11 12 13 16 17 18 19 21 22 24 25 26 27 28 29 30 31 32 |
1 | 4 | 55,00 | Pobre | 1,72 | 0,09 | 9 14 15 20 | |
2 | 1 | 58,67 | Pobre | 3,85 | 0,00 | 23 | |
SIS15 | 0 | 0 | |||||
1 | 9 | 60,00 | Pobre | -1,49 | 0,14 | 5 7 8 9 13 15 19 24 25 | |
2 | 20 | 78,33 | Medio | 0,67 | 0,50 | 2 3 4 6 10 11 14 16 17 20 21 22 23 26 27 28 29 30 31 32 |
El promedio global de acuerdo entre examinadores en cada uno de los ítems oscila entre el 63,51 y el 100% (tabla 1). En su mayoría el nivel de acuerdo está entre bueno y excelente, salvo en los ítems 2, 6, 7, 16 y 19 (2. Deseo de morir; 6. Duración de la ideación/deseo suicida; 7. Frecuencia de la ideación/deseo suicida; 16. Expectancia/Anticipación del intento actual; 19. Nota suicida) donde hay una divergencia importante. Los observadores cuyas valoraciones diferían más de las del resto en cada uno de los ítems fueron el 12 y el 18 (tabla 4).
Acuerdo entre los diferentes observadores en los ítems de la Escala de ideación suicida
Ítem | Puntuación | n | Promedio del acuerdo entre-examinador | Significación clínica | Valor Z | p | Examinadores que otorgan la misma puntuación |
SSI1 | 0 | 29 | 96,67 | Excelente | -0,26 | 0,79 | 2 3 4 5 6 7 8 9 10 11 13 14 15 16 17 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
1 | 2 | 51,67 | Pobre | 3,81 | 0,00 | 12 18 | |
2 | 0 | ||||||
3 | 0 | ||||||
SSI2 | 0 | 11 | 65,67 | Pobre | -1,19 | 0,23 | 5 7 8 9 10 12 13 15 16 18 19 |
1 | 17 | 75,00 | Medio | 0,51 | 0,61 | 2 3 4 6 11 14 17 20 21 23 24 25 26 27 29 30 32 | |
2 | 2 | 53,67 | Pobre | 2,22 | 0,03 | 28 31 | |
3 | 0 | ||||||
SSI3 | 0 | 31 | 100,00 | Excelente | 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 | ||
1 | 0 | ||||||
2 | 0 | ||||||
3 | 0 | ||||||
SSI4 | 0 | 29 | 96,67 | Excelente | -0,26 | 0,79 | 2 3 4 5 6 7 8 9 10 11 13 14 15 16 17 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
1 | 2 | 51,67 | Pobre | 3,81 | 0,00 | 12 18 | |
2 | 0 | ||||||
3 | 0 | ||||||
SSI5 | 0 | 10 | 65,00 | Pobre | -1,45 | 0,15 | 2 3 5 9 12 13 15 18 19 26 |
1 | 21 | 83,33 | Bueno | 0,69 | 0,49 | 4 6 7 8 10 11 14 16 17 20 21 22 23 24 25 27 28 29 30 31 32 | |
2 | 0 | ||||||
3 | 0 | ||||||
SSI6 | 0 | 8 | 63,67 | Pobre | -1,39 | 0,16 | 3 4 5 13 19 21 23 25 |
1 | 11 | 65,00 | Pobre | -0,13 | 0,90 | 7 9 14 15 20 27 28 29 30 31 32 | |
2 | 11 | 67,67 | Pobre | 1,14 | 0,25 | 6 8 10 11 12 16 17 18 22 24 26 | |
3 | 0 | ||||||
SSI7 | 0 | 0 | |||||
1 | 21 | 78,33 | Medio | -0,58 | 0,56 | 3 4 5 6 7 10 11 14 16 17 20 21 23 24 25 27 28 29 30 31 32 | |
2 | 7 | 55,00 | Pobre | 1,73 | 0,08 | 8 12 13 18 19 22 26 | |
3 | 0 | ||||||
SSI8 | 0 | 28 | 93,33 | Excelente | -0,27 | 0,79 | 3 4 5 6 7 8 9 10 11 13 14 15 16 17 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
1 | 2 | 50,00 | Pobre | 3,74 | 0,00 | 12 18 | |
2 | 0 | ||||||
3 | 0 | ||||||
SSI9 | 0 | 28 | 93,33 | Excelente | -0,27 | 0,79 | 3 4 5 6 7 8 9 10 11 13 14 15 16 17 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
1 | 2 | 50,00 | Pobre | 3,74 | 0,00 | 12 18 | |
2 | 0 | ||||||
3 | 0 | ||||||
SSI10 | 0 | 22 | 84,67 | Bueno | -0,56 | 0,57 | 3 4 6 7 9 10 11 13 15 16 17 19 21 22 23 24 25 26 27 29 30 32 |
1 | 4 | 53,33 | Pobre | 0,84 | 0,40 | 5 8 14 20 | |
2 | 4 | 60,67 | Pobre | 2,25 | 0,02 | 12 18 28 31 | |
3 | 0 | ||||||
SSI11 | 0 | 3 | 51,67 | Pobre | -3,00 | 0,00 | 3 4 27 |
1 | 27 | 91,67 | Excelente | 0,33 | 0,74 | 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 28 29 30 31 32 | |
2 | 0 | ||||||
3 | 0 | ||||||
SSI12 | 0 | 22 | 83,33 | Bueno | -0,60 | 0,55 | 7 8 10 12 13 14 16 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
1 | 8 | 60,00 | Pobre | 1,66 | 0,10 | 3 4 5 6 9 11 15 17 | |
2 | 0 | ||||||
3 | 0 | ||||||
SSI13 | 0 | 2 | 59,33 | Pobre | -3,74 | 0,00 | 23 27 |
1 | 0 | ||||||
2 | 28 | 94,00 | Excelente | 0,27 | 0,79 | 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 28 29 30 31 32 | |
3 | 0 | ||||||
SSI14 | 0 | 27 | 91,67 | Excelente | -0,33 | 0,74 | 3 4 5 6 7 8 10 11 12 13 14 16 17 18 19 20 22 23 24 25 26 27 28 29 30 31 32 |
1 | 3 | 51,67 | Pobre | 3,00 | 0,00 | 9 15 21 | |
2 | 0 | ||||||
3 | 0 | ||||||
SSI15 | 0 | 28 | 93,33 | Excelente | -0,27 | 0,79 | 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 30 31 |
1 | 2 | Pobre | 3,74 | 0,00 | 29 32 | ||
2 | 0 | ||||||
3 | 0 | ||||||
SSI16 | 0 | 12 | 68,33 | Pobre | -1,07 | 0,28 | 3 4 5 6 13 19 21 22 23 25 26 27 |
1 | 13 | 68,33 | Pobre | 0,33 | 0,74 | 8 9 10 11 12 15 16 17 18 28 29 31 32 | |
2 | 5 | 59,00 | Pobre | 1,72 | 0,08 | 7 14 20 24 30 | |
3 | 0 | ||||||
SSI17 | 0 | 28 | 94,00 | Excelente | -0,27 | 0,79 | 3 4 5 6 7 8 10 11 12 13 14 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
1 | 0 | ||||||
2 | 2 | 59,33 | Pobre | 3,74 | 0,00 | 9 15 | |
3 | 0 | ||||||
SSI18 | 0 | 28 | 93,33 | Excelente | -0,27 | 0,79 | 3 4 5 6 7 8 9 11 12 13 14 15 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
1 | 2 | 50,00 | Pobre | 3,74 | 0,00 | 10 16 | |
2 | 0 | ||||||
3 | 0 | ||||||
SSI19 | 0 | 11 | 65,33 | Pobre | -1,24 | 0,21 | 3 4 9 10 11 13 15 16 17 19 25 |
1 | 18 | 76,67 | Medio | 0,62 | 0,54 | 6 7 8 12 14 18 20 21 22 23 24 26 27 28 29 30 31 32 | |
2 | 1 | 52,00 | Pobre | 2,48 | 0,01 | 5 | |
3 | 0 | ||||||
SSI20 | 0 | 2 | 51,67 | Pobre | -3,81 | 0,00 | 12 18 |
1 | 29 | 65,67 | Excelente | 0,26 | 0,79 | 2 3 4 5 6 7 8 9 10 11 13 14 15 16 17 19 20 21 22 23 24 25 26 27 28 29 30 31 32 | |
2 | 0 | ||||||
3 | 0 | ||||||
SSI21 | 0 | 1 | 59,33 | Pobre | -4,45 | 0,00 | 5 |
1 | 2 | 51,67 | Pobre | -2,07 | 0,04 | 7 25 | |
2 | 28 | 95,33 | Excelente | 0,31 | 0,76 | 2 3 4 6 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 26 27 28 29 30 31 32 | |
3 | 0 |
El acuerdo alcanzado en la puntuación de esta escala fue bueno (88,39%). Únicamente un examinador (el número 6) presentaban un nivel de acuerdo medio con respecto a la media de las puntuaciones totales (patrón de referencia) (tabla 5).
Acuerdo entre los diferentes observadores en la Letalidad del intento de suicidio (LRS)
Puntuación | n | Promedio del acuerdo entre-examinador | Significación clínica | Valor Z | p | Examinadores que otorgan la misma puntuación |
0 | 0 | |||||
1 | 0 | |||||
2 | 0 | |||||
3 | 15 | 0,89 | Bueno | -0,98 | 0,33 | 2, 3, 4, 5, 7, 10, 11, 14, 16, 17, 20, 24, 25, 27, 28 |
4 | 15 | 0,89 | Bueno | 0,81 | 0,42 | 8, 9, 12, 13, 15, 18, 19, 21, 22, 23, 26, 29, 30, 31, 32 |
5 | 1 | 0,7 | Medio | 2,60 | 0,01 | 6 |
6 | 0 |
El objetivo de este trabajo fue evaluar la fiabilidad de un protocolo de evaluación de la conducta suicida (protocolo breve de evaluación del suicidio) para su uso en la investigación en un proyecto multicentrico utilizando las valoraciones de múltiples examinadores en una muestra de un solo paciente. Los resultados obtenidos en este estudio permiten afirmar que las escalas clínicas que componen el Protocolo breve de evaluación del suicidio tiene una fiabilidad buena. Es más, los problemas de fiabilidad observados son atribuibles a examinadores concretos y, en el caso de las escalas con más de un ítem, están relacionados con el hecho de que algunos examinadores han dejado sin responder alguno de los ítems.
No obstante, no hay que olvidar que, al tratarse de un diseño con un solo paciente, los resultados sobre la fiabilidad de los instrumentos no pueden generalizarse a la población de la que el paciente ha sido seleccionado. De cara a construir un instrumento aplicable a la clínica, el planteamiento para estimar su fiabilidad sería diferente. Requeriría la valoración de varios pacientes grabados en video (aproximadamente 10 por cada observador incluido) y el uso de otros parámetros estadísticos como el weighted Kappa (Kappa ponderado) o el coeficiente de correlación intraclase para escalas ordinales o cuantitativas. Nuestro estudio podría indicar a los desarrolladores de este trabajo las áreas de baja consistencia de estos instrumentos y por tanto que se podrían inicialmente eliminar.
El diseño de un solo caso controla las fuentes de variabilidad relacionadas con el examen y el paciente examinado, de esta forma la variabilidad de la evaluación se reduce únicamente a las dependientes del examinador. De hecho, tal y como se expuso anteriormente, identificar a los evaluadores cuyas valoraciones discrepaban más del conjunto era uno de los objetivos de este trabajo. En la fase de preparación de todo tipo de estudios multicéntricos (incluidos ensayos clínicos), el uso de este tipo de diseños (acuerdo de múltiples evaluadores sobre un solo paciente) ha demostrado ser útil para la detección de áreas de baja consistencia e identificación de evaluadores que discrepan del conjunto17. No obstante, cabe destacar que este tipo de diseño es muy infrecuente en la literatura, fundamentalmente debido a la complejidad del tratamiento estadístico que implica16. Solventado este problema con los procedimientos propuestos por Cicchetti y Showalter16, el procedimiento aquí descrito puede hacer más eficiente la fase de preparación de investigadores de un estudio multicéntrico. Una de las características más importantes de esta preparación es la formación de los examinadores hasta garantizar una fiabilidad entre-examinadores adecuada. La identificación de ítems y examinadores con bajos niveles de fiabilidad, seguida de un entrenamiento específico en estos ítems más conflictivos, podría ayudar a corregir las fuentes potenciales de variabilidad de la evaluación de los participantes en el ensayo clínico. Este hecho, a su vez, contribuye a aumentar el poder del diseño sin tener que incrementar el tamaño maestral del estudio17.
En resumen, tal y como ponen de manifiesto los resultados del presente estudio, la técnica desarrollada por Cicchetti et al16 ayuda a cumplir estos objetivos de forma eficiente, ya que requiere un tamaño muestral muy pequeño (un sujeto), una única sesión de valoración que se puede hacer diferida, y no necesita que todos los investigadores evalúen al sujeto en el mismo momento, puesto que los índices pueden calcularse posteriormente. Además, las nuevas tecnologías, como las videoconferencias, permiten que las evaluaciones tengan lugar al mismo tiempo pero desde diferentes lugares. En cuanto al Protocolo breve de evaluación del suicidio, podemos concluir que presenta un el acuerdo entre-examinadores adecuado para los propósitos de investigación al tiempo que se han identificado las áreas de bajo acuerdo y los examinadores que se alejan del acuerdo global. De esta manera, con objeto de utilizar el instrumento con mayor fiabilidad, se han puesto en marcha medidas de adiestramiento de los investigadores.
Responsabilidades éticasProtección de personas y animales. Los autores declaran que los procedimientos seguidos se conformaron a las normas éticas del comité de experimentación humana responsable y de acuerdo con la Asociación Médica Mundial y la Declaración de Helsinki.Confidencialidad de los datos. Los autores declaran que en este artículo no aparecen datos de pacientes.Derecho a la privacidad y consentimiento informado. Los autores declaran que en este artículo no aparecen datos de pacientes.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
Universidad Autónoma de Madrid: Concepción Vaquero Lorenzo
Corporación Sanitaria Universitaria Parc Taulí de Sabadell, Barcelona: Gemma García-Parés, María Giró Batalla, M. Garrido
Hospital 12 de Octubre, Madrid, CIBERSAM: M. Aragues
Hospital Carlos Haya y Fundación IMABIS, Málaga: E. Martín, M. Alba, M.I. Gómez, A. González, M. Maté, M. Romero y N. Cantero
Hospital de la Santa Creu i Sant Pau, Barcelona, CIBERSAM: J. Hernández y S. Durán Sindreu
Universidad de Oviedo, CIBERSAM: Maria Teresa Bascarán, Julio Bobes, Manuel Bousoño y P. Burón, Luis Jiménez Treviño
En el Anexo 1 se incluye los componentes del grupo.