Una actividad esencial de los laboratorios de andrología es el control de la calidad externo. Para la evaluación de la eficacia de los laboratorios participantes en los Programas de Supervisión Externa de la Calidad (PSEC) se utilizan límites admisibles de error, de manera que el resultado de un laboratorio será considerado aceptable si se encuentra dentro de dichos límites. En este momento los límites admisibles de error dependen en gran medida de los criterios de los organizadores del PSEC. Nuestro objetivo es comparar los diferentes criterios descritos en la ISO 13528:2005 para el cálculo de los comentados límites admisibles de error en los PSEC para la concentración espermática.
Material y métodosLos datos que se analizarán en este estudio son los valores de la media y desviación típica (DS) obtenidos sobre muestras control independientes, provenientes de dos PSEC. Se fijaron cuatro estrategias diferentes de cálculo de los límites admisibles de error según la ISO 13528:2005: 1) basada en los resultados de los laboratorios participantes; 2) basada en los resultados de los laboratorios expertos; 3) utilizando las especificaciones de calidad basadas en la variabilidad biológica, estado del arte y opinión de los clínicos; y 4) utilizando las especificaciones de calidad y ajustando por la incertidumbre del valor asignado.
ResultadosCon la estrategia 1 y 2 se obtienen límites admisibles de error muy amplios. Al contrario, con la estrategia 3, basada solo en las especificaciones de calidad, se obtienen límites muy estrictos. Sin embargo, con la estrategia 4 obtenemos valores de intervalos de aceptación intermedios en comparación con las demás estrategias. No se observan diferencias en los límites admisibles de error en las estrategias 3 y 4 al variar el modelo empleado para el cálculo de las especificaciones de calidad analítica.
DiscusiónLos PSEC de concentración espermática deberían utilizar una estrategia ajustada para la incertidumbre del valor asignado para establecer los límites admisibles de error, ya que con ella se obtienen intervalos de aceptación clínicamente útiles, de manera que los valores incluidos en ellos nos llevan a decisiones clínicamente similares. El definir adecuadamente a los laboratorios expertos es más importante que el modelo escogido para estimar las especificaciones de calidad analítica en un PSEC de concentración espermática.
External quality assessment is an essential activity of the andrology laboratory. To evaluate the effectiveness of the laboratories participating in the Programme of External Quality Monitoring (PSEC) allowable limits of error are used, and the result of a laboratory is considered acceptable if it is within these limits. Currently allowable error limits depend to a large extent on the criteria of the organizers of the PSEC. Our goal is to compare the different criteria described in ISO 13 528:2005 for the calculation of the allowable limits of error discussed in the PSEC for sperm concentration, so that they can be used by all.
Material and methodsThe data analysed in this study are the mean values and standard deviation (SD) obtained on independent control samples from two PSEC. Four different strategies for calculating the allowable limits of error according to ISO 13 528:2005 were set: 1) based on the results of participating laboratories, 2) based on the results of expert laboratories, 3) using quality specifications based on biological variability, state of the art and opinion of clinicians, and 4) using the quality specifications and adjusting for the uncertainty of the assigned value.
ResultsVery large allowable limits of error were obtained with strategies 1 and 2, whereas strategy 3, based only on quality specifications, gave very narrow limits.. However, with strategy 4 we obtained values of intermediate acceptance intervals compared with the other strategies. There were no differences in the allowable limits of error in strategies 3 and 4 by varying the model for the calculation of analytical quality specifications.
DiscussionPSEC sperm concentration should use a strategy adjusted to the uncertainty of the value assigned to establish the allowable limits of error, since the acceptance intervals obtained are clinically useful, so that the values contained in them lead to clinically similar decisions. For expert laboratories to adequately define them is more important than the model chosen to estimate analytical quality specifications in a sperm concentration¿s PSEC.
La concentración espermática es una de las determinaciones claves en el laboratorio de andrologÃa teniendo gran utilidad no solo en el estudio básico de esterilidad1, sino también para garantizar la eficacia de los métodos anticonceptivos (como la vasectomÃa), en estudios epidemiológicos sobre salud o toxicologÃa reproductiva2. Prueba de esta importancia creciente es que en el recientemente actualizado manual de la OMS para el análisis de semen, se han realizado significativos cambios en su metodologÃa, especialmente para bajas concentraciones espermáticas3.
Una actividad esencial de los laboratorios de andrologÃa es el control de la calidad externo4. Además, es imprescindible que el laboratorio participe en programas de garantÃa externa de la calidad en todas las magnitudes en que sea posible, con objeto de conocer su inexactitud y saber si cumple las especificaciones de la calidad5. En la actualidad, en Europa se llevan a cabo varios programas en los que los profesionales de los laboratorios participantes evalúan alÃcuotas de la misma muestra de semen y reciben evaluaciones de su eficacia en forma de estadÃsticos como el Ãndice z6. El valor informado por el laboratorio se compara con los valores asignados por el Programa de Supervisión Externo de la Calidad (PSEC). Un aspecto fundamental de los PSEC es que los análisis que realicen los laboratorios lo hagan con métodos y equipamientos comparables7. Para lograr esta homogeneidad en el análisis de semen se debe seguir las recomendaciones internacionales al respecto3,8.
Para la evaluación de la eficacia de los laboratorios participantes en los PSEC se utilizan lÃmites de aceptación o lÃmites admisibles de error, de manera que el resultado de un laboratorio será considerado aceptable si se encuentra dentro de dichos lÃmites. El lÃmite superior e inferior de aceptación se calcula sumando y restando, respectivamente, al valor asignado un margen de error. Al conjunto de valores entre estos dos lÃmites se denomina intervalo de aceptación. Los criterios de aceptación de los resultados de un laboratorio en un PSEC son de crucial importancia, ya que si son demasiado permisivos, no se identificaran los laboratorios con menores prestaciones, y si son demasiado estrictos, se rechazaran buenos laboratorios falsamente. En el cálculo de los lÃmites de aceptación intervienen la elección de la especificación de calidad9 y cómo el valor de comparación es asignado por el PSEC10.
En este momento los lÃmites admisibles de error dependen en gran medida de los criterios de los organizadores del PSEC. Por lo tanto, para un mismo conjunto de resultados, el desempeño de un laboratorio puede ser considerado como adecuado en un programa e insuficiente en otros11. Esta observación es bien conocida y ha sido descrita previamente12,13. Este conflicto se produce principalmente por dos motivos, el primero es la dificultad de selección de especificaciones de calidad que se adecuen al criterio del consenso de Estocolmo14 y el segundo es la incertidumbre que añaden los organizadores cuando asignan los valores de tendencia central (media) que después serán utilizados en la comparación.
Nuestro objetivo en este estudio es comparar los diferentes criterios descritos en la ISO 13528:200510 para el cálculo de los comentados lÃmites admisibles de error en los PSEC para la concentración espermática. Y determinar la influencia en los lÃmites admisibles de error de los distintos criterios del consenso de Estocolmo para la determinación de las especificaciones de calidad analÃtica.
Material y métodosDatosLos datos que se analizarán en este estudio son los valores de la media y desviación tÃpica (DS) obtenidos sobre muestras de control independientes, provenientes de dos PSEC. El primero es el Grupo de Interés Especial en AndrologÃa (SIGA) de la Sociedad Europea de Reproducción Humana y EmbriologÃa (ESHRE), con un rango de entre 14-47 laboratorios participantes en el programa entre los años 2001 al 2009, en los cuales se realizaron dos envÃos por año. Cada envÃo contiene cuatro alÃcuota de una suspensión de espermatozoides para la determinación de la concentración espermática: dos sin diluir (30 muestras control en total) y otras dos alÃcuota diluida (30 muestras)7. El segundo es el PSEC de la Asociación Española de Farmacéuticos Analistas (AEFA) y la Asociación Española de BiopatologÃa Médica (AEBM), en colaboración con el Centro de Estudio e Investigación de la Fertilidad (CEIFER) y auspiciado por la Asociación Española para el Estudio de la BiologÃa de la Reproducción (ASEBIR), con un rango entre 31-144 laboratorios participantes entre los años 1999-2009 y, en este caso, también se realizaron dos envÃos por año. Cada envÃo contiene dos alÃcuotas de una suspensión de espermatozoides para la concentración espermática (44 muestras)15.
Los valores de la media y DS se obtuvieron por cada muestra control mediante el consenso de los laboratorios participantes en ambos PSEC una vez segregados los resultados discrepantes16, y también por un grupo de laboratorios expertos en el caso de SIGA.
Las muestras de control usadas para ambos PSEC se obtuvieron a través de candidatos a donantes, todos los cuales dieron previamente su consentimiento informado para que su eyaculado se utilizara en la investigación. Todos los donantes tenÃan las serologÃas negativas para el HIV, hepatitis B, hepatitis C y sÃfilis.
MetodologÃaCon el objetivo de determinar si los resultados obtenidos con muestras diluidas eran similares a los de muestras no diluidas, se compararon las rectas de regresión lineal de la media y 3DS de la concentración espermática de ambos tipos de muestras del PSEC europeo. Además, para poder estimar la desviación estándar pada las diferentes estrategias utilizadas en la obtención de los lÃmites admisibles de error se obtuvieron las rectas de regresión entre la media y la DS para los laboratorios expertos y participantes. Para el cálculo de todas las rectas se excluyeron a aquellos valores discrepantes utilizando el residual estudentizado17 y se incluyeron en las regresiones los valores de concentración espermática comunes a muestras diluidas y no diluidas. En el caso de los expertos el rango es de 17 a 72 millones de espermatozoides por mililitro, y el rango de los laboratorios participantes va desde 18 a 62 millones de espermatozoides por mililitro.
En segundo lugar, se fijaron cuatro estrategias diferentes de cálculo de los lÃmites admisibles de error según la ISO 13528:200510 que constan en la tabla 1: 1) Basada en los laboratorios participantes: se toma como valor asignado la media de los laboratorios participantes y como margen de error la DS de los laboratorios participantes proporcionada por PSEC europeo multiplicada por tres (ISO 13528:2005 5.6 y 6.6.1). Esta estrategia también se realizó con los datos obtenidos del PSEC español; 2) Basada en los laboratorios expertos: en el que el valor asignado es de la media de los laboratorios expertos y el margen de error de los laboratorios expertos se calculó de la misma forma que le anterior pero usando los datos de dichos laboratorios (ISO 13528:2005 5.5 y 6.2); 3) Utilizando las especificaciones de calidad: que utiliza como valor asignado la media de los laboratorios expertos y el margen de error es obtenido de las especificaciones de calidad para el error total analÃtico calculado según los diferentes modelos de la conferencia de consenso de Estocolmo: a) variabilidad biológica (0,37)18, b) estado del arte (0,37)15 y c) opinión de los clÃnicos (0,52)19, los tres para un nivel de calidad deseable (ISO 13528:2005 5.6 y 6.3). Para ello se multiplica el valor asignado por la comentada especificación de calidad en tanto por mil; 4) Ajustada por la incertidumbre del valor asignado: toma como valor asignado la media de los laboratorios expertos y el margen de error se obtuvo teniendo en cuenta la DS estimada según la especificación de calidad para el error total analÃtico calculado según los diferentes modelos comentados en la estrategia 3 y la incertidumbre del valor asignado (ISO 13528:2005 5.5 y 6.2).
Estrategias utilizadas en el cálculo de los limites de aceptación según la ISO 135289
| Estrategia | Valor asignado por consenso | Valor dispersión por consenso | Margen de error | LÃmites admisibles de error |
| 1. Basada en los laboratorios participantes | Media (X¯1) laboratorios europeos participantes (SIGA) | Desviación estándar (DS1) laboratorios europeos participantes (SIGA) | ±3 DS1 | X¯1±3DS1 |
|  | Media (X¯2) laboratorios españoles participantes (PSEC) | Desviación estándar (DS2) laboratorios españoles participantes (PSEC) | ±3 DS2 | X¯2±3DS2 |
| 2. Basada en los laboratorios expertos | Media (X¯3) laboratorios europeos expertos (SIGA) | Desviación estándar (DS3) laboratorios europeos expertos (SIGA) | ±3 DS3 | X¯3±3DS3 |
| 3. Utilizando especificaciones de calidad | Media (X¯3) laboratorios europeos expertos (SIGA) | Especificación de calidad basada en la variabilidad biológica (vb) | ±evbX¯3 | X¯3±evbX¯3 |
|  |  | Especificación de calidad basada en el estado del arte (ea) | ±eeaX¯3 | X¯3±eeaX¯3 |
|  |  | Especificación de calidad basada en la opinión de los clÃnicos (oc) | ±eocX¯3 | X¯3±eocX¯3 |
| 4. Ajustada por la incertidumbre del valor asignado | Media (X¯3) laboratorios europeos expertos (SIGA) | Especificación de calidad basada en la variabilidad biológica (vb) | ±3evbX¯332+1,23s*p2 | X¯3±3evbX¯332+1,23s*p2 |
|  |  | Especificación de calidad basada en el estado del arte (ea) | ±3eeaX¯332+1,23s*p2 | X¯3±3eeaX¯332+1,23s*p2 |
|  |  | Especificación de calidad basada en la opinión de los clÃnicos (oc) | ±3eocX¯332+1,23s*p2 | X¯3±3eocX¯332+1,23s*p2 |
S*: se obtiene de la regresión lineal de la media de la concentración de los expertos frente a la desviación tÃpica de los expertos.
e: especificación de calidad para el error total analÃtico; p: es el número de laboratorios participantes en ese envÃo.
Los lÃmites admisibles de error de las distintas estrategias se representaron mediante gráficos de máximos y mÃnimos.
Para el análisis de la variabilidad entre laboratorios del PSEC europeo y español se compararon las medias de los coeficientes de variación (CV) obtenidos de los PSEC europeos (laboratorios participantes y expertos) y españoles (laboratorios participantes) utilizando un análisis de la varianza de una vÃa.
Todos los datos fueron analizados utilizando el programada estadÃstico SPSS (IBM Company Headquarters, Illinois, USA).
ResultadosLa comparación de las rectas de regresión de la media y 3DS de la concentración espermática de las muestras diluidas y no diluidas resultó no significativa tanto entre laboratorios participantes como expertos (fig. 1). Por lo que para el resto de los análisis no se tuvo en cuenta si la muestra era diluida o no, y se agruparon los datos.
En la figura 2 se observa el valor asignado y lÃmites admisibles de error para los diferentes envÃos del PSEC europeo según la estrategia 1 basada en los laboratorios participantes. Como era de esperar, existe una tendencia a aumentar el intervalo de aceptación conforme aumenta el valor asignado. Se observan lÃmites admisibles de error muy diferentes para valores asignados similares.
En 39 envÃos (88,63%), con valores asignados que oscilan entre 10 y 200 mill/mL, un resultado de 0 mill/mL fue incluido en el rango de valores aceptables. Aunque con intervalos de aceptación más estrechos, se observan resultados similares con los datos de PSEC español, donde en 17 envÃos (38,6%) 0 mill/mL se considera un resultado aceptable a pesar de que el valor asignado en esos 17 envÃos osciló entre 2-18 mill/mL (fig. 3).
Al analizar la estrategia 2 basada en los laboratorios expertos, se observan intervalos de aceptación más estrechos y con solo 10 envÃos (22,72%) con valores asignados entre 5 y 70 mil/mL; donde 0 mill/mL fue incluido en el rango de valores aceptable. No obstante, se siguen observando grandes diferencias en los lÃmites admisibles de error con similares valores asignados (fig. 4).
Al analizar los resultados obtenidos con la estrategia 3 basada en la variabilidad biológica o el estado de arte (ambas tienen el mismo valor), observamos que los intervalos de aceptación son mucho más estrechos, pero en especial a concentraciones espermáticas más bajas que las descritas con las otras estrategias. Hasta tal punto que ningún envÃo considera 0 mill/mL como resultado aceptable, ni siquiera en los valores asignados más bajos (8 mill/mL) (fig. 5). Al realizar estos mismos cálculos utilizando como especificación de calidad la opinión de los clÃnicos, los resultados varÃan muy poco obteniendo intervalos ligeramente más amplios pero muy similares.
Valores asignados (cÃrculo) y lÃmites de asignación (lÃnea) para los diferentes envÃos del PSEC europeos según la estrategia 3 basada en las especificaciones de calidad analÃtica según el modelo a) de la variabilidad biológica, b) estado del arte y c) opinión de los clÃnicos. Los envÃos se han ordenado según el valor asignado de menor a mayor.
Al aplicar la estrategia 4 ajustada por la incertidumbre del valor asignado, obtenemos valores de intervalos de aceptación intermedios en comparación con las estrategias anteriores. Como pasa en la estrategia anterior, las variaciones en los intervalos de aceptación al usar las distintas especificaciones de calidad son muy bajas. Además, valores asignados similares presentan lÃmites admisibles de error similares. Siendo el valor más alto con 0 mill/mL como valor aceptable, 15 mill/mL (fig. 6).
Valores asignado (cÃrculo) y lÃmites admisibles de error (lÃnea) para los diferentes envÃos del PSEC europeos según la estrategia 4 ajustada por la incertidumbre del valor asignado y cuya especificación de calidad es a) variabilidad biológica, b) estado del arte y c) opinión de los clÃnicos. Los envÃos se han ordenado según el valor asignado de menor a mayor.
Las medias de los CV de los laboratorios participantes del PSEC español es similar a las de los laboratorios participantes en el PSEC europeo (30,39±5,27 vs 37,22±16,56; no significativo) y ambas medias son significativamente superiores a las medias de los laboratorios expertos de PSEC europeo (23,30±12,64) (p<0,05) (fig. 7).
Si calculamos los lÃmites de aceptación para una concentración espermática de 15 mill/mL, lÃmites inferior de referencia de la OMS 20103, según las distintas estrategias estudiadas, obtendrÃamos los valores observamos en la tabla 2.
Tabla de valores de los lÃmites de aceptación superior e inferior para una concentración espermática de 15 mill/mL (valor de referencia de la OMS 2010) en las distintas estrategias analizadas
| Estrategia | LÃmites de aceptación para una concentración espermática de 15 mill/mL | |
|  | LÃmite de aceptación superior | LÃmite de aceptación inferior |
| Basada en los laboratorios participantes | 33 | 0 |
| Basada en los laboratorios expertos | 37 | 0 |
| Utilizando especificaciones de calidad | ||
| Variabilidad biológica | 21 | 9,4 |
| Estado del arte | 21 | 9,4 |
| Opinión de los clÃnicos | 23 | 7,2 |
| Ajustada por la incertidumbre del valor asignado | ||
| Variabilidad biológica | 28 | 1,7 |
| Estado del arte | 28 | 1,7 |
| Opinión de los clÃnicos | 29 | 0,6 |
El no haber encontrado diferencias en la regresión lineal entre la media y 3 desviaciones estándar en la determinación de la concentración en muestras diluidas y no diluidas, nos sugiere que la variabilidad entre los laboratorios es debida más al procedimiento de contaje que a los métodos de dilución. Esto sugiere que en los PSEC no es necesario el envÃo de los dos tipos de muestras, como actualmente se hace en los programas de la AAB de USA20 o el español21.
Al analizar la estrategia 1 basada en los laboratorios participantes para el PSEC europeo, observamos que los márgenes de error para los valores asignados de concentraciones son muy amplios, lo que supone aceptar a laboratorios con resultados tan diferentes que llevarÃa tomar decisiones clÃnicas diferentes, por ejemplo, para una muestra con una concentración de 80 mill/mL, serÃa aceptable un resultado 2 mill/mL, por lo que a la pareja se le derivarÃa a un tratamiento de ICSI, o un valor de 160 mill/mL, aconsejándole en este caso un tratamiento expectante o técnicas de reproducción asistida menos agresivas.
Gráficamente cabrÃa pensar que los laboratorios participantes de los PSEC españoles presenta una menor variabilidad que los laboratorios participantes de los PSEC europeos pues los lÃmites admisibles de error gráficamente parecen menores. Sin embargo, las menores DS observadas en los laboratorios participantes españoles es debido a que las concentraciones usadas en las evaluaciones de este programa son menores que las usadas en los programas europeos, siendo la variación ente los laboratorios participantes similar como lo demuestra el hecho de no haber encontrado diferencias en los CV.
La variabilidad entre los laboratorios expertos es inferior a la de los laboratorios participantes, lo que sugiere que los datos a utilizar para los cálculos de los lÃmites admisibles de error deben ser los procedentes de laboratorios expertos, tal y como sugiere el nuevo manual de la OMS sobre análisis de semen3. No obstante, cuando observamos los resultados obtenidos con la estrategia 2 basada en los laboratorios expertos, los márgenes de error son menores, pero aun asà demasiado grandes, ya que el valor más alto en que 0 mill spz/mL es un resultado aceptable (25 mill spz/mL) es aún demasiado alto.
Al aplicar la estrategia 3 utilizando las especificaciones de calidad, los márgenes de error son demasiado estrictos y difÃciles de cumplir, por lo que esta estrategia no serÃa factible con las actuales tecnologÃas y procedimientos no solo para los laboratorios participantes, sino también para los expertos. Esta conclusión coincide con lo descrito anteriormente por nuestro grupo15. Las especificaciones de calidad basadas en la variabilidad biológica, estado del arte u opinión de los clÃnicos se deben considerar un objetivo y no como criterios de aceptabilidad inflexibles14,22. Estas especificaciones de calidad pueden ser usadas para diseñar las reglas operativas del control de calidad interno de cada proceso analÃtico; evaluar los resultados de control interno y emprender acciones correctivas si procede; y evaluar los resultados del control de calidad externo23.
Por último, la estrategia 4 ajustada por la incertidumbre del valor asignado utilizando cualquiera de las tres especificaciones de calidad, nos ofrece unos intervalos de aceptación clÃnicamente útiles ya que los valores incluidos en ellos nos llevan a decisiones clÃnicamente similares, por lo que consideramos este método de elección para establecer los lÃmites admisibles de error en los PSEC de concentración espermática.
A la vista de estos resultados podemos afirmar que en la estrategia 4 no tiene una gran influencia la especificación de calidad usada en la obtención de los intervalos. Sin embargo, es muy importante la incertidumbre del valor asignado. Como hemos comentado anteriormente, este debe ser calculado con los resultados de los laboratorios expertos. Por lo que la definición de un laboratorio experto es el elemento fundamental a la hora de establecer los lÃmites admisibles de error. Un laboratorio experto deberÃa de utilizar métodos estandarizados y aceptados internacionalmente3,8, contar con un programa de Control de la Calidad Interno y participar en un programa de Control de la Calidad Externo.
Esta estrategia deberá ser probada para establecer lÃmites de aceptación en los PSEC de otros parámetros seminales (movilidad, morfologÃa y vitalidad). Aunque en los datos aquà expuestos se han utilizado los mismos criterios para establecer los lÃmites de aceptación a lo largo de todo el rango de concentraciones espermáticas, no se deberÃa de descartar como en otros PSEC11 que para otros parámetros seminales fuera necesario establecer dos criterios según los valores del parámetro seminal analizado.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
Este trabajo recibió el II Premio AEFA a la Calidad e Innovación 2010.
