El modelo Seis-Sigma constituye una herramienta de gestión de calidad basada en la cuantificación de la variabilidad de un proceso en función del ratio de defectos por millón (DPM). Sin embargo, su estimación durante la fase analítica es dependiente del error total admisible (ETa). Nuestro objetivo es demostrar que la selección inadecuada de las especificaciones de calidad puede originar interpretaciones erróneas del rendimiento del laboratorio.
Material y métodosEl cálculo del Sigma se realizó mediante la ecuación (ETa - sesgo)/coeficiente de variación. Se emplearon diferentes especificaciones de calidad, basadas en la variabilidad biológica (VB), el consenso de mínimos de SEQC/AEFA/AEBM y las especificaciones legislativas americanas y alemanas. La imprecisión y sesgo propios del laboratorio fueron estimados a partir del control interno/externo.
ResultadosLos valores de Sigma obtenidos son inversamente proporcionales a la exigencia de la especificación de calidad escogida en todos los casos. Las especificaciones legislativas o recomendadas por expertos son las que proporcionalmente se correlacionan con Sigmas más elevados. El uso de la VB deseable y óptima se asocia a Sigmas inaceptables en el 44 y 94% de las determinaciones respectivamente.
ConclusionesLa selección de especificaciones de calidad poco exigentes por parte del laboratorio supone elevaciones del Sigma, el cual no se asocia en todos los casos con una mejora en la detección de errores clínicamente significativos. Con objeto de evitar falsas elevaciones en informes de rendimiento y evitar comparaciones inter-laboratorio sesgadas, se recomienda informar el valor de Sigma en todo caso junto al ETa empleado en su estimación.
The Six-Sigma model is a quality management tool based on the variability of a process in terms of defects per million (DPM). In the analytical phase, sigma value estimation is dependent of the allowable total error (TEa). Our goal is to demonstrate that the improper selection of quality specifications can lead to erroneous interpretations of the laboratory status.
Material and methodsThe Sigma value was estimated using the equation (TEa - bias)/coefficient of variation. We used different quality specifications based on biological variability (BV), the consensus of the SEQC/AEFA/AEBM, and the American and German legislative specifications. The laboratory imprecision and bias were estimated from the internal/external control quality.
ResultsSigma values are inversely proportional to the requirement for quality specification. Specifications based on German and American laws or the consensus of the Spanish experts were proportionally correlated with higher Sigma values. The optimal and desirable BV was associated with high rates of determinations that did not exceed the minimum Sigma requirement.
ConclusionsThe selection of less demanding quality specifications involves elevations in Sigma values, which is not necessarily associated with an improvement in the detection of clinically significant errors.
In order to avoid false elevations in performance reports and errors in the inter-laboratory comparison, we recommend indicating the sigma value and the TEa.
El modelo Seis-Sigma se postula como una poderosa herramienta muy empleada en la actualidad por parte de la industria y los laboratorios en los procesos de gestión de calidad. Introducida originalmente por Motorola en los años 80, la metodología Seis-Sigma se basa en la disminución de la variabilidad de los procesos mediante la aplicación del ciclo DMAIC (Define, Measure, Analyze, Improve, Control), derivado del ciclo de Deming (PDCA: Plan, Do, Check, Act). Dicha variabilidad constituye la principal fuente de error de los procesos, por lo que su disminución se traduce en una mejora del rendimiento y fiabilidad de los resultados, al tiempo que disminuye costes y procesos innecesarios en el laboratorio1.
La evaluación del rendimiento Sigma se basa en la cuantificación del ratio de defectos por millón (DPM) que tienen lugar en un proceso dado. Según este modelo, un Sigma de 3 es considerado como el mínimo rendimiento aceptable para un proceso, mientras que un Sigma de 6 (equivalente a 3,4 DPM) se postula como excelente (Word Class)2. Si bien el contaje directo de los DPM es factible en numerosas ocasiones durante las fases preanalítica y postanalítica del laboratorio (considerándose por ejemplo como defecto una muestra mal etiquetada o un tiempo de demora excesivo en la emisión de resultados), la valoración de los defectos durante la fase analítica debe ser realizada de forma indirecta. Este hecho es debido a que no es posible conocer a priori cuál es el valor verdadero de una medición perteneciente a un paciente, aún cuando esta sea repetida en sucesivas ocasiones1. Por este motivo, se hace necesario la aplicación de una ecuación de estimación en la que se relacionan por una parte los errores propios del laboratorio (imprecisión y sesgo obtenidos a partir del control de calidad), y por la otra los límites de tolerancia definidos por el error total admisible (ETa) basados en cualquiera de los criterios aceptados por el consenso de Estocolmo de 19993.
Una de las principales ventajas que se le atribuyen a este sistema es que permite la comparación universal de la calidad entre diferentes procesos, con independencia de su naturaleza, protocolos, métodos empleados, personal responsable, etc4. Sin embargo, dado que la estimación del valor Sigma durante la fase analítica es inversamente proporcional al ETa escogido en cada caso, la comparación Sigma solo tiene sentido cuando es realizada bajo los mismos requerimientos de calidad.
El objetivo del presente estudio es poner de manifiesto las variaciones que experimenta el rendimiento Sigma de un proceso en función del nivel de exigencia de la especificación de calidad escogida por el laboratorio, así como señalar las consecuencias que podrían derivarse de un mal uso del modelo.
Material y métodosEl estudio ha sido realizado en el laboratorio de urgencias del hospital Virgen de la Salud de Toledo durante el periodo 2010-2011, obteniéndose los datos a partir de los servicios externos de garantía de calidad (EQAS) de la casa comercial Bio-Rad Laboratories y el uso del material de control Multiqual Unassayed proporcionado por la misma empresa (Bio-Rad Laboratories, Inc. Hercules, USA. Lote:46400).
Los análisis fueron realizados empleando un autoanalizador Vitros 5600 (Ortho Clinical diagnostics, Inc. New Jersey, USA.), bajo unas condiciones estandarizadas, que incluyeron el mantenimiento de lotes de control y generación de reactivos. Se consideraron un total de 16 magnitudes de uso frecuente en la urgencia, tales como el cloro (Cl), potasio (K), sodio (Na), creatinina (Crea), fósforo (P), albúmina (Alb), urea (U), bilirrubina total (BT), lactato deshidrogenasa (LDH), aspartato aminotransferasa (AST), alanina aminotransferasa (ALT), calcio (Ca), ácido úrico (AU), proteínas totales (PT), creatina quinasa (CK) y glucosa (Glu).
El cálculo del valor Sigma se realizó para cada una de las magnitudes mediante la aplicación de la siguiente ecuación2:
La selección del ETa se realizó en cada caso en función de 3 de los criterios aceptados internacionalmente en la conferencia de consenso de Estocolmo para la definición de especificaciones de calidad3, los cuales se relacionan a continuación en orden decreciente en cuanto a su utilidad clínica:
- -
Variabilidad biológica (VB): especificaciones óptimas, deseables y mínimas propuesta por la Comisión de Calidad Analítica de la SEQC5,6.
- -
Especificaciones mínimas consensuadas entre las 3 sociedades científicas españolas: SEQC, AEFA y AEBM7.
- -
Exigencias legislativas estadounidenses (CLIA)8 y alemanas (RiliBÄK)9.
Los cálculos de sesgo y coeficiente de variación (CV) para cada magnitud (tabla 1) fueron obtenidos siguiendo las directrices proporcionadas por la Comisión de Calidad Analítica de la SEQC10. El CV se estimó a partir de los puntos del control de calidad interno. Para el cálculo del sesgo se tomo como valor convencional la media del grupo par del EQAS. La gestión de los datos se realizó mediante el sistema Unity Real time™ (Bio-Rad Laboratories, Inc. Hercules, USA.).
Errores propios del laboratorio en función del control de calidad
| Analito | Instrumento | Método | n | CV(%) | Sesgo (%) |
| Cl | Vitros 5600 (OrthoClinical Diagnostics) | ISE Directo | 389 | 1,17 | 0,75 |
| Crea | Enzimático | 170 | 3,38 | 0,63 | |
| K | ISE Directo | 394 | 1,14 | 0,55 | |
| P | Reducción Fosfomolibdato | 108 | 1,47 | 2,02 | |
| Alb | BCG | 153 | 1,92 | 3,25 | |
| U | Ureasa, colorimétrico | 313 | 2,54 | 3,54 | |
| BT | Difilina, sal de diazonio | 131 | 1,18 | 2,34 | |
| LDH | Piruvato a lactato | 262 | 3,04 | 0,43 | |
| AST | UV con P5P | 311 | 1,58 | 5,57 | |
| Na | ISE Directo | 167 | 1,16 | 0,75 | |
| Ca | Arsenazo III | 127 | 1,30 | 0,66 | |
| AU | Uricasa, colorimétrico | 89 | 1,89 | 1,25 | |
| PT | Biuret, punto final | 110 | 2,01 | 3,25 | |
| ALT | UV con P5P | 150 | 8,60 | 7,80 | |
| Glu | Glucosa oxidasa, peróxido de hidrógeno | 141 | 1,35 | 5,22 | |
| CK | Rosalki | 114 | 6,36 | 8,37 |
El rendimiento Sigma de un proceso cualquiera es inversamente proporcional a la exigencia de la especificación de calidad empleada en su estimación, siempre y cuando se mantengan constantes los valores de CV y sesgo generados en dicho proceso. Este hecho, ejemplificado de forma generalista en la figura 1, puede ser analizado desde un punto de vista práctico en función de los resultados obtenidos para el conjunto de las 16 magnitudes estudiadas en el presente trabajo (tabla 2). De esta forma, la Sigma de un analito puede oscilar desde valores por debajo del mínimo admisible (Sigma de 3) hasta rendimientos superiores al Word Class (Sigma de 6), tal y como sucede en el caso del Cl, Alb y Ca (VB mínima frente a RiliBäk), de la Crea y Glu (VB deseable frente a RiliBäK) o del K, P, LDH, AST y AU (VB óptima frente a consenso de especificaciones mínimas). Si bien se observa una cierta tendencia, la permisividad de los ETa definidos por cada especificación de calidad no está siempre relacionada con la posición ocupada en la jerarquía de utilidad clínica propuesta en la conferencia de Estocolmo3. Así, a diferencia de lo observado en los analitos anteriores, el empleo de la VB mínima en el cálculo de la Sigma de U, BT, Na, ALT, CK proporciona un nivel de rendimiento superior al observado cuando se utilizan especificaciones de categoría inferior, como son el consenso de las sociedades españolas o las propuestas de ley americana y alemana.
Valores de Seis-Sigma tras la aplicación de los Errores Totales admisibles (%, entre paréntesis) definidos por las diferentes especificaciones de calidad y de los errores propios de nuestro laboratorio
| Analito | Especificaciones de Variabilidad Biológica de la SEQCMínima deseable óptima | Consenso de especificaciones mínimas de SEQC, AEBM y AEFA | CLIA | RiliBÄk | ||
| Cl | 1,28 (2,25) | 0,64 (1,50) | 0,00 (0,75) | 6,19 (8,00) | 3,63 (5,00) | 7,05 (9,00) |
| Crea | 3,45 (12,30) | 2,23 (8,20) | 1,02 (4,10) | 8,09 (28) | 4,25 (15) | 6,32 (22) |
| K | 7,15 (8,70) | 4,60 (5,80) | 2,06 (2,90) | 5,65 (7,00) | 18,55 (21,70) | 7,41 (9,00) |
| P | 9,03 (15,30) | 5,56 (10,20) | 2,09 (5,10) | 8,82 (15,00) | - | 10,87 (18,00) |
| Alb | 1,35 (5,85) | 0,33 (3,90) | 0,00 (1,95) | 5,07 (13) | 3,51 (10,00) | 10,28 (23,00) |
| U | 7,88 (23,55) | 4,70 (15,70) | 1,69 (7,85) | 4,90 (16,00) | 2,14 (9,00) | 7,27 (22,00) |
| BT | 37,55 (46,65) | 24,37 (31,10) | 11,19 (15,55) | 17,50 (23,00) | 14,90 (20,00) | 20,05 (26,00) |
| LDH | 5,5 (17,10) | 3,6 (11,40) | 1,7 (5,70) | 8,1 (25,00) | 6,43 (20,00) | 5,8 (18,00) |
| AST | 10,91 (22,80) | 6,09 (15,20) | 1,28 (7,60) | 8,50 (19,00) | 9,13 (20,00) | 11,03 (23,00) |
| Na | 5,30 (6,90) | 3,31 (4,60) | 1,33 (2,30) | 3,66 (5,00) | 2,54 (3,70) | 4,61 (6,10) |
| Ca | 2,26 (3,60) | 1,33 (2,40) | 0,41 (1,20) | 7,18 (10,00) | 12,72 (17,20) | 7,95 (11,00) |
| AU | 9,18 (18,60) | 5,89 (12,40) | 2,61 (6,20) | 6,74 (14,00) | 8,33 (17,00) | 3,41 (7,70) |
| PT | 0,92 (5,10) | 0,07 (3,40) | 0,00 (1,70) | 3,35 (10,00) | 3,35 (10,00) | 3,85 (11,00) |
| ALT | 4,69 (48,15) | 2,82 (32,10) | 0,95 16,05 | 1,41 (20,00) | 1,41 (20,00) | 1,76 (23,00) |
| Glu | 3,80 (10,35) | 1,24 (6,90) | 0,00 (3,45) | 3,54 (10,00) | 3,54 (10,00) | 7,98 (16,00) |
| CK | 5,83 (45,45) | 3.44 (30,30) | 1,06 (15,15) | 1,83 (20,00) | 3,44 (30,00) | 1,82 (20,00) |
En este contexto, desde un punto de vista global, la VB mínima constituye la especificación de calidad más permisiva, con una media de ETa igual al 18,3% (equivalente a un Sigma medio de 7,2), seguidas por las especificaciones legislativas alemanas, estadounidenses y las recomendaciones mínimas de las sociedades españolas, con ETa medios de 16,5% para el RiliBÄK y de 15,2% para la CLIA y SEQC/AEFA/AEBM. La especificación más exigente se basa en la VB óptima, con una media de ETa de 6,1% (Sigma medio de 1,5) (fig. 2).
Sin embargo, si tenemos en consideración el porcentaje de magnitudes que superan un valor Sigma de 6, las especificaciones alemanas son las que aportan proporcionalmente un mayor rendimiento, con un 63% de los analitos situados por encima del Word Class. La CLIA y el consenso de las sociedades españolas muestran también porcentajes elevados, de 43 y 31% respectivamente. En la figura 3 se muestra la proporción de determinaciones con rendimientos excelentes (Sigma>6), aceptables/buenos (3<Sigma<6) e inaceptables (Sigma<3) en función de la especificación de calidad escogida. Cabe destacar la elevada proporción de determinaciones con rendimientos inaceptables desde el prisma de la métrica Sigma si se emplean las especificaciones basadas en la VB deseable (44%) u óptima (94%).
Discusión
En el presente estudio se muestra el rendimiento analítico de un conjunto de determinaciones frecuentes en un laboratorio de urgencias mediante la aplicación de la metodología Sigma. Existen diversos trabajos previos en los que se analiza de una forma más completa y exhaustiva el grado de cumplimiento de las diferentes especificaciones de calidad propuestas en la conferencia de consenso internacional de Estocolmo de 19993 en laboratorios del territorio nacional. Sirvan como ejemplo los textos de García Lario et al.11 en el 2002, Batuecas et al.12 en el 2007, Steve et al.13 en el 2010 o Ricós et al.14 en el 2009. En este último estudio se profundiza en la aplicación del modelo Seis-Sigma para evaluar las prestaciones analíticas en nuestro país, utilizándose datos procedentes de los programas de garantía externa de la calidad de la SEQC. Mediante el concierto de un elevado número de laboratorios (870) y de resultados (10.440), los autores demuestran que el empleo de especificaciones de calidad exigentes, como pueden ser las basadas en la VB deseable5,6, se traducen en valores de Sigma inferiores a 3 en la mayoría de los casos, mientras que el empleo de especificaciones de calidad más amplias, como las propuestas por el consenso de las sociedades españolas7, suele acompañarse de valores de Sigma aceptables. Tal y como fue predicho por Ricós et al.14, la realización de un análisis similar en el caso particular de un laboratorio individual (con menor fuente de variabilidad que la comparación inter-laboratorio), trae consigo unos valores de Sigma ligeramente más elevados, aunque los razonamientos planteados son en ambos casos igualmente válidos.
Si bien la utilidad del modelo Seis-Sigma como herramienta de mejora de la calidad analítica es innegable y altamente recomendable15, la relación inversa que existe entre el grado de exigencia de la especificación de calidad y el valor Sigma obtenido en cada caso puede originar una serie de comportamientos incorrectos derivados del mal uso del modelo, que son efectuados de forma errónea por laboratorios y empresas de todo el mundo.
Según el consenso internacional de Estocolmo3, el laboratorio debe aspirar al uso de la especificación de calidad más exigente dentro de las limitaciones técnicas de cada determinación, aunque ello suponga la obtención de Sigmas más discretos. Un incremento del valor Sigma a costa de aumentar el ETa no reduce realmente los errores (DPM) cometidos por el laboratorio, sino que altera el concepto de error volviéndolo más permisivo. En este contexto, cabe destacar que el aumento del ETa conduce a la obtención de Sigmas elevadas que carecen de sentido a nivel práctico, ya que no van unidas a probabilidad de detección de error (Pde) o probabilidad de falso rechazo (Pfr) adecuadas. Este hecho se pone de manifiesto de forma muy ilustrativa mediante empleo de las gráficas de función de potencia (fig. 4). Tomemos como ejemplo la LDH bajo condiciones constantes (CV=3,04%; sesgo=0,43%; regla 1-3s; 3 niveles de control), donde la única variable a considerar sea el ETa escogido. Dado que la Pfr resulta de la intersección de la curva de potencia con el eje de ordenadas, y que esta curva es constante (bajo las circunstancias seleccionadas), el valor obtenido en todos los casos es igual a 0,008. Por el contrario, la Pde resulta de la extrapolación en ordenadas del punto de corte entre el valor Sigma y la curva, por lo que es dependiente del ETa escogido16. Si se emplea la especificación de calidad basada en la VB deseable (ETa=11,4%), la Sigma obtenida supera el mínimo recomendado (3,6), pero la Pde obtenida es del todo inaceptable (0,38). Si en lugar de mejorar los errores propios del laboratorio (CV y/o sesgo) se opta por disminuir la exigencia de calidad y se selecciona la VB mínima (ETa=17,1%), la Pde se eleva hasta un nivel adecuado (0,992), con una Sigma asociada próxima al Word Class (5,5). Si bien esta configuración es óptima, el laboratorio puede escoger de forma errónea el disminuir aún más su especificación de calidad para obtener mayores Sigmas, pese a que en la práctica no supongan una mejora real del rendimiento. Seleccionar la especificación mínima de las sociedades científicas españolas (ETa=25%) eleva la Sigma a 8,1 mientras que emplear un ETa arbitrario del 50% da como resultado una Sigma de 16,3. En ambos casos, la Pde se encuentra en el punto máximo de 1. Por lo tanto, la correcta aplicación del modelo Sigma implica el seguimiento del consenso de Estocolmo3, evitando en todo caso la elevación artificial de la Sigma en detrimento de la exigencia de calidad del laboratorio. Recomendamos el empleo de las especificaciones de calidad basadas en la VB5,6 siempre que sea posible, sustituyéndolas en caso necesario por los datos de VB específicos de situaciones patológicas en los casos que impliquen un seguimiento del paciente diagnosticado17. Además, dado que en ocasiones Sigmas consideradas adecuadas se asocian a Pde inaceptables se recomienda la integración del modelo con otras herramientas de gestión de calidad, como los gráficos de punto operativo o las gráficas de función de potencia empleadas en este caso, con objeto de definir de forma óptima las reglas operativas para el control de calidad del laboratorio18,19.
La comparación internacional de los laboratorios teniendo en cuenta el valor Sigma puede traer consigo errores de interpretación en función de la nacionalidad del laboratorio implicado. De esta forma, si tomamos como ejemplo el cloro (sesgo=0,75%; CV=1,17%), el valor Sigma oscila entre cero, si seleccionamos como especificación de calidad la basada en la VB óptima5,6 (ETa=0,75%) a 6,2 si usamos las especificaciones mínimas propuestas por la SEQC/AEFA/AEBM7 (ETa=8%). De la misma forma, bajo estas mismas circunstancias, un laboratorio alemán cuenta con un Sigma de 7 (ETa=9%), mientras que el Sigma estadounidense es de 3,63 (ETa=5%). Estas discrepancias en cuanto a la estimación de la calidad, dependientes únicamente del grado de exigencia del laboratorio, pero no de los errores cometidos por el mismo (constantes en el estudio), han sido observadas en el conjunto de analitos propuestos. Cabe destacar que si se emplean las especificaciones legislativas8,9 o de las comisiones de expertos7, aquellos países que reflejan un mayor rendimiento Sigma son aquellos que globalmente cuentan con un menor grado de exigencia para sus laboratorios. Por lo tanto, la comparación del rendimiento inter-laboratorio basado en la métrica Sigma carece de sentido salvo que sea realizada bajo los mismos requerimientos de calidad.
El creciente interés que se está generando en torno a la métrica Sigma por parte del profesional de la salud ha originado que un gran número de empresas y laboratorios la adopten como estimador de la calidad y fiabilidad de sus procesos. La incorporación de la Sigma en los informes de rendimiento supone bajo nuestro punto de vista una práctica más que recomendable, aportando un doble beneficio. En primer lugar, la métrica Sigma proporciona una escala de evaluación altamente intuitiva, basada en objetivos mínimos y óptimos. Así, un Sigma de 6 es excelente con independencia de la magnitud analizada, mientras que un error total del 10% puede ser desde inaceptable (por ejemplo en el Cl) hasta excelente (como sucede en el caso BT). Por lo tanto, el empleo del Sigma permite realizar una interpretación rápida y certera del rendimiento, con independencia del analito evaluado. El segundo beneficio, situado en la misma línea conceptual, se deriva de la posibilidad de comparar diferentes procesos de forma universal. De esta forma, es posible comparar el rendimiento del análisis de Cl con por ejemplo el valor Sigma de la determinación del hematocrito, los tiempos de demora de un laboratorio de urgencias o los errores de etiquetado de muestras, todo bajo un mismo marco de referencia.
Tras todo lo expuesto, consideramos que el modelo Seis-Sigma constituye una herramienta de gran utilidad para el laboratorio clínico, siempre y cuando esta sea empleada bajo unas exigencias de ETa adecuadas. Los informes de rendimiento Sigma deben por lo tanto indicar las especificaciones de calidad empleadas en su cálculo. Los autores opinamos además que el valor Sigma debe ser considerado como un complemento del informe, y que en ningún caso debe sustituir a los estimadores tradicionales de error aleatorio, sistemático y total, ya que estos aportan una información esencial para la detección y posterior corrección de las distintas fuentes de error del laboratorio.
Conclusiones- -
La selección de especificaciones de calidad poco exigentes supone elevaciones en el valor Sigma, el cual no se relaciona necesariamente con una mejora en la detección de errores clínicamente significativos. De esta forma, la selección de especificaciones de calidad exigentes debe ser prioritario, pese a la obtención de Sigmas más discretas.
- -
Con el objetivo de evitar elevaciones artificiales en los informes de rendimiento de laboratorios y empresas, sugerimos que el valor Sigma debe ser informado en todo caso junto a la especificación de calidad empleada en su estimación.
- -
La comparación inter-laboratorio basada en el modelo Seis-Sigma solo tiene sentido en laboratorios que compartan las mismas especificaciones de calidad, por lo que estos programas de comparación deben ser realizados bajo unos requerimientos de calidad claramente definidos y aceptados por los participantes.
Los autores declaran no tener ningún conflicto de intereses.
Este trabajo corresponde a una comunicación científica presentada y premiada con el tercer premio en el V Congreso Nacional del Laboratorio Clínico celebrado en Málaga del 9 al 11 de noviembre de 2011.
