Los indicadores de gestión en el sector público
Durante las últimas décadas las iniciativas en favor del empleo de indicadores para la gestión institucional (tanto referidos a los recursos, a la capacidad, a la actividad, a los resultados y a la eficiencia) se han ido inexorablemente extendiendo en el sector público, con el objetivo de valorar la actividad de las organizaciones productoras de bienes y prestadoras de servicios, y con el fin de analizar el funcionamiento y mejorar la eficiencia con la que operan.
No hay duda de que la utilización de los sistemas de indicadores ha generado indudables ventajas y oportunidades. Por un lado, su introducción y aplicación ha permitido identificar y concretar los objetivos, determinar su grado de cumplimiento y fijar las prioridades que se pueden establecer entre ellos, lo que ha facilitado además la aplicación de incentivos con los que se han tratado de hacer conciliar las funciones objetivo de los agentes involucrados.
Las medidas que proporcionan tales indicadores han permitido a los responsables de la gestión pública disponer de un mayor control sobre la actividad de las organizaciones. Esta información ha contribuido a un mejor planteamiento de los procesos productivos de los servicios públicos, identificando los factores intervinientes y optimizando las relaciones entre recursos y resultados, en la confianza de que un mayor conocimiento de las singularidades del proceso productivo conducirá a mejoras en los resultados obtenidos.
A pesar de lo anterior, el uso de indicadores en el sector público no puede eludir la aparición de ciertos problemas, ya que a medida que se avanza en los objetivos, no sólo surgen mayores costes directos a causa de su aplicación, sino también mayores probabilidades de que se observen comportamientos no deseados por parte de los agentes afectados. La información inicialmente disponible puede no ser suficiente para obtener medidas adecuadas de la actuación pública, lo que exige nuevos sistemas informativos que sirvan de base para el cálculo de los indicadores y que permitan considerar aquellos factores exógenos a la actuación de la organización, así como tener también en cuenta aspectos relacionados con la calidad de los servicios1.
El camino del sector público sanitario hacia la eficiencia
La sanidad pública española se enfrenta a importantes retos, intentando hacer compatibles la satisfacción de necesidades de salud del común de los ciudadanos mediante atenciones de calidad (cada vez más seguras, efectivas y útiles) con otros principios normativos, como la ética que reconoce la importancia de la participación ciudadana en el establecimiento de prioridades moralmente aceptables, la equidad para la reducción de las diferencias injustas y evitables y el más racional y eficiente empleo de los recursos puestos a disposición del sector.
Para dar cumplimiento a esta última exigencia en los establecimientos sanitarios públicos (que han sido tradicionalmente, y con frecuencia injustamente criticados por su escasa eficiencia) hace mucho tiempo que se emprendieron iniciativas y se aplicaron procesos de mejora de la gestión, que trataron de ilustrar los procesos de toma de decisiones para minimizar los costes de oportunidad en la asignación de los recursos. Y así, en el camino de la búsqueda de la excelencia gestora, los centros sanitarios públicos han venido explorando diversos procedimientos y técnicas para hacer compatibles los esfuerzos de proveer servicios de calidad con los objetivos de mejora de la eficiencia.
Los modelos de gestión formaron parte de estos paquetes de medidas con el propósito de aproximar las funciones objetivo de los pacientes hacia modelos de eficiencia, y para ello se vincularon los objetivos asistenciales (asegurar la atención integral y de calidad al paciente), con los de compras y logística y los contable-analíticos (garantizar la buena gestión económica). De este modo, en los establecimientos sanitarios públicos se han ido utilizando herramientas de gestión, como la codificación de los pacientes mediante el conjunto mínimo básico de datos (CMBD) (ya definido en el año 1987), como la medición de la casuística a través de los grupos relacionados con el diagnóstico (GRD) o las categorías para la gestión de enfermos (PMC) y el desarrollo de la contabilidad analítica, a través primero del proyecto SIGNO(1) en 1992, cuya principal tarea fue asignar costes a los grupos funcionales homogéneos (GFH), y posteriormente mediante el proyecto de gestión clínico-financiera (GECLIF)(2) en 2000, cuyo objetivo fue estimar los costes de los productos, pacientes y procesos, mediante la clasificación GRD.
En el año 1992 se inicia una nueva filosofía de la gestión por contrato en el sector sanitario público español no transferido a las Comunidades Autónomas, mediante los inicialmente llamados contratos-programa de hospitales, que a partir de 1998 pasaron a denominarse contratos de gestión, formalizando las relaciones entre los provisores financieros y los compradores de servicios. Fueron intentos de mejora de la eficiencia y de la productividad con el propósito de propiciar el sometimiento a una disciplina financiera, fijar topes presupuestarios, iniciar el aprendizaje organizativo, la financiación prospectiva, el fomento de la descentralización y las iniciativas de cambios tecnológicos más coste/efectivos, la homogeneización de los sistemas de información, la mayor autonomía de gestión y la asunción y ajuste de riesgos por parte de los hospitales. Pero a pesar de los avances registrados persiste la dificultad de encontrar las fórmulas correctas de financiación para tratar de "descontar" los costes de la ineficiencia, lo que constituye un reto aún no satisfactoriamente abordado dado que las herramientas de medida no están suficientemente depuradas.
Las nuevas técnicas de medición de la eficiencia
Cuando se trata de examinar la eficiencia relativa con la que actúan diversas unidades que prestan un mismo servicio público es posible distinguir dos estrategias alternativas: a) una de ellas se fundamenta en el empleo de muy diversos, y más o menos elaborados indicadores de gestión, que en definitiva no son más que medidas parciales sobre aspectos específicos del comportamiento de las unidades que se desea analizar, y b) la otra opción pretende obtener un índice general o global sobre la eficiencia de esa unidad productiva en su conjunto, considerando de forma simultánea todos los inputs empleados y todos los outputs obtenidos.
La primera alternativa presenta aspectos positivos: permite alcanzar mayor validez al explorar cada ámbito de actividad o desempeño, y orientar la comparación y los procesos de mejora en dimensiones fácilmente contrastables y cercanas a la realidad; mientras sus principales defectos derivan de su carácter inevitablemente parcial y, como consecuencia de ello, conlleva el riesgo de obtener resultados diferentes o conclusiones contradictorias en función de cuál sea el indicador seleccionado2.
Por el contrario, la segunda (y más novedosa) estrategia de gestión emplea medidas globales de eficiencia basándose en la "distancia" de las distintas unidades productivas analizadas con respecto a una "función frontera" referencial, que se estima bien de forma teórica, bien a partir de las mejores prácticas observadas del conjunto de unidades evaluadas (benchmarking).
De forma muy sencilla se podrían explicar estas metodologías de frontera como instrumentos que permiten comparar el desempeño de una serie de unidades productivas verificando en qué medida se transforman inputs en outputs. Veamos un ejemplo: en la figura 1 se representan gráficamente tres servicios de cirugía (A, B y C) que con los mismos inputs (igual número de cirujanos) producen distintas combinaciones de los dos outputs o productos que vamos a considerar: número de intervenciones de cirugía convencional (CC) y de cirugía mayor ambulatoria (CMA). Los tres servicios tienen diferente mix o casuística, que puede representarse en el plano mediante sus respectivas coordenadas: el A (1,3) es más innovador y se especializa en CMA; mientras que el B (3,1) es más conservador y se especializa en CC y finalmente el C (1,1) tiene un perfil equilibrado entre CMA y CC. Al examinar la figura 1 nos percatamos fácilmente de que el servicio C (con los mismos cirujanos de A y que B) tiene un desempeño pobre para CMA y CC.
Figura 1. Comparación de eficiencia de tres unidades clínicas con iguales inputs para dos outputs diferentes. Fuente: elaboración propia.
En este sencillo caso el método de frontera construye una línea formada por los servicios más eficientes que "envuelve" las distintas combinaciones de productos, y de esta forma permite identificar una posición o servicio hipotético C*, que estaría dentro de la frontera con el mismo mix o casuística que C; este C* (2,2) representaría la eficiencia máxima que podría alcanzar C, y una forma sencilla de representar el grado de eficiencia de C sería dividir el segmento que va del origen a C (OC), entre el segmento radial o vector que parte del origen de coordenadas hasta C* (OC*). Como fácilmente se observa en este caso, la distancia OC es la mitad que la OC*, por lo que el cociente es 0,5, es decir, la eficiencia de C es del 50%. Es interesante señalar que a través de este método de frontera se ha conseguido combinar dos dimensiones, productos o outputs dentro de un único sistema de medición de desempeños.
Dentro de estas novedosas herramientas se pueden distinguir dos grandes metodologías de aproximación, que difieren en la técnica utilizada para definir la frontera: a) las paramétricas, y b) las no paramétricas.
Las aproximaciones paramétricas son técnicas que especifican y determinan a priori una función de producción "teórica", respecto de la cual se comparan los resultados obtenidos por las diferentes unidades productivas analizadas. Esta expresión tiene una forma funcional con parámetros constantes, estimándose los mismos de manera que las observaciones reales de cada unidad quedarán más cerca o más lejos de la función ideal. Teniendo como referencia esa función se trata de estimar la eficiencia de cada unidad productiva analizada, que será distinta según la forma funcional especificada a priori, empleándose principalmente técnicas como la de los mínimos cuadrados corregidos, las fronteras estocásticas y las funciones distancia.
Las técnicas paramétricas son consideradas metodologías de interés para su aplicación en la determinación de la eficiencia de las unidades productivas dependientes del sector público. Sus principales ventajas son que permiten el cálculo de elasticidades, la fácil introducción de variables categóricas, el contraste de hipótesis y la modelización del tiempo y de variables ambientales. Mientras que como principal desventaja cabe señalar que dada su naturaleza paramétrica se asume la existencia de una forma funcional que, en principio, es desconocida. Se dice que la realidad no suele ser paramétrica, y de hecho en la literatura no abundan las aplicaciones de esta naturaleza.
Por otro lado, las aproximaciones no paramétricas son técnicas que no especifican a priori una forma funcional ideal, sino unas propiedades formales que satisfacen los puntos del conjunto de producción sobre la base informativa que aportan todas las unidades productivas consideradas3. Los datos facilitados por todas las unidades sirven para diseñar una función que sirve como valor referencial, y son "envueltos" por los correspondientes a las unidades más eficientes. La eficiencia de cada unidad se obtiene a la vista de si ésta alcanza (eficiente) o no (ineficiente) la frontera envolvente, y en este segundo caso el nivel de ineficiencia se estima por la distancia respecto de la frontera (cuanto más alejada, más ineficiente) bajo los supuestos seleccionados.
Claro que con la estrategia no paramétrica la "frontera" puede cambiar, y con ella la eficiencia de cada unidad, en función de los supuestos establecidos, de los inputs o factores productivos seleccionados, de los outputs, productos o resultados considerados y de las unidades productivas elegidas.
En términos generales carece de sentido apostar por la superioridad de una técnica frente a otra (paramétrica frente a no paramétrica), y no existe un tipo de aproximación que, en abstracto, resulte óptima para llevar a cabo la evaluación de la eficiencia de un conjunto de unidades productivas. Serán las propias características del sector analizado, así como las restricciones de información, las que determinen, en cada caso, cuál es la técnica de análisis más apropiada4.
Comparativamente las técnicas paramétricas poseen ventajas, por lo que se refiere a la significación estadística de las variables, el cálculo de elasticidades y la capacidad de proyección o generalización. Por su parte, las técnicas no paramétricas, entre las que cabe mencionar el análisis envolvente de datos (AED) y el Free disposal hull (FDH), destacan por su alta flexibilidad. En lo relativo al resto de dimensiones ambas técnicas presentan valores similares.
El análisis envolvente de datos
Se trata de una técnica no paramétrica que permite obtener medidas de eficiencia técnica, de escala, asignativa y de cogestión5, y que ha tenido un notable desarrollo teórico directamente relacionado con su extensión de su vertiente aplicada dirigida a la medición de la eficiencia en muy diversas áreas de la actividad productiva, entre las que se incluye el sector público. Esta tendencia también puede apreciarse con facilidad en la investigación económica realizada en España en los últimos años6, habiendo sido aplicada en campos tan dispares como: la educación, la administración local, la justicia y la sanidad.
El modelo del AED fue desarrollado por A. Charnes, W.W. Cooper y E. Rhodes7, basándose en el trabajo de M.J. Farrell8. Según estos autores se fundamenta en la idea de que una unidad que emplea menos inputs que otra para producir el mismo volumen de output puede considerarse más eficiente que esta última. La principal aportación fue la presentación de un modelo formal que permitía resumir en una sola medida global la eficiencia de organizaciones o unidades productivas que, a partir de múltiples inputs producen múltiples outputs.
En su formulación algebraica, y para el caso de considerar múltiples inputs y outputs de forma simultánea, el índice global de eficiencia de cada unidad productiva analizada se calcula relacionando por cociente la suma ponderada de los outputs y la suma ponderada de los inputs.
En la discusión sobre la técnica de análisis de eficiencia más apropiada parece que, entre todas las técnicas disponibles, el AED se ajusta razonablemente bien al carácter multidimensional del output sanitario pú blico, y por su flexibilidad a la hora de definir el conjunto de producción y su frontera correspondiente resulta especialmente útil, considerando la incertidumbre que rodea, en general, a la "caja negra" (o matriz tecnológica) de este tipo de procesos productivos.
No obstante, a la hora de analizar la utilidad del AED para estimar globalmente la eficiencia de cada una de las unidades productivas que desarrollan su actividad en el ámbito del sector público sanitario es necesario abordar algunas cuestiones metodológicas importantes.
Por lo que se refiere a la diversidad de objetivos y pesos uno de los principales atractivos de este análisis es que permite analizar de forma global los recursos sacrificados, la actividad desarrollada y los resultados alcanzados por las unidades productivas, considerando simultáneamente las múltiples dimensiones de los output obtenidos y los distintos inputs que son empleados, consumidos o desgastados.
Ahora bien, una cosa es que la técnica se adapte a la multiplicidad de objetivos o dimensiones del output público (y que evaluemos a las unidades en función de las ponderaciones más favorables) y otra bien distinta es que, de acuerdo con esas estimaciones, podamos ordenar a las unidades según su comportamiento más o menos eficiente9.
Al menos dos condiciones deberían producirse para que dicha jerarquización fuese aceptable:
1. Que los objetivos o dimensiones del output fueran los mismos para todas las unidades estudiadas.
2. Que los pesos (la valoración social de los objetivos) de cada unidad con respecto a las otras resulten análogos10.
En ámbitos como el de la sanidad la dificultad de medir o evaluar directa o indirectamente estos resultados (aunque se ha intentado hacerlo), implica la utilización de proxies, como por ejemplo el número de pacientes tratados, el número de altas (ajustadas o sin ajustar), el de estancias causadas, el número de extracciones de órganos o el de unidades de complejida d hospitalaria (UCH).
En lo que se refiere a los factores ambientales y exógenos (que pueden escapar al control de las unidades), el modelo convencional de AED supone que no existen factores que queden al margen del control de las unidades productivas; supuesto alejado de la realidad en la mayor parte de los servicios públicos. Los factores ambientales no intervienen directamente en el proceso productivo, pero pueden proporcionar una información muy útil en la explicación de los distintos comportamientos observados. Entre éstos se encuentran el grado de competencia y los factores geográficos o climáticos10. Por otro lado, los factores exógenos son aquellos intervinientes en el proceso productivo que no son totalmente controlables por las unidades. La existencia de este tipo de factores es común en buena parte de los servicios públicos y, en su desarrollo, el AED ha demostrado una notable facilidad para incorporarlos en la medición de la eficiencia. Como ejemplo de factores exógenos se pueden citar la cultura institucional, el estilo gerencial o las internalidades10.
En relación con los problemas derivados de su carácter no paramétrico y determinístico, entre los defectos potenciales del modelo AED tienen especial relevancia: la sensibilidad de los resultados obtenidos a la especificación del modelo, la posible utilización de datos inapropiados, el hecho de que las estimaciones de eficiencia realizadas sean puntuales y la ausencia de técnicas que permitan dar un tratamiento adecuado a los datos perdidos11.
Experiencias del análisis envolvente de datos en el sector público sanitario
Un amplio y detallado resumen de la experiencia acerca de la medición de la eficiencia de las instituciones sanitarias españolas puede encontrarse en J. Puig-Junoy y E. Dalmau (2000)5. También en A. Wagstaff (1989)12 y E. Ley (1991)13 se encuentran trabajos y revisiones de interés. Según los primeros autores, sobre una recopilación de 30 estudios revisados, en 21 casos se estimó la eficiencia mediante el AED, en 8 mediante una frontera estocástica, y en uno mediante una función de distancia paramétrica. En 1996 B. González y P. Barber14,15 llevaron a cabo una comparación entre resultados obtenidos con técnicas paramétricas y no paramétricas.
Principalmente han sido estudiados hospitales generales (solo públicos o públicos y privados conjuntamente), casi siempre pertenecientes a una misma Comunidad Autónoma, como el trabajo de D. Prior y M. Sola (1996)16, y un más reducido número de estudios se han aplicado a departamentos o áreas más desagregadas (como Urgencias, Medicina Interna, Cuidados Intensivos o Medicina Preventiva). Los estudios dedicados al ámbito de la Atención Primaria son relativamente más escasos, como los realizados en Aragón por F. García Latorre (1996)17 y por O. Urbina (2002)18.
Los inputs más frecuentemente seleccionados han sido: el número de médicos, el número de diplomados universitarios en Enfermería (DUE), el número de camas, los gastos corrientes totales y el consumo de bienes corrientes de consumo no inmediato (P. Barber y B. González 1996)15, y se han utilizado como medida del output: el número de altas, el número de estancias (simples o ponderadas), el número de consultas, el número de intervenciones quirúrgicas y el número de urgencias. Algunos autores hacen una aproximación al case-mix (G. López Casanovas y A. Wagstaff, 1992)19. Únicamente M. Solá y D. Prior (1998)20 han intentado introducir como medida del producto la calidad de las actividades a través de la frecuencia de las infecciones nosocomiales. Finalmente, otros estudios más recientes que también han aplicado el método del AED son los realizados por N. Sáenz (2003)21 sobre consultas externas, y J.L. Alfonso (2002)22 entre hospitales de la Comunidad Valenciana.
Más recientemente (2005) el Centre for Health Economics de la Monash University (Reino Unido) publicó un working paper (nº 151) en el que se compara la eficiencia de cerca de una treintena de países todos ellos pertenecientes a la Organización para la Cooperación y el Desarrollo Económico (OCDE), empleando el AED y el índice de Malmquist. Como inputs se han elegido indicadores de política social (no estrictamente sanitaria), y como outputs indicadores de salud facilitados por la OCDE y la Organización Mundial de la Salud (OMS).
A modo de sencillo ejemplo, dentro del ámbito hospitalario podrían utilizarse (entre otras) las variables que se relacionan en la tabla 1.
Algunas conclusiones
1. El uso de indicadores de gestión institucional en el sector público ha conocido un creciente interés en los últimos años al hacerse más explí citos los objetivos de la actividad pública, y establecerse criterios de evaluación y enjuiciamiento de la relación existente entre los recursos aplicados, la actividad realizada y los resultados alcanzados.
2. El inexorable avance desde los primeros indicadores basados en los recursos empleados, hasta aquellos otros más próximos a la idea de productividad o eficiencia, supone manejar sistemas de información cada vez más complejos y exigentes.
3. La más novedosa estrategia que trata de emplear medidas globales de eficiencia se basa en la "distancia" de las distintas unidades analizadas respecto a una función frontera referencial, que se puede estimar apriorísticamente o deducir a partir de las mejores prácticas observadas del conjunto de unidades productivas evaluadas.
4. Tanto las técnicas paramétricas como las no paramétricas pueden ser consideradas metodologías atractivas para su aplicación en la determinación de la eficiencia de las unidades productivas dependientes del sector público.
5. El AED ha tenido un desarrollo teórico notable directamente relacionado con la extensión de su vertiente aplicada orientada a la medición de la eficiencia en muy diversos ámbitos, entre los que se incluye el sector público sanitario.
6. Parece demostrado que una técnica no paramétrica, como el AED, proporciona una mayor flexibilidad y ofrece mayor cantidad de información que otras técnicas disponibles para medir de forma global la eficiencia de las unidades productivas sanitarias públicas.
(1) http://www.ingesa.msc.es/estadEstudios/documPublica/catalogos/ indiceNumer.htm n.º1676.
(2) http://www.ingesa.msc.es/estadEstudios/documPublica/geClif.htm