Objectives. To choose, as part of a strategy of change in the records system, the best sampling design for obtaining data on primary care activity and to evaluate the appropriateness of introducing this design.
Design. An experimental study of the errors committed and the precision of four different sampling designs. A: 8 days a month at random. B: 8 consecutive days a month. C: one day in three systematically (7 days a month). D: one day in four systematically (5 days a month).
Measurements and main results. The calculations of activity indicators obtained monthly for each of the two health centres (31 doctors in general medicine and paediatrics) were compared with the real values, which we already knew from a prior exhaustive search. Type B samples gave the worst results while D contributed the best. In the variables referring to health programmes, unacceptable errors were obtained for all of them.
Conclusions. Type D sampling was selected as the most appropriate. However, the positive and negative aspects to do with the necessity for, and use of, each piece of data, the required precision, the redistribution of tasks needed and the improvement in recording acceptability, must be assessed before it is put into practice.
Objetivo. Elegir, dentro de una estrategia de cambio en el sistema de registro, el mejor diseño de muestreo para obtener datos de actividad en atención primaria y evaluar la pertinencia de implantarlo.
Diseño. Estudio experimental de los errores cometidos y la precisión en cuatro diseños muestrales diferentes: A) 8 días aleatorios al mes; B) 8 días consecutivos al mes; C) sistemáticamente un día de cada tres (7 días al mes); D) sistemáticamente un día de cada cuatro (5 días al mes).
Mediciones y resultados principales. Las estimaciones de indicadores de actividad obtenidas para cada uno de los dos centros de salud (31 profesionales de medicina general y pediatría) y mes se comparan con los valores reales, de los que disponíamos previamente mediante registro exhaustivo (sistemático). El muestreo tipo B es el que da peores resultados, mientras que el D aporta los mejores. En las variables referidas a programas de salud se obtienen errores inaceptables en todos ellos.
Conclusiones. Se selecciona el muestreo tipo D como el más adecuado, sin embargo, antes de llevarlo a la práctica deben valorarse los aspectos positivos y negativos que se presentan en función de la necesidad y utilización de cada dato, la precisión requerida, la necesaria redistribución de tareas y la mejora de aceptabilidad del registro.
Introducción
En la actualidad nadie duda de la necesidad de disponer de datos adecuados para evaluar la actividad y los resultados de la atención primaria, sin embargo se ha cuestionado frecuentemente la adecuación de las diferentes técnicas utilizadas para obtenerlos. Así, por ejemplo, se ha alegado falta de integración de los registros preexistentes en los propios centros dentro de los sistemas de información de apoyo a la gestión (SI) y también se ha cuestionado, especialmente, la necesidad de registrar datos de forma exhaustiva dentro de las consultas1-4.
El registro exhaustivo de datos, que pudo ser una necesidad en las fases iniciales y de consolidación de los SI, debe ser sometido a revisión una vez se ha alcanzado un cierto nivel de madurez o cuando se abordan nuevas áreas de información. Sin embargo, la alternativa que representa un diseño de registro por muestreo, no está desprovista de dificultades. Tiene ventajas e inconvenientes que deben evaluarse seriamente teniendo en cuenta el grado de necesidad y la utilización que se dará a cada tipo de información obtenida.
Las ventajas que se esperan de obtener una muestra suficiente de los datos del SI pueden agruparse en dos parcelas: en primer lugar, la reducción de las cargas de trabajo y la desburocratización de las consultas, manteniendo los registros estrictamente necesarios, y en segundo lugar, esperamos alcanzar, aunque no tengamos referencias que nos permitan cuantificarla, una mejor aceptación del SI que determine que los días de muestra en los que se registren datos, se haga de forma mucho más precisa que durante el registro exhaustivo (mejora de la calidad de los datos). En cualquier caso, el cambio de una forma de registro a otra, nos coloca dentro de un nuevo escenario que debería estudiarse a fondo en sus aspectos positivos y negativos.
Con este trabajo pretendemos evaluar cuál es el mejor diseño de muestreo para obtener datos de actividad en los centros de atención primaria de la Comunidad Valenciana tomando en cuenta el grado de necesidad de cada dato y la precisión requerida, pero también la factibilidad de obtenerlo a partir de registros operativos ya existentes y la capacidad de incorporar este tipo de muestreo en la rutina de trabajo de los profesionales.
Este artículo, además de centrarse en la evaluación de varias muestras en virtud de los errores reales de las estimaciones obtenidas con los diferentes tipos de muestra, también considera otros aspectos relacionados con la decisión de optar por un registro de datos no exhaustivo.
Material y métodos
Tipos de muestras y variables incluidas
El objetivo de nuestro SI está claramente definido y pasa por la obtención de indicadores de actividad de cada centro de atención primaria y cada mes. Por ello, con la muestra buscamos obtener la mejor estimación de los valores absolutos de datos de actividad de cada centro de atención primaria para cada mes del año. Se desestimó la agregación «trimestral» dado que las variaciones mensuales son una gran fuente de dispersión y variabilidad entre centros en virtud de series temporales mensuales bien conocidas5,6 y que tienen interés para nuestros objetivos de gestión.
Una vez revisadas otras referencias7-9, hemos retenido para nuestro trabajo cuatro tipos de muestras en las que cada día laborable del mes tiene la misma probabilidad de ser elegido:
A. Ocho días aleatorios en un mes: se eligen 8 días de forma aleatoria.
B. Ocho días seguidos en un mes: se elige de forma aleatoria un día del mes y a partir de él se cuentan los 8 días. En el caso de llegar al final del mes sin completar los 8 días se continúa el recuento desde el principio de éste.
C. Sistemáticamente un día de cada tres (7 días al mes): se elige de forma aleatoria un día del mes y a partir de él se toma sistemáticamente uno de cada 3 días hasta obtener 7 días. En el caso de llegar al final del mes sin completar los 7 días se continúa el recuento desde el principio de éste.
D. Sistemáticamente un día de cada cuatro (5 días al mes): se procede como en el método anterior hasta obtener 5 días.
Se han realizado estimaciones de doce variables que dependen de la declaración directa de los profesionales de medicina general y pediatría. De la cita previa se estiman los pacientes citados que no se presentan; la clasificación del tipo de consulta según la siguiente jerarquía: consultas a iniciativa del EAP por programas de salud reconocidos en el centro (programadas), consultas a iniciativa del EAP en virtud de un protocolo clínico (protocolizadas), consultas clínicas a demanda del paciente por un proceso nuevo, consultas clínicas a demanda del paciente por un proceso conocido y consultas puramente administrativas; las derivaciones a asistencia especializada y las solicitudes de pruebas de laboratorio y radiología. En las consultas programadas se han estimado para cada programa de salud del centro: los pacientes incorporados al programa, las consultas individuales y las actividades realizadas con grupos.
Medición de los errores cometidos por cada tipo de muestra
Para comparar los tipos de muestreo elegidos se ha utilizado un método experimental (método de Montecarlo)10. El proceso consistió en recoger exhaustivamente los datos de todos los días del mes de dos centros de salud del Área 6 (Economista Gay y Trinitat) donde desarrollan su trabajo 31 profesionales de medicina general y pediatría. La selección de estos dos centros se realizó en virtud de la disponibilidad de la información que buscábamos en soporte informático y desagregada por días. De esta forma conocíamos los totales reales de las variables que pretendíamos estimar. En un segundo paso, para cada centro, se extrajeron de estas mismas bases de datos cuatro muestras diferentes de cada tipo de muestreo (2 centros x 4 tipos x 4 muestras de cada uno de ellos = 32 muestras en total). A continuación, con los datos obtenidos en estas muestras, se ha hecho una estimación de las variables y finalmente, por diferencia con el valor real se han calculado los errores cometidos.
Estimación de consultas mensuales en un centro, error estándar mensual y errores cometidos
Sean: Y media de consultas diarias de la muestra.
Desviación típica de consultas diarias de la muestra: Sy .
Número de días del mes: N.
Número de días de la muestra: n.
Fracción muestral: f=(n/N).
Estimación consultas mensuales:
Y= N*y = N* (sum)n yi i=ln
Estimación del error estándar mensual:
Sy= N*Sy *(check)l-f
(check)n
Errores cometidos: se toma el porcentaje sobre consultas reales, de la diferencia de las consultas estimadas con las reales en valor absoluto:
e = 100* Y-YY
siendo Y las consultas reales. Como soporte informático de todo este proceso se han utilizado los programas informáticos dBASE-III y SPSS/PC+ en su versión Windows. Los datos de los centros se han recogido con la aplicación SIGCEN (SIGAP para los centros) realizada en Clipper.
Resultados
En la tabla 1 se ofrece un resumen de los resultados obtenidos para el primer grupo de variables. En ella presentamos el mayor error encontrado y el error medio de las ocho muestras diferentes (4 muestras x 2 centros) para cada tipo de muestreo y variable.
Errores máximos
Según el tipo de muestreo, y en el peor de los casos, tenemos unos errores máximos de 35,3% en la muestra A (8 días aleatorios), de 39,8% en la muestra B (8 días seguidos), de 31,3% en la muestra C (uno de cada 3 días) y de 25,2% en la muestra D (uno de cada 4 días). Por variables, estos máximos se alcanzan en las derivaciones a radiología en las muestras A y B, en el total de consultas por programas en la muestra C y en los no presentados en la muestra D.
Errores medios
Por tipo de muestreo, en el peor de los casos, tenemos unos errores medios de 22,7% en la muestra A, de 29,9% en la muestra B, de 22,0% en la muestra C y de 22,4% en la muestra D. Las variables que alcanzan los peores errores medios son las mismas que en el caso de errores máximos. Las mejores estimaciones obtenidas rondan valores cercanos al 0% en casi todas las variables.
Consultas por programas de salud
En la tabla 2 se resumen los errores máximo y medio de las 3 variables registradas dentro de la actividad de programas de salud. Independientemente del tipo de muestreo y de la variable, el error máximo obtenido siempre ha superado el 100%, llegando hasta un 600%.
Por tipo de muestreo, en el peor de los casos se obtienen unos errores medios de 32,3% en la muestra A (8 días aleatorios), de 29,8% en la muestra B (8 días seguidos), de 41,3% en la muestra C (uno de cada 3 días) y de 37,3% en la muestra D (uno de cada 4 días). Por variables, en el peor de los casos, se obtienen unos errores medios de 41,3% en los incorporados, de 34,9% en consultas individuales y de 32,4% en las reuniones.
Precisión esperada de la muestra
Este método experimental (obtener una muestra a posteriori cuando ya tenemos el universo) no puede ser una forma de trabajo en la práctica diaria, por ello si optamos en el futuro por obtener determinados datos por muestreo ya no estaremos en disposición de calcular los errores cometidos sino que deberemos guiarnos, como es habitual en los muestreos, con el cálculo de la precisión de la muestra y los consiguientes intervalos de confianza. Por ello presentamos (tabla 3) también como resultado, y a modo de tabla de consulta, las precisiones esperadas en una muestra del tipo D (fracción de muestreo f=0,24). En ella apuntamos datos hipotéticos y orientativos: partiendo de las medias de la variable «número de consultas diarias» (o cualquier otra variable) y sus desviaciones típicas obtenidas en una muestra, podremos estimar, siguiendo la tabla, las consultas mensuales y su error estándar. A partir de estas estimaciones se calcula la precisión de la muestra en cada variable. (Por ejemplo, si la muestra que obtenemos arroja una media de 5 consultas diarias con una desviación típica de 3, ello nos conduce a estimar que en un mes tenemos 105 consultas con un error estándar de 24,6, lo que proporciona una precisión del 23,4%.)
Aunque en nuestro caso esta operación no será necesaria, puesto que a través de la aplicación informática se asociará automáticamente a cada indicador el cálculo de su precisión, esta tabla puede orientar a potenciales usuarios del sistema de información sobre la precisión esperada de distintos datos obtenidos en la muestra en función de su frecuencia (incidencia) y su dispersión.
Discusión
De la misma forma que se desestimó la agregación trimestral para el cálculo de los indicadores debido a la variabilidad mensual, también se descartaron otros tipos de diseños muestrales por requerir fracciones de muestreo excesivas que en ningún caso compensarían los riesgos, o por su imposibilidad de incluirlas en la rutina diaria con las mínimas garantías de validez y control (los profesionales deben saber claramente, qué, cuándo y cómo, se les solicita registrar datos, con un mínimo de garantía de cumplimiento en la recogida y sin que suponga mayor esfuerzo o confusión que el registro exhaustivo).
A la vista de los errores máximos obtenidos, podemos considerar que el mejor tipo de muestreo es el D (uno de cada 4 días, hasta 5) y el peor el B (8 días seguidos). Si tenemos en cuenta los errores medios, los mejores diseños son el C (uno de cada 3 días, hasta 7) y el D con muy poca diferencia (0,4%), mientras que el peor sigue siendo el B. Estos resultados parecen indicar que la muestra que mejor estima las variables que queremos medir es la D (uno de cada 4 días, hasta 5 días al mes), siendo el B (8 días seguidos) el que da peores resultados. La muestra D (fracción de muestreo f=0,24) obtiene mejores resultados con una muestra menor que el resto (f=0,38 en A y B); esto puede ser debido a que se adapta mejor a las fuertes variaciones semanales y mensuales descritas en la demanda de servicios en atención primaria (5,6). De hecho, en este diseño muestral tenemos representados por igual todos los días de la semana y todas las semanas del mes.
En las tres variables correspondientes a los programas de salud encontramos errores máximos inaceptables para estimar la actividad realizada dentro de un programa de salud específico, pues casi siempre se supera el 100% de error cualquiera que sea el tipo de muestra. En cuanto a errores medios, el mejor tipo de muestreo es el B (8 días seguidos), al contrario que en el grupo anterior donde era el peor, probablemente porque la actividad programada no está sujeta a las variaciones de la demanda anteriormente alegadas. El hecho de que estos tipos de muestras realizadas por días enteros de trabajo sean inaceptables, puede ser debido a que determinados programas de salud no se realizan todos los días o que su incidencia (numero de consultas o captaciones) es demasiado baja. En cualquier caso, este tipo de muestras se evidencian no utilizables cuando se trata de medir actividades que tienen un patrón no aleatorio o que son de muy baja incidencia (tabla 2) como los indicadores de cada uno de los programas de salud.
Hay que resaltar que habitualmente sólo conoceremos la precisión de la muestra, que solamente contempla los posibles errores aleatorios debidos al azar, mientras que los errores reales calculados por el método de Montecarlo miden los errores aleatorios reales más los posibles errores sistemáticos (sesgos) introducidos por los diferentes diseños muestrales evaluados. Por ejemplo, el promedio de incorporados al mes considerando todos los programas es de 24, aunque la mitad de los programas tienen 0 incorporados y las actividades mensuales de grupo tienen un promedio de uno al mes (ambos datos tomados de los 2 primeros meses de 1995 en centros de salud). Todos estos hechos no hacen más que constatar la existencia de importantes limitaciones, ya reseñadas por otros autores7,11, en las estimaciones obtenidas a partir de este tipo de diseños. Comparar nuestros resultados con los de otros estudios resulta, cuando menos, complejo, ya que las variables medidas, los períodos de tiempo valorados o los métodos de muestreo empleados son diferentes.
Tan importante como optar por un diseño de muestreo u otro (que dependerá en cada caso de las variables que pretendamos medir), es la reflexión previa en la que debemos decidir si la necesidad, o el uso que se le va a dar a la información, nos permite trabajar con los márgenes generalmente amplios, tanto en nuestro estudio como en otros7,8 de los intervalos de confianza en lugar de hacerlo con el valor puntual del indicador obtenido por registro exhaustivo. No se trata, por tanto, de tomar una postura: muestreo sí; muestreo no, sino de supeditar los objetivos de información a las necesidades de gestión2,4 y decidir en cada caso en función de ellas.
Si trabajamos con los márgenes de precisión descritos en este estudio, nuestra información puede quedar inutilizada definitivamente para determinados usos como presupuestación o incentivación, aplicaciones que ya de por sí mantienen algunas cuestiones por resolver, especialmente en atención primaria. De la misma forma se pierde la posibilidad teórica de obtener indicadores de actividad para cada profesional, puesto que plantear un muestreo que obtenga resultados significativos en cada uno de los profesionales de un centro representaría una reducción de cargas de trabajo tan pequeña que no tendría sentido.
Es la necesidad de disponer de una determinada información la que nos lleva a asumir el esfuerzo necesario2,12 para su recogida y elaboración. En el caso que nos ocupa (recogida muestral), la finalidad es reducir ese esfuerzo. Esto lleva aparejado unos riesgos: sesgo de información al conocerse de antemano los días en que se registrará la actividad, pérdida de la cultura/hábito de registro costosamente introducido en atención primaria13 y también la pérdida de precisión intrínseca a todo proceso de muestreo14. Por otro lado, no debemos olvidar que esta forma de recogida conlleva nuevas tareas: selección y control de la muestra, cálculo de estimaciones, desarrollo informático, validaciones periódicas del proceso, etc. que también deben ser sopesadas. Por el contrario, se espera conseguir una mejor calidad de registro respecto a la recogida exhaustiva, candidata a una mayor aceptabilidad del SI en su conjunto por parte de los profesionales implicados. Este aspecto resultará difícil de medir excepto, quizás, a través de las opiniones subjetivas de los facultativos.
Es una constante, en los sistemas de declaración, el hecho de que sólo se consigue un funcionamiento adecuado si los profesionales que registran los datos los aceptan y comparten. Esta realidad adquiere mayor dimensión si con la técnica de muestreo debemos compensar los riesgos descritos con una franca mejora en la calidad del registro de actividades. Por ello, aunque deben ponderarse detalladamente las cargas de trabajo que estos registros generan y las demandas en ese sentido, parece prudente dar el salto cuando una vez maduro y comprendido el SI se quiera liberar de esfuerzos a los encargados de recoger los datos cuando expresen dicha necesidad. La mejora en la aceptabilidad probablemente sólo se dé en aquellos casos en que exista previamente una percepción subjetiva15 de exceso de trabajo burocrático no justificado dentro de las consultas. En nuestro medio, disponemos de información contradictoria respecto a este punto. Por una parte tenemos comunicaciones personales y datos objetivos obtenidos en encuestas a 112 profesionales de medicina y enfermería realizadas antes y después de asistir voluntariamente a los talleres de implantación del SI16, que indican que estas cargas (clasificación del tipo de consulta y derivaciones, codificadas mediante una cruz) no son excesivas o están suficientemente justificadas. Sin embargo, otros acreditados profesionales también se han expresado personalmente en sentido contrario.
La problemática de cada colectivo de profesionales transciende en ocasiones el rigor metodológico deseable en cualquier SI, por ello determinados colectivos de enfermería, matronas, trabajadores sociales e incluso medicina, expresan frecuentemente su deseo de registrar algunos datos que el SI en su diseño inicial no retenía al no superar los necesarios criterios de inclusión.
En conclusión, el registro de la actividad de atención primaria por muestreo presenta ventajas e inconvenientes que deben sopesarse seriamente teniendo en cuenta el grado de necesidad y la utilización que se dará a cada tipo de información obtenida. En nuestro estudio comprobamos que la imprecisión de las estimaciones hace que el método sea inaceptable para medir ciertos tipos de actividad poco frecuente o estructurada de forma no aleatoria, como puedan ser determinados programas de salud o la morbilidad por enfermedades poco habituales. Entre los cuatro diseños probados, hemos retenido como más adecuado a nuestros intereses aquel que recoge información de uno de cada 4 días del mes a partir de una fecha de arranque aleatoria.
El camino para tomar una decisión respecto a la posibilidad de recogida muestral de un dato sería el siguiente:
1. Una vez evaluada la pertinencia de la inclusión del dato en el SI por cualquiera de las metodologías específicas disponibles17, se valorará la factibilidad de emplear los registros operativos del centro (ya existentes) como la cita previa, programas de salud, registros de laboratorio, historia sanitaria u otros.
2. Proponemos registrar de forma exhaustiva (sistemáticamente) aquellas variables en las que no pueda asumirse la falta de precisión en las estimaciones, bien por la necesidad del dato, bien por la utilización que va a hacerse de él. También en aquellos casos en que el colectivo que genera y recoge la actividad no sienta la necesidad de reducir las cargas de trabajo que le genera el registro.
3. En el resto de los casos, proponemos utilizar técnicas de muestreo.
