¿ Introducción
Todo marco teórico corresponde a un modelo, es decir una representación de la realidad, y por lo tanto (al ser representación), es una estructura que puede ser cuestionada y mejorada. El verdadero valor de un modelo teórico es lo que puede predecir, la utilidad que puede proporcionar, incluso aunque no fuera exacto. La investigación clínica considera muchos tipos de modelos (fisiopatología, diagnóstico, tratamiento, pronóstico, entre otros), pero recientemente y por necesidad, los modelos del área de la salud se han ampliado para responder a inquietudes de tipo organizacional, administrativo y económico (análisis de operaciones para las instituciones de salud, fármaco-economía, organización de la estructura hospitalaria). Estos modelos son complejos y en esencia (como todos los modelos) deben tener en conjunto una estructura que corresponda de alguna manera a una parte de la realidad o un fenómeno.1 Para evaluar la utilidad de un modelo se debe escoger los grupos adecuados para hacer comparaciones, contar con instrumentos de medición calibrados, y saber cómo deben aplicarse éstos instrumentos. Todo esto encierra conocimiento en metodología de investigación.
Un abordaje metodológico es la reflexión sobre los pasos necesarios para construir, entre otros aspectos, los instrumentos de medición idóneos para los objetivos de un estudio particular. En el presente artículo analizamos el abordaje clásico de la administración, que contempla a un supervisor que evalúa la actividad de las personas que ejecutan los procesos. Consideramos como ejemplo un modelo conocido como el Método de Enfermería (ME) cuya evaluación en el HGM involucró a los supervisores del área para calificar al personal que está en atención directa con los pacientes.
La enfermería profesional en el Hospital General de México (HGM) se desarrolló durante algo más de 90 años con un enfoque biomédico donde el punto de vista predominante era la patología de los pacientes y no en sus necesidades o respuestas humanas.2
La Coordinación de Modelos de Atención de Enfermería estandariza y planifica los cuidados de enfermería aplicando el ME; esto es, dirige "Modelos de Cuidados" para la atención integral de los pacientes, administrando cuidados de forma racional, lógica, sistemática, individualizada, continua y de calidad, de acuerdo a la priorización de los problemas de salud presentes y potenciales.3 El ME, como se conoce en la actualidad, fue desarrollado por la Hermana Roy, quien estableció un marco de referencia que permite consolidar la identidad de la profesión de enfermería en su quehacer independiente;4 sin embargo, hasta ahora son muy pocos los estudios que han analizado el impacto del ME sobre el quehacer de la enfermera o incluso cómo su aplicación afecta el bienestar del paciente.
El ME ha sido la base para elaborar múltiples programas de salud. En España, Fernández Sola y colaboradores,5 desarrollaron un instrumento para aplicar el ME en servicios de medicina nuclear en un Hospital de Almería, España y concluyeron que el ME sirve como mapa de cuidados, facilita el trabajo y ayuda a registrar las intervenciones practicadas en pacientes. Almeida y colaboradores,6 realizaron un estudio con 1665 expedientes (fuente de datos retrolectiva) de un hospital de ancianos donde evaluaron el ME para identificar diagnósticos de enfermería en ancianos hospitalizados lo que disminuyó el riesgo de complicaciones inherente al largo tiempo de hospitalización de éstos pacientes. En el HGM, Castro y colaboradores,7 analizaron la frecuencia de la aplicación del ME en 29 servicios y detectó que 76% del personal de enfermería del hospital conoce el ME pero sólo 5% lo aplicaba.
La sistematización del ME también se ha aplicado a programas que pueden tener efectos sobre la comunidad. Recientemente evaluamos el impacto que tiene la consejería de enfermería sobre la disminución de complicaciones de parto asociadas a la presión arterial.8 Este estudio sugiere que es posible analizar indicadores del impacto que se tiene el ME en la salud de los pacientes.
Evaluar el papel de enfermería dentro del sistema de salud es complejo debido a todos los matices que existen en los hospitales del Sector Salud. ¿Cómo evaluar el quehacer de enfermeras de un hospital del área rural o urbana, de enfermeras en primer nivel o de tercer nivel, del turno matutino o del vespertino?, ¿Quién va a poder determinar con certeza lo que es justo para una evaluación de este tipo? Comprendemos que cualquier instrumento de evaluación va a ser incompleto ya que no puede abarcar todas las dimensiones humanas en las que participa el trabajo de enfermería. El presente estudio es una primera aproximación para dar una respuesta al problema. Describimos la metodología que diseñamos para obtener el FIME y el efecto de los supervisores al calificar el quehacer de enfermería a través del ME.
Dentro de esta etapa de evaluación del FIME realizamos diferentes modelos de aproximación para comparar servicios y turnos de trabajo de enfermeras del HGM. Además evaluamos a los evaluadores mismos (supervisores) para determinar el efecto que ellos tienen sobre la varianza de las calificaciones del instrumento.9-12 La meta más importante del ensayo es compartir la experiencia ganada al realizar la metodología para la construcción de la herramienta de evaluación.
¿ Métodos
Instrumento: El FIME se diseñó a través de un riguroso proceso, obteniéndose un instrumento de 34 preguntas con base en las cinco etapas del ME. El proceso de tres fases (que se describen en la sección sobre Procedimiento) redujo el número de preguntas del instrumento, pero identificó las principales acciones e intervenciones que debieron ser desarrolladas en cada una de las etapas de la metodología. Estas etapas del ME incluyen valoración, diagnóstico de enfermería, planeación, ejecución y evaluación. En la última fase se aplicó a un grupo de trabajadores de los servicios del HGM en una ocasión, se diseñó como estudio transversal, observacional y prolectivo.13
Procedimiento: La prueba de confiabilidad del FIME se llevó a cabo en tres partes:
Fase 1. Diseño del instrumento con preguntas dicotómicas (Sí-No) con un total de 29 preguntas. Esta escala de medición fue de poca información ya que una escala dicotómica es muy limitada y no puede haber opciones intermedias o poder analizar aspectos de grado de compromiso en cada una de las etapas del ME.
Fase 2. Se empleó el método Delphi14 que colectó, en una primera ronda, la opinión anónima de un grupo de cuatro expertos en Teorías, Modelos y Método de Enfermería mediante un cuestionario. Los expertos tenían formación de posgrado y además estaban vinculados a instituciones académicas de Enfermería. Las respuestas obtenidas, se analizaron y resumieron con la consecuente reestructuración del instrumento. El cambio más significativo sugerido por los cuatro expertos consistió en transformar la escala dicotómica por una tipo Likert y se eliminaron tres preguntas quedando un instrumento con 26 ítems. En una segunda ronda se entregó el instrumento a los expertos para la obtención de una nueva opinión, en la que no se sugirieron cambios significativos.
Fase 3. Posterior a la adecuación del instrumento, se consideró una nueva muestra de enfermeras de los servicios de Cirugía General, Medicina Interna, Gineco-Obstetricia y Nefrología. En estos servicios se aplicó un modelo de atención con base en el ME desde el año 2004. El personal incluido en este estudio se debía haber recibido capacitación del ME (el curso Monográfico del Método de Enfermería que dura 30 horas). En los días previos a evaluación los supervisores (que también habían recibido el curso Monográfico mencionado) recibieron un curso de dos horas para puntualizar las preguntas del cuestionario y encontrarse activo en el servicio dentro de uno de los cuatro turnos de trabajo.
El tamaño de la muestra fue calculado con método de población finita con intervalo de confianza de 95%, p = 50%, q = 50% y 5% de error máximo, con lo que se obtuvo que era necesario aplicar 100 instrumentos.15 La recolección de datos se llevó a cabo del tres al 16 de marzo de 2009. Se aplicaron nueve instrumentos diarios (tres por turno) en los servicios de Medicina Interna (Unidades 108, 110, 308) y Cirugía General (Unidades 303, 304, 305, 306, 307). Participaron 26 evaluadores previamente capacitados (cuatro integrantes de la Coordinación de Modelos de Atención de Enfermería, Supervisores de los cuatro turnos y Jefes de Enfermeras de los servicios seleccionados).
Analisis estadístico: Se empleó el programa SPSS versión 15 para realizar el análisis estadístico. Los datos se expresaron como promedio (desviación estándar), si se empleó error estándar se especificó en el texto. Debido a que la muestra final fue de 100 sujetos, los porcentajes son idénticos a la frecuencia.
Para determinar la reproducibilidad interna se calculó el coeficiente Alfa de Cronbach. La sensibilidad para detectar diferencias entre grupos se realizó a través de contraste entre promedios de cada servicio para cada una de las etapas del ME. El contraste fue hecho con análisis de covarianza (ANCOVA) ajustado para el personal evaluado de acuerdo al nivel académico, categoría, número de años en servicio, edad y el servicio al que pertenecía. En un segundo análisis se incluyó al evaluador como factor aleatorio en el ANCOVA.
Finalmente, se realizó un análisis de componentes principales de las variables evaluadas por el FIME donde el componente uno explicó 78.3% de la varianza total, y las calificaciones obtenidas se emplearon como variable dependiente en un modelo de ANCOVA. Además se hizo un análisis de componentes de la varianza para calcular el porcentaje de error total de la calificación del componente atribuible a los servicios y a los evaluadores, ambos clasificados como factores aleatorios.
Ética: No hubo riesgos ni daños en la investigación ni para los que participaron en ella. La práctica de supervisar el desempeño de enfermería es rutina común en los hospitales de México no es necesario solicitar consentimiento informado; sin embargo, se pidió consentimiento verbal para los evaluados y evaluadores que participaron en el desarrollo del instrumento.
¿ Resultados
El cuestionario validado con el Método Delphi quedó constituido por 26 preguntas (Anexo). A la etapa de valoración correspondieron 10 preguntas y mostró coeficiente Alfa de Cronbach de 0.99; la etapa de diagnóstico de enfermería tiene preguntas y obtuvo un Alfa de 0.943; planeación consta de tres preguntas y presenta un Alfa de 0.879; la etapa de ejecución tiene cinco preguntas con un Alfa de 0.796; evaluación consiste en cuatro preguntas y tiene un Alfa de 0.909. El coeficiente para el FIME total fue de 0.965.
Se evaluaron 100 personas, de las cuáles 98% fueron mujeres con edad promedio de 37.7 ± 8.3 años (min. 21, máx. 58). La muestra se obtuvo de los servicios de Medicina Interna 108 (15%), 110 (12%) y 308 (11%), de los servicios de Cirugía General 303 (13%), 304 (13%), 305 (9%), 306 (14%) y 307 (13%). De los evaluados, 43% laboraban en el primer turno, 24% en el segundo turno, 15% en la velada A y 18% en la velada B. El número de años de servicio fue en promedio 13.1 ± 8.4 años (min. 1, máx. 37).
De la muestra, 7% tuvo nivel académico de Auxiliar de Enfermería, 73% Enfermera General, 14% Licenciatura, 5% Enfermera Especialista y 1% con grado de Maestría. Las categorías de trabajo fueron 25% como Auxiliar de Enfermería, 68% Enfermera General, 6% Licenciatura y 1% Enfermera Especialista.
En el estudio participaron 19 evaluadoras que aplicaron el FIME, cada una evaluó entre tres y 10 individuos. De los evaluadores 36.8% (n = 7) tuvo nivel académico de Enfermera General, 57.9% (n = 11) de Licenciatura y 5.3% (n = 1) de Maestría.
En la Tabla 1 se observa que algunos de los servicios quedaron desbalanceados respecto al número de investigadores, v.gr.: el evaluador 19 llenó seis instrumentos en el servicio 306, lo que correspondió a 43% de todas las evaluaciones de ese servicio. Algo parecido ocurrió con el evaluador cinco y servicio 305, el evaluador 11 y el servicio 305 y el 17 respecto al servicio 303.
El FIME mostró sensibilidad para detectar diferencias entre grupos (servicios 305 y 306) respecto a la aplicación del ME (Figura 1, panel A). Sin embargo, al incluir al evaluador como un factor aleatorio en el modelo estadístico, se observó que estas diferencias disminuyeron sustancialmente (Figura 1, panel B).
¿ Figura 1. La gráfica muestra la comparación de promedios del componente principal 1, que corresponde a 78% de la varianza de las calificaciones. Los paneles muestran: A) Calificación por servicio. Se observan diferencias entre el 305 con 306, 307 y 308. B) Cuando la calificación por servicio se ajustó por evaluador hubo menor diferencia entre los servicios. La explicación de esta aparente discrepancia se debe a C) Calificación por valuador. La varianza del componente 1 se debe principalmente a los evaluadores. El servicio 306 fue calificado exclusivamente por el evaluador 19 en 43% de sus evaluaciones. De la misma forma puede observarse que el evaluador 12 hizo 53% de las evaluaciones del servicio 108.
El análisis de partición de la varianza mostró que el efecto del evaluador explica cerca de 80% de la varianza total del instrumento (Figura 1, panel C).
¿ Discusión
Este análisis demuestra la dificultad de evaluar adecuadamente el ME, aunque la herramienta FIME tiene alta validez interna, se ve afectada por el operador, que en este caso es el supervisor de enfermería. Esta variación de casi 80% deberá disminuirse a través de estrategias de estandarización o de utilizar otras alternativas para evaluar el ME que pueden incluir al paciente y al mismo personal involucrado.
El ME de la Hermana Roy fue descrito por primera vez en la UCLA en 1964 y sistematizó aspectos como:16 ¿A quién debe dirigirse la atención de enfermería?, ¿Cuál es el objetivo del cuidado de enfermería? y ¿Cuándo debe realizarse el cuidado de enfermería?
El proceso de elaboración de un instrumento de evaluación del ME nos ha permitido analizar el papel que juegan todos los participantes, tanto a los evaluados como los evaluadores, en la variabilidad de las calificaciones obtenidas. El FIME es un instrumento que tiene alta reproducibilidad interna y puede detectar diferencias entre grupos; sin embargo, es muy sensible a los efectos del evaluador. Los evaluadores explican el mayor porcentaje de variabilidad del instrumento, incluso mayor que la varianza atribuible a los servicios. La experiencia obtenida puede extenderse a la forma de realizar evaluaciones diversas áreas, desde los exámenes de los alumnos en formación profesional hasta las evaluaciones hospitalarias realizadas por al Secretaría de Salud.
Durante el proceso de elaboración del FIME empleamos algunos métodos de validación como el Delphi y la sensibilidad para detectar diferencias entre grupos. Nosotros incluimos un análisis que pocos estudios escrutinan y es la partición de la varianza para determinar el porcentaje de participación de los evaluadores sobre la respuesta del instrumento.
El método que empleamos es con mucho la forma estándar de cómo se validan los instrumentos; sin embargo, agregamos el efecto que tienen los evaluadores. Es común que en los estudios se considere la dispersión de los evaluados y muy poco se hace con los evaluadores. El evaluador tiende a calificar bajo o alto de acuerdo a sus propios estándares. Se intentó disminuir este tipo de error con un curso de capacitación sobre cómo evaluar, esta medida tuvo impacto en la mayoría de evaluadores (Figura 1, panel C).
La evaluación del ME implica que los supervisores deben estar preparados conociendo a profundidad el instrumento, pero parece que esto no es suficiente, se deberá diluir el error calificando múltiples servicios, y a su vez, un servicio debe ser calificado por múltiples evaluadores. Probablemente también deberá de hacerse una distribución aleatoria de los supervisores para cada uno de los servicios. Observamos el efecto del desbalance de algunos servicios respecto a que hubo predominio de un solo evaluador sobre la calificación final. Al eliminar el efecto de los evaluadores se observó que los servicios no son tan disímiles entre sí.
El reto para este tipo de instrumentos es precisamente disminuir el efecto de los evaluadores para que la prueba mida la calidad de los cuidados y verifique que sean oportunos, eficientes, seguros, éticos y humanitarios. Las evaluaciones sesgadas son comunes en las escuelas. Cuando se hace la evaluación de los maestros por parte de los alumnos, se ha observado que los maestros con alta calificación son los blandos con los alumnos, y lo contrario ocurre con los maestros exigentes. Lo que observaron los investigadores es que en materias llevadas posteriormente los estudiantes de maestros poco exigentes tienden a tener en promedio menor calificación que los alumnos de maestros exigentes.17
El proceso de evaluación debe contener aspectos como cursos o talleres que enseñen la materia de interés y recibir algún reconocimiento que se tiene la capacidad de ser evaluador. Además tal vez sería adecuado que los evaluados califiquen a sus evaluadores respecto a aspectos objetivos. Las estrategias pueden ser varias y seguramente ninguna será completa, pero definitivamente se necesita hacer modificaciones efectivas en el proceso.
El instrumento de evaluación FIME y su instructivo de aplicación fueron enviados por la Subdirección de Enfermería de esta Institución como una propuesta a la Comisión Permanente de Enfermería a cargo de la Dirección General de Calidad y Educación en Salud. El objetivo del envío fue obtener su aprobación para que luego sea difundido a nivel nacional, como una aportación del HGM al gremio de enfermería del país. Esto cubriría la necesidad planteada de tener un método de evaluación de la calidad de los cuidados. Estamos conscientes de las limitaciones que hemos presentado pero con el tiempo se podrá perfeccionar. Recientemente el FIME fue evaluado como parte de un proyecto de implementación del ME en la práctica profesional de enfermería y participó por uno de los premios de calidad a la innovación (Premio Nacional a la Innovación en Calidad 2010).18
El ME basado en la propuesta de Roy continúa evaluándose en diferentes países para que sea adaptado a los nuevos aspectos de salud que enfrentamos,19 y en la mejoría de la dinámica de la calidad de vida de los pacientes,20 adaptación al estrés post-traumático,21 aplicación en enfermedades crónicas como diabetes tipo 2,22 o en población geriátrica.23 Por tan amplia variedad de aplicaciones la evaluación en los diferentes campos de la salud es necesaria y por ello debemos continuar estudiando y mejorando las formas de evaluación del ME.
¿ Conclusión
El FIME es un instrumento que evalúa el ME, es sensible para detectar diferencias entre servicios, pero también es muy sensible al evaluador, por lo que deberá estandarizarse en forma más estricta de tal manera que se disminuya el efecto de estos evaluadores sobre la varianza de las respuestas. En general, la metodología que hemos aplicado puede emplearse en la construcción de instrumentos que puedan ser muy sensibles a los criterios de los evaluadores.
Correspondencia: Dr. Juan Carlos López-Alvarenga.
Dr. Balmis 148, Col. Doctores Delegación Cuauhtémoc. C. P. 06726, México,
Teléfono: 2789 2000 D. F.
Correo electrónico: jclalvar@sfbrgenetics.org.