Validar un instrumento de evaluación formativa del agente comunitario de salud.
DiseñoEstudio metodológico con enfoque cuantitativo.
EmplazamientoRealizado en 2 municipios del Sur de Brasil.
ParticipantesCuarenta enfermeras y 350 agentes comunitarios de salud.
Mediciones principalesEl instrumento se desarrolló en base a un marco de competencias del Ministerio de Salud. Se utilizó el método de análisis de componentes principales para el análisis factorial. La validez interna y la fiabilidad se midieron por el alfa de Cronbach. Se utilizaron el coeficiente de correlación intraclase, la prueba de la t de Student para muestras emparejadas y el análisis de varianza ANOVA.
ResultadosEl análisis factorial dio lugar a una estructura con 6 factores y se mantuvieron las 52 competencias del instrumento original. La versión final del instrumento se estructuró en 6 dominios: «Seguimiento del micro área» (12 competencias); «Promoción de la salud» (9 competencias); «Prevención y seguimiento de grupos y morbilidades específicos» (10 competencias); «Prevención y seguimiento del riesgo ambiental y social» (9 competencias); «Planificación y evaluación» (7 competencias) y «Trabajo en equipo» (5 competencias). El coeficiente alfa de Cronbach fue de 0,981, la prueba y la nueva prueba fue de p=0,851 por la prueba de la t de Student, y el ICC fue de 1,0.
ConclusionesEl instrumento validado constituye una referencia importante en la discusión del trabajo del agente comunitario de salud en el contexto actual de las políticas de salud pública. Además de apoyar el papel de las enfermeras en la supervisión/capacitación en el servicio de estos profesionales.
To validate a formative evaluation instrument of the community health agent.
DesignMethodological study with a quantitative approach.
LocationCarried out in two municipalities in the South of Brazil.
Participants40 nurses for 350 community health agents.
ParticipantsThe instrument was developed based on a competency framework of the Ministry of Health. The principal component analysis method was used for factor analysis. Internal validity and reliability were measured by Cronbach's alpha. The intraclass correlation coefficient, the Student's t test for paired samples and the ANOVA analysis of variance were used.
ResultsThe factor analysis produced a factor structure with six factors and the 52 competencies of the original instrument were maintained. The final version of the instrument was structured into six domains: “Micro-area monitoring” (12 competencies), “Health promotion” (nine competencies), “Prevention and monitoring of specific groups and morbidities” (10 competencies), “Prevention and monitoring of environmental and social risk” (nine competences), “Planning and evaluation” (seven competences), “Teamwork” (five competences). Cronbach's alpha coefficient was 0.981, the test and the new test was p=0.851 by the Student's t-test, and the ICC was 1.0.
ConclusionsThe validated instrument constitutes an important reference in the discussion of the work of the Community Health Agent in the current context of public health policies. In addition to supporting the role of nurses in the supervision/in-service training of these professionals.
El agente comunitario de salud (ACS) es un profesional que actúa en los equipos de salud de familia en Brasil, siendo considerado el enlace entre la comunidad y el equipo1–3. Esta condición del ACS ha generado un debate acerca de su área de actuación, visto que sus actividades transcienden el campo de la salud, ya que requieren atención a múltiples aspectos de las condiciones de vida de la población.
Instituidos en el sistema único de salud (SUS) en 1991, por medio del Programa de Agentes Comunitarios de Salud (PACS), han contribuido para la extensión de cobertura y la estructuración de la atención primaria de salud (APS) en el país4. El ACS forma parte de una de las categorías de trabajadores más numerosas del SUS. De los 5.570 municipios brasileños, hasta mayo de 2020, 5.488 poseían ACS, llegando a 256.999 agentes en todo el país con una cobertura del 60,92%5.
Su historia profesional ha sido construida con la movilización por su reconocimiento, inserción, reglamentación y valorización. La preparación para su trabajo prevé una formación inicial, con carga horaria mínima de 40 h, observando componentes curriculares básicos, pudiendo agregar conocimientos con respecto a las especificidades locorregionales. Esta participación integral en el curso introductorio habilita al interesado al ejercicio de la actividad, este proceso debe tener continuidad en el trabajo4,6.
La formación en el trabajo prescinde de recursos para su operacionalización. En este contexto, los enfermeros asumen un importante papel de supervisión del ACS, pero carecen de instrumentos adecuados para ejercer esta actividad, considerándose que se trata de un nuevo profesional que no forma parte del equipo de enfermería. En este contexto, es de destacar que la literatura sobre agentes comunitarios de salud presenta estudios sobre: proceso de trabajo, perfil y formación del ACS, interacción del ACS en el equipo de salud familiar, curso introductorio a la salud familiar, conocimiento del ACS sobre los instrumentos de la salud primaria. Sistema de información de atención básica (SIAB), evaluación de las condiciones laborales y calidad de vida. No se encontraron instrumentos para ayudar en el proceso de evaluación del ACS.
De esta manera, la evaluación formativa como propuesta de evaluación/observación formativa en el contexto de la salud presenta potencial para ofrecer subsidios en la medida en que permite ofrecer continuamente informaciones para el trabajador en forma de feedback7.
El modelo de competencias propone que, a partir da su identificación en determinada área de trabajo, es posible orientar currículos y la formación continuada de trabajadores8. En Brasil, la propuesta del referencial curricular para curso técnico de agente comunitario del área profesional de salud, pautada en competencias, remite a caminos formativos, organizados de forma interdependiente y que posibiliten una progresión concomitante a la escolarización del trabajador9.
En una investigación anterior, se desarrolló un instrumento a partir de este referencial10, con realización de validación de contenido y apariencia. Este artículo presenta el proceso adoptado para evaluar la aplicabilidad, la reproducibilidad y la confiabilidad a partir del análisis criterioso de las dimensiones y de los elementos que componen el instrumento de evaluación formativa del ACS.
MétodoDiseño del estudioSe trata de un estudio metodológico, de enfoque cuantitativo, que aborda el desarrollo de la validación y evaluación de herramientas y métodos de investigación11.
Se procedió a la validación del instrumento con la intuición de verificar la consistencia interna, con validación de las dimensiones mediante análisis factorial (AF)12 y técnica de prueba/reprueba11,13. Para la validación del constructo13,14 se ha establecido la siguiente hipótesis: Cuanto mayor sea el tiempo de trabajo del ACS en sus funciones, mejor será la evaluación de las competencias, en comparación a otros ACS del mismo municipio.
Selección de elementos y dimensionesEl instrumento aplicado contenía 52 competencias organizadas en 8 dominios: prevención y seguimiento de riesgo ambiental y sanitario (PMRAS); promoción de la salud (PS); participación y controle social (PCS); integración del equipo de salud con la población local (IESP); planeamiento y evaluación (PA y PAV), y prevención y seguimiento a grupos específicos y morbilidades (PMGM e PMGE), siendo que los 2 últimos se presentaron 2 veces por poseer un gran número de competencias.
Para la evaluación se introdujo una escala con los siguientes niveles de competencia: ninguno (0): no tiene ningún conocimiento o experiencia para la competencia descrita; novato/aprendiz (1): tiene cierto conocimiento, pero no tiene experiencia para la competencia descrita (p. ej., solicita alguna consulta o supervisión; experto (2): tiene experiencia para la competencia descrita, no tiene el conocimiento necesario; competente (3): tiene el conocimiento necesario y también experiencia práctica para la competencia descrita; competente (4): tiene un vasto conocimiento y amplia experiencia directamente relacionada a la competencia descrita.
EmplazamientoEl estudio se realizó en dos municipios de la región metropolitana de Porto Alegre, Canoas y Sapucaia do Sul, donde trabajan 421 ACS y 130 enfermeros.
ParticipantesEl cálculo de muestra se realizó considerando que son necesarios 7 veces el número de elementos para la validación factorial y análisis de la consistencia interna15, totalizando 350 sujetos. Los enfermeros supervisores de estos 350 ACS participaron en esta etapa aplicando el instrumento, totalizando 62 enfermeros.
Para llevar a cabo la prueba/reprueba, se realizó el cálculo de muestra teniendo en cuenta un nivel de significancia del 5%, poder del 90% y un coeficiente de correlación intraclase (ICC) mínimo de 0,7, totalizando 46 sujetos16. Se aplicó el instrumento de nuevo a la muestra definida después de 15 días, pues este es el período indicado en la literatura para permitir el análisis de confiabilidad del cuestionario13.
Los criterios de inclusión para la validación del instrumento fueron: ser enfermero o ACS de un equipo de salud familiar hace al menos un año; ser servidor del municipio con vínculo de empleo formal. Se excluyeron aquellos enfermeros que no realizaban supervisión de los ACS.
Estudio pilotoSe llevó a cabio un estudio piloto para evaluar la aplicabilidad del instrumento y complementar la validación de contenido y apariencia iniciada durante investigación anterior10. El instrumento fue aplicado por enfermeros con vínculo laboral de al menos un año que actuaban como supervisores de ACS. En esta etapa participaron 20 enfermeros, seleccionados a través de una muestra aleatoria simples, siendo 10 enfermeros del Municipio de Sapucaia do Sul y 10 enfermeros del Municipio de Canoas. Cada enfermero aplicó el instrumento a dos ACS de su equipo, totalizando 40 ACS.
Recopilación de datosLa recopilación de datos para la validación del instrumento tuvo lugar de marzo a diciembre de 2017. Esta etapa fue realizada directamente en los servicios involucrados, de acuerdo con la disponibilidad de cada uno y con horarios agendados previamente con la Secretaria Municipal de Salud, Fundación Municipal de Salud de Canoas (FMSC) y con los equipos.
Se explicó a los enfermeros y ACS los objetivos del estudio y de qué forma ocurriría su participación. Se optó por la aplicación del instrumento por parte de los enfermeros supervisores, considerando el vínculo con los ACS y la literatura que indica que la evaluación por competencias puede ser realizada en el proprio local de trabajo, y que los evaluadores, en este caso, pueden ser personas externas a la producción o los propios supervisores17.
Análisis y tratamiento de los datosLos datos fueron digitados en una planilla de Excel® versión 2013 y apropiados en el paquete estadístico Statistical Package for Social Sciences (SPSS®) versión 21.0. Fueron sometidos a un análisis descriptivo y un análisis estadístico inferencial. En el AF exploratorio se ha empleado el método de análisis de componentes principales, con recurso de rotación ortogonal según el método Varimax con normalización del tipo Kaiser y con criterio de autovalor (eigenvalue)>1. El autovalor (eigenvalue) evalúa la contribución del factor al modelo construido por la AF, y el valor inferior a uno sugiere pequeña contribución del factor en la explicación de las variaciones de las variables originales12,18.
Para verificar la validad interna y la confiabilidad se utilizó el alfa de Cronbach, que mide la correlación entre respuestas en un cuestionario a través del análisis del perfil de las respuestas dadas por los respondientes18, habiendo adoptado el valor de 0,70 como mínimo aceptable13.
Se utilizó el ICC para medir la confiabilidad de medidas13. En la prueba/reprueba se utilizó la prueba de la t de Student para muestras pareadas, y para validar el constructo se empleó el análisis de varianza ANOVA.
Aspectos ÉticosEl proyecto fue aprobado por el Comité de Ética en Investigación Científica de la Universidad Federal do Rio Grande do Sul en 2016, con el protocolo 3 55819316.0.0000.5347 y número de Parecer: 1.673.213. Todos los enfermeros y ACS participantes firmaron el término de consentimiento libre y esclarecido.
ResultadosCaracterización de los participantes
Participaron en el estudio 251 ACS y 41 enfermeros de 24 unidades de salud del Municipio de Canoas y 99 ACS y 21 enfermeros de 21 unidades de salud del Municipio de Sapucaia do Sul. En el Municipio de Canoas los enfermeros tenían un promedio de 2,65 (±0,52) años de trabajo y los ACS un promedio de 3,97 (±2,47). En el Municipio de Sapucaia do Sul la antigüedad era de 3 (±1,97) años de trabajo para enfermeros y de 5,66 (±2,66) años para ACS. Todos los enfermeros contaban con especialización en salud familiar y comunitaria/salud pública/salud colectiva.
Validación del instrumentoEl estudio piloto demostró que el instrumento posee buena aplicabilidad. Se sugirieron 2 alteraciones, una con respecto a su periodicidad, considerando que su aplicación debe ser trimestral, y otra con relación a la suma de 2 niveles de competencias, experto y no se aplica. Se mantuvieron las 52 competencias del instrumento original, no habiendo ninguna exclusión, a pesar del comentario de uno de los participantes del estudio piloto que consideró el instrumento extenso y redundante. Apenas una competencia fue alterada durante el estudio piloto: orienta a las gestantes y familias sobre cuidados relacionados con el embarazo y el puerperio, especialmente desde las visitas domiciliarias hasta el 7.° día de vida a todos los recién nacidos del territorio perteneciente al dominio de prevención y seguimiento de grupos y morbilidades específicos, cuyo término fue modificado por el Ministerio de Salud para el 5.° día de vida. La estructura factorial obtenida fue compuesta por 6 dominios, conforme presentado en la tabla 1. El índice de adecuación de la muestra de Kaiser-Meyer-Olkin (KMO) se calculó en 0,947, siendo la matriz de los datos adecuada para proceder a la misma.
Consistencia interna por el alfa de Cronbach (N=350), Porto Alegre, RS, Brasil, 2018
| Dominios | Alfa de Cronbach |
|---|---|
| Seguimiento del micro área | 0,946 |
| Promoción de la salud | 0,909 |
| Prevención y monitoreo de grupos | 0,945 |
| Prevención y monitoreo de riesgos | 0,935 |
| Planeamiento y evaluación | 0,872 |
| Trabajo en equipo | 0,889 |
| Total | 0,981 |
Se produjo, para cada elemento, la carga factorial (saturación) en el factor, que indica la correlación entre el elemento y el factor, de tal forma que, cuanto más próximo al 100% de covarianza, mejor se considera el elemento, una vez que representa fuertemente el trazo latente medido por el factor.
La mayoría de las competencias obtuvo una carga factorial alta, lo que confirma su correlación con el factor descrito. El AF con 6 dominios demostró un porcentual de varianza explicada del 73,64%, considerado bueno, y los 26,4% restantes se dan por cuenta de la subjetividad y entendimiento del participante. Con base en estas evaluaciones de acuerdo con la mayor correlación obtenida en el análisis factorial, se organizaron las nuevas áreas de dominio, según la figura 1.
En la evaluación de la consistencia interna, el instrumento, en su nuevo formato, obtuvo un alfa de Cronbach de 0,981, y todos los dominios presentaron un alfa de Cronbach superior a 0,8, conforme presentado en la tabla 1.
La prueba/reprueba realizada con 51 ACS de Canoas (19 ACS) y de Sapucaia do Sul (32 ACS), reveló que el instrumento es confiable, presentando una buena consistencia interna y homogeneidad de los elementos, presentando además p=0,851 por la prueba de la t de Student, no habiendo diferencia significativa entre las medias en la prueba/reprueba, y con un ICC de 1,0, considerado excelente.
Al analizar los dominios individualmente, todos presentaron un valor de p que varió de 0,189 (prevención y seguimiento a grupos específicos y morbididades) a 1,00 (seguimiento del micro área), no habiendo diferencia significativa, y con un ICC de 1,0, conforme ilustrado en la tabla 2.
Evaluación prueba/reprueba (N=51), Porto Alegre, RS, Brasil, 2018
| Dominios | Prueba | Reprueba | Valor de p* | ICC | ||
|---|---|---|---|---|---|---|
| Promedio | DE | Promedio | DE | |||
| Seguimiento del micro área | 2,81 | 0,64 | 2,81 | 0,64 | 1,000 | 1,00 |
| Promoción de la salud | 2,25 | 0,73 | 2,25 | 0,74 | 0,952 | 1,00 |
| Prevención y monitorización de grupos | 2,74 | 0,69 | 2,73 | 0,68 | 0,189 | 0,99 |
| Prevención y monitorización de riesgos | 2,66 | 0,60 | 2,66 | 0,59 | 0,864 | 0,99 |
| Planeamiento y evaluación | 1,99 | 0,92 | 1,99 | 0,95 | 0,932 | 0,99 |
| Trabajo en equipo | 2,71 | 0,83 | 2,71 | 0,82 | 0,322 | 0,99 |
| Total | 2,53 | 0,64 | 2,53 | 0,65 | 0,851 | 1,00 |
DE: desviación estándar; ICC: coeficiente de correlación intraclase.
Para validar el constructo, la hipótesis fue confirmada en el Municipio de Sapucaia do Sul, con el Distrito Sanitario I que posee la mayor media de 6,6 años y una desviación estándar (±3,29) de tiempo de trabajo del municipio, y presentó una media de 3,15 (±0,41) en la evaluación de todos los dominios del IACS, al compararla a los otros distritos (p<0,001), conforme presentado en la tabla 3.
Comparación entre los distritos sanitarios de Sapucaia do Sul (N=99), Porto Alegre, RS, Brasil, 2018
| Distritos | I | II | III | IV | Valor de p* | ||||
|---|---|---|---|---|---|---|---|---|---|
| Dominios | Promedio | DE | Promedio | DE | Promedio | DE | Promedio | DE | |
| Seguimiento del micro área | 3,56 | 0,40 | 2,92 | 0,50 | 2,79 | 0,83 | 2,82 | 0,53 | <0,001 |
| Promoción de la salud | 2,65 | 0,67 | 2,45 | 0,85 | 2,14 | 0,86 | 1,91 | 0,63 | 0,002 |
| Prevención y monitorización de grupos | 3,31 | 0,53 | 3,07 | 0,47 | 2,95 | 0,75 | 2,50 | 0,53 | <0,001 |
| Prevención y monitorización de riesgos | 2,98 | 0,66 | 2,92 | 0,42 | 2,63 | 0,72 | 2,49 | 0,51 | 0,007 |
| Planeamiento y evaluación | 2,88 | 0,66 | 2,00 | 0,96 | 2,17 | 1,13 | 1,61 | 0,73 | <0,001 |
| Trabajo en equipo | 3,51 | 0,34 | 2,81 | 0,74 | 2,74 | 0,95 | 2,61 | 0,85 | <0,001 |
| Total | 3,15 | 0,41 | 2,70 | 0,57 | 2,57 | 0,82 | 2,32 | 0,55 | <0,001 |
DE: desviación estándar.
El instrumento original, aplicado a los ACS para su validación, estaba compuesto por 52 competencias organizadas en 8 dominios. Con la realización del análisis factorial, que resultó en 6 dominios, no hubo la exclusión de ninguna competencia. Las 52 competencias del instrumento original fueron reagrupadas en los nuevos dominios de acuerdo con la mayor correlación obtenida en el análisis factorial.
El instrumento presentó buena varianza explicada (73,64%) en el análisis factorial12, y obtuvo una excelente consistencia interna por el alfa de Cronbach (0,968), con valores superiores a 0,7 en todos los dominios, al ser evaluados separadamente13, lo que es recomendado para asegurar la consistencia interna de una medida12, teniendo en cuenta que existe confiabilidad11,12.
La prueba/reprueba reveló que el instrumento es fidedigno, demostrando una buena confiabilidad y homogeneidad de los elementos11,13, confirmadas por la evaluación del ICC, que presentó un resultado considerado excelente13.
Teniendo en cuenta la validad del constructo, la hipótesis establecida que relacionaba la variable tiempo de trabajo con la mejor evaluación de las competencias fue confirmada apenas en el Municipio de Sapucaia do Sul, en el cual el DSI, que poseía ACS con más tiempo de trabajo, presentó una media de evaluaciones superior a los demás distritos. Confirmando la hipótesis y lo referido por algunos autores que abordan el tiempo de trabajo como un importante definidor del nivel de conocimiento y de las prácticas realizadas, sea por el acúmulo de experiencias o por la mayor probabilidad de tener recibido entrenamientos/capacitaciones13,14.
El instrumento demostró buena consistencia interna en la validad factorial y presentó excelente reproductibilidad en la prueba/reprueba. De este modo, presenta apropiada aplicabilidad para medir lo que se propone, es decir, evaluar las competencias de los ACS en la atención básica.
Para dar continuidad al proceso de validación, se recomienda que el instrumento se aplique en otras realidades para evaluar la validad de constructo, visto que, apenas en uno de los 2 municipios estudiados hubo diferencia significativa de las medias de evaluaciones, confirmando la hipótesis establecida.
El Instrumento de Evaluación Formativa del Agente Comunitario de Salud (IACS) no pudo ser aplicado como parte de un proceso de capacitación con el ACS, considerando el tiempo que se tomó para realizar la investigación, lo cual se considera una limitación de este estudio. Esta es una importante función para la cual el instrumento se propone y en las cuales los equipos de ESF, enfermeros y ACS podrán explorar sus potencialidades, señalizando la mejor forma para que se utilice el instrumento.
Las propiedades psicométricas presentadas por el instrumento permiten recomendar su utilización a fin de cualificar el proceso de formación en servicio del ACS, y contribuir a la cualificación de los procesos de evaluación de desempeño, educación permanente en la ESF, además de auxiliar al enfermero o profesional responsable por su supervisión en la ESF a tener una mejor comprensión de su trabajo, ofreciendo subsidios para la evaluación y desarrollo de sus competencias en el servicio y, de este modo, cualificando la atención prestada a la población de acuerdo con sus necesidades.
El instrumento da oportunidad a que la formación sea organizada a partir de una evaluación pautada en competencias, buscando contemplar la diversidad de los aspectos relacionados a la práctica profesional, y considera las especificidades con respecto a las diferentes unidades de organización del cuidado de la salud, las formas de inserción y organización del trabajo, a la atención de las demandas individuales y colectivas y a las diferencias regionales, sociales, políticas y económicas.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
