![](https://static.elsevier.es/multimedia/15751813/0000002500000004/v3_202408071041/en/main.assets/thumbnail/cover.jpeg?image=true&image.size=0x161&idApp=UINPBA00004N)
Los actuales paradigmas educativos en carreras del área de la salud están orientados hacia la práctica profesional. Esto debe reflejarse en la evaluación la práctica clínica, para lo cual la incorporación de actividades profesionales confiables parece adecuada. Por ello, en este estudio se analizó la validez, confiabilidad y percepción de los estudiantes sobre su implementación en la evaluación clínica de prótesis removible.
Material y métodosSe realizó un estudio cuantitativo, de alcance correlacional, no experimental y diseño transversal. Se evaluaron las propiedades psicométricas de 2instrumentos elaborados bajo el concepto de actividades profesionales confiables. También se aplicó un cuestionario para evaluar percepción de los estudiantes con relación a esta evaluación.
ResultadosSe observaron las propiedades psicométricas adecuadas para uno de los instrumentos de evaluación elaborados. Además, se observó una percepción favorable del instrumento por parte de los estudiantes, destacando la aceptabilidad de la evaluación y su retroalimentación efectiva.
DiscusiónEste estudio permite contribuir al uso de actividades profesionales confiables para la evaluación de competencias en la práctica clínica en odontología. Su implementación en este grupo de estudiantes entrega evidencias de su confiabilidad, validez y de la percepción positiva por parte de ellos.
Current educational paradigms in health science education are oriented towards professional practice. This should be reflected in clinical practice assessment, for which the incorporation of Entrustable Professional Activities (EPAs) seems appropriate. For this reason an analysis was made of the validity, reliability, and student perception of these activities, such as the clinical assessment of removable dental prostheses.
Material and methodsA quantitative, correlation, non-experimental and cross-sectional study was carried out. The psychometric properties of the instruments developed under the concept of EPAs were evaluated, and a questionnaire was completed to evaluate student perception of the assessment.
ResultsAdequate psychometric properties were observed for one of the assessment tools developed. In addition, there was a favourable perception of this tool by the students, highlighting the acceptability of the evaluation and its effective feedback.
DiscussionThis study contributes to the use of EPAs on the assessment of clinical skills in dentistry. Its implementation in this group of students provided evidence of its reliability, validity and positive perception on their part.
En los últimos años se han implementado currículums basados en competencias y orientados hacia la práctica profesional en diversas carreras de la salud1,2. Este cambio de paradigma debe reflejarse en la evaluación la práctica clínica, la que debe estar dirigida hacia lo que se espera de un profesional.
En odontología, durante sus últimos 3años, los estudiantes realizan procedimientos de complejidad progresiva bajo supervisión. Esta última es dada por un docente clínico que observa y evalúa competencias clínicas, principalmente, mediante la observación directa, lo que tiene como desventaja la dificultad para dar una retroalimentación inmediata3. Asimismo, la evaluación de la práctica clínica se ubica en el nivel superior de la pirámide de Miller, lo que supone un desafío donde la autenticidad educativa y profesional representa el punto fundamental4. De igual forma, en la actualidad, no existen instrumentos que determinen qué nivel de responsabilidad se debe conceder al aprendiz en los diferentes niveles de formación1.
Es en este escenario que Ten Cate introduce el concepto de actividades profesionales confiables (APROC)2. Las APROC representan actividades factibles de ser evaluadas en un tiempo determinado, observables y medibles a lo largo del proceso y a través de sus resultados. Estas establecen 5niveles de supervisión progresivos con el fin de favorecer la autonomía del estudiante, en los que, a medida que disminuye la supervisión docente, aumenta la responsabilidad del alumno para realizar una actividad1,5. Las APROC permiten delinear el desarrollo de competencias a través del tiempo, lo que favorece a la continuidad de la evaluación de un año a otro y a la posibilidad de comprobar el logro de estas una vez finalizado el proceso de formación6.
Los primeros estudios que definieron APROC fueron realizados en programas de especialización médica7-11. Durante los últimos años, se han publicado estudios con respecto a la utilización de APROC en distintos programas de medicina en pregrado12-14. A pesar de que otras formas de evaluación en la práctica clínica en odontología, como el ECOE, han sido estudiadas de forma más amplia15,16, aún no se han reportado estudios sobre la utilización de APROC con este fin. Por otro lado, es crucial conocer la percepción de los estudiantes en cuanto a dicha evaluación17,18 y, dentro de esto, cómo ellos perciben la retroalimentación, ya que se ha observado que esta constituye un pilar para el desarrollo de autonomía, bienestar y rendimiento académico19,20. Por ello, el objetivo de este estudio fue analizar la validez, la confiabilidad y la percepción de los estudiantes sobre la implementación de APROC en la evaluación clínica de Prótesis removible.
MetodologíaSe realizó una investigación cuantitativa, transversal, correlacional y no experimental. Los participantes fueron estudiantes de odontología (n=20) seleccionados según muestreo no probabilístico por accesibilidad. El grupo estuvo constituido mayoritariamente por mujeres (70%), de edades entre 21 y 25 años. Todos los participantes fueron alumnos regulares de la asignatura Prótesis removible, dictada el cuarto año de la carrera en una universidad tradicional chilena. Se excluyó a aquellos estudiantes que estuvieran cursando la asignatura por segunda vez.
Se elaboraron 2instrumentos con el fin de evaluar el desempeño clínico utilizando APROC. El primero (APROC I) evaluó la ejecución de la ordenación dentaria posterior para un paciente desdentado total o parcial. El segundo (APROC II) evaluó la ejecución de la inserción de prótesis completa o atípica. Ambos fueron validados en su contenido mediante juicio de expertos por todos los profesores de la asignatura (n=5).
En dichos instrumentos el supervisor clínico debió registrar el desempeño del alumno de acuerdo con el nivel de autonomía con que desarrolló cada paso de la actividad. Para ello, contó con 5niveles21:
- –
2a: el supervisor debe finalizar el procedimiento clínico a petición del alumno.
- –
2b: el estudiante recibe apoyo verbal y procedimental durante la actividad en el box dental.
- –
2c: el estudiante solo recibe apoyo verbal en el box dental.
- –
3a: el estudiante realiza en forma independiente la actividad, pero todos los pasos son supervisados visualmente por el profesor.
- –
3b: solo los pasos claves son verificados por el docente.
No se consideró el nivel 1 descrito por Ten Cate y Scheele22, ya que corresponde a la observación de una actividad clínica, lo que se realiza en un período de formación anterior22. Tampoco se consideraron los niveles 4 y 5, porque corresponden a niveles que se espera sean adquiridos más adelante en la carrera.
La evaluación fue aplicada a 2grupos de estudiantes por 2supervisores capacitados previamente. Cada estudiante fue evaluado y, luego de ello, se le entregó retroalimentación de forma estructurada sobre su desempeño.
Para caracterizar la validez y la percepción del estudiante sobre la implementación de APROC como evaluación, se aplicó el instrumento Cuestionario de percepción del instrumento de evaluación mediante APROC (CP-APROC). Este fue creado para esta investigación y validado mediante juicio de expertos académicos de la Facultad de Medicina y de Odontología de esta universidad (n=9). El cuestionario, que se construyó basándose en lo descrito por Martínez23, Nolla-Domenjó18 y Bloom24, comprendió 10 dimensiones. Este cuestionario fue aplicado una vez finalizada la evaluación con ambos instrumentos y cada estudiante debió responder utilizando una escala tipo Likert de 7 puntos, donde 1 se consideró como totalmente en desacuerdo y 7 totalmente de acuerdo.
El presente estudio fue llevado a cabo posterior a un procedimiento de consentimiento informado y fue aprobado por el Comité de Bioética de la Facultad de Odontología en cuestión (C.I.Y.B N.° 056/17).
Los datos fueron analizados con el paquete estadístico SPSS (IBM) para Windows versión 15.0. Para comprobar el resultado de los juicios de expertos se utilizó el índice de validez contenido y se determinó el grado de acuerdo con el coeficiente de concordancia W Kendall (p <0,05). Para el cálculo de la confiabilidad de los instrumentos se utilizó el coeficiente α de Cronbach. Finalmente, se realizó el análisis descriptivo mediante frecuencias absolutas y relativas, estadísticos de tendencia central y de dispersión.
ResultadosPara APROC I, se observaron los mayores puntajes en los dominios acciones previas y ordenación postero-superior. Por otro lado, la evaluación en general obtuvo una confiabilidad de α = 0,75. Para la APROC II se observó que el dominio indicaciones postinserción obtuvo el máximo del puntaje. Por otro lado, la evaluación en general obtuvo una confiabilidad de α = 0,62. Para la variable indicaciones postinserción no fue posible medir la confiabilidad, ya que se comportó como una constante (tabla 1).
Estadísticos descriptivos de la evaluación mediante APROC I y II
Evaluación | Escala | α | Mín | Máx | DE | Mediana | M | M/I |
---|---|---|---|---|---|---|---|---|
APROC I(n=19) | Acciones previas | 0,78 | 11,00 | 20,00 | 2,79 | 19,00 | 17,89 | 4,47 |
Ordenación postero-superior | 0,90 | 12,00 | 25,00 | 4,19 | 18,00 | 19,32 | 3,86 | |
Ordenación postero-inferior | 0,70 | 13,00 | 21,00 | 2,43 | 17,00 | 17,20 | 3,44 | |
Oclusión balanceada | 0,71 | 13,00 | 23,00 | 2,76 | 17,00 | 17,42 | 3,48 | |
APROC II(n=20) | Prótesis maxilar | 0,65 | 21,00 | 30,00 | 2,60 | 27,50 | 26,88 | 4,48 |
Prótesis mandibular | 0,59 | 20,00 | 30,00 | 2,88 | 26,00 | 26,10 | 4,35 | |
Análisis en conjunto | 0,10 | 11,00 | 15,00 | 1,23 | 15,00 | 14,40 | 4,80 | |
Indicaciones postinserción | – | 20,00 | 20,00 | 0,00 | 20,00 | 20,00 | 5,00 |
APROC: actividades profesionales confiables; DE: desviación estándar; M/I: media por ítem.
Para el CP-APROC se observó que los ítems con mayores puntajes pertenecieron a las dimensiones de validez instruccional y factibilidad de la evaluación; mientras que los ítems con menores puntajes pertenecieron a las dimensiones estandarización de la evaluación y factibilidad de la evaluación (tabla 2). En el análisis por dimensión se observaron los mayores puntajes en las dimensiones validez instruccional y retroalimentación efectiva, y los menores en las dimensiones estandarización de la evaluación y dominio actitudinal (tabla 3).
Estadísticos descriptivos del CP-APROC por ítem
Ítem | Descripción | Mín | Máx | DE | Mediana | M |
---|---|---|---|---|---|---|
VC1 | La evaluación mediante APROC es coherente con los resultados de aprendizaje planteados para mí en la asignatura | 3 | 7 | 1,23 | 6,00 | 5,85 |
VC2 | La evaluación mediante APROC midió mi capacidad para determinar la dimensión vertical de un paciente desdentado total | 4 | 7 | 1,13 | 6,00 | 5,70 |
VC3 | La evaluación mediante APROC midió mi capacidad para determinar la relación céntrica de un paciente desdentado total | 4 | 7 | 1,09 | 6,00 | 5,65 |
VC4 | La evaluación mediante APROC midió mi capacidad para ejecutar la ordenación dentaria anterior o posterior de un paciente desdentado total | 1 | 7 | 1,45 | 6,50 | 6,00 |
VI1 | La evaluación mediante APROC incluye los procedimientos clínicos que he realizado en la asignatura | 5 | 7 | 0,68 | 7,00 | 6,60 |
VI2 | Existe coherencia entre los niveles de supervisión de las APROC y lo que he realizado en la práctica clínica | 5 | 7 | 0,76 | 6,00 | 6,05 |
VI3 | La evaluación mediante APROC evalúa los procedimientos que he realizado durante la práctica clínica | 4 | 7 | 0,93 | 6,00 | 6,15 |
VI4 | La evaluación mediante APROC evalúa los resultados obtenidos en los procedimientos que he realizado en la práctica clínica | 5 | 7 | 0,68 | 6,50 | 6,40 |
EE1 | La evaluación mediante APROC permite una evaluación objetiva | 4 | 7 | 1,02 | 6,00 | 6,10 |
EE2 | He comprendido cada nivel de supervisión utilizado en la evaluación mediante APROC de forma precisa | 2 | 7 | 1,47 | 5,50 | 5,40 |
EE3 | Si se me evaluara nuevamente utilizando APROC en la misma situación, tendría los mismos resultados | 1 | 7 | 1,59 | 3,50 | 3,75 |
EE4 | Conocí los objetivos de la evaluación mediante APROC de forma previa | 3 | 7 | 1,25 | 7,00 | 6,25 |
AE1 | Me gustaría que las APROC fueran incluidas como método de evaluación en esta asignatura | 5 | 7 | 0,83 | 6,00 | 6,05 |
AE2 | Las APROC son aplicables a mi quehacer clínico | 4 | 7 | 0,93 | 7,00 | 6,35 |
AE3 | Las APROC midieron adecuadamente mis logros en la clínica | 4 | 7 | 1,16 | 5,50 | 5,75 |
AE4 | La evaluación mediante APROC fue concordante al trabajo que realizo en clínica | 4 | 7 | 0,79 | 6,00 | 6,25 |
FE1 | El tiempo asignado fue suficiente para desarrollar la evaluación mediante APROC | 4 | 7 | 1,17 | 6,50 | 6,00 |
FE2 | El docente se encontraba capacitado para llevar a cabo la evaluación mediante APROC | 4 | 7 | 0,75 | 7,00 | 6,60 |
FE3 | El docente demostró dominio de la evaluación mediante APROC | 4 | 7 | 0,89 | 7,00 | 6,45 |
FE4 | La evaluación mediante APROC me pareció un proceso simple | 1 | 7 | 1,61 | 5,00 | 4,95 |
IE1 | La evaluación mediante APROC fue una instancia de aprendizaje favorable | 4 | 7 | 0,99 | 7,00 | 6,35 |
IE2 | El uso de APROC como evaluación es beneficioso para mi formación profesional | 4 | 7 | 0,88 | 7,00 | 6,35 |
IE3 | La evaluación mediante APROC me motivó a aprender más | 3 | 7 | 1,05 | 5,00 | 5,40 |
IE4 | La evaluación mediante APROC facilitó que hiciera una autoevaluación de mi trabajo clínico | 3 | 7 | 1,17 | 6,50 | 6,10 |
RE1 | La evaluación mediante APROC facilitó que realizara un análisis efectivo de los resultados de mi práctica clínica junto con el docente | 3 | 7 | 1,23 | 6,00 | 5,95 |
RE2 | La retroalimentación entregada mediante APROC resultó beneficiosa para mi aprendizaje | 4 | 7 | 0,83 | 7,00 | 6,45 |
RE3 | Luego de mi evaluación mediante APROC comprendí lo que debo modificar para mejorar mi práctica clínica | 4 | 7 | 0,99 | 6,00 | 6,15 |
RE4 | La retroalimentación posterior a mi evaluación mediante APROC resultó constructiva para mi formación profesional | 2 | 7 | 1,18 | 7,00 | 6,35 |
DC1 | La evaluación mediante APROC evaluó adecuadamente mis conocimientos teóricos de la asignatura | 3 | 7 | 1,13 | 5,00 | 5,30 |
DC2 | La evaluación mediante APROC evaluó mi razonamiento clínico | 4 | 7 | 0,94 | 5,50 | 5,60 |
DC3 | La evaluación mediante APROC evaluó mi capacidad para resolver problemas clínicos | 3 | 7 | 1,05 | 6,00 | 6,05 |
DC4 | La evaluación mediante APROC permitió hacer un juicio adecuado sobre los conocimientos que he adquirido en la asignatura. | 5 | 7 | 0,79 | 6,00 | 6,10 |
DP1 | La evaluación mediante APROC evaluó mis destrezas procedimentales. | 5 | 7 | 0,85 | 6,00 | 6,10 |
DP2 | La evaluación mediante APROC evaluó mis habilidades clínicas | 3 | 7 | 1,12 | 6,00 | 5,75 |
DP3 | La evaluación mediante APROC me permitió aplicar los procedimientos evaluados a situaciones clínicas nuevas | 4 | 7 | 1,03 | 6,00 | 5,70 |
DP4 | La evaluación mediante APROC evaluó mi toma de decisiones durante el procedimiento | 3 | 7 | 1,14 | 6,00 | 5,85 |
DA1 | La evaluación mediante APROC evaluó mis actitudes durante la práctica clínica | 4 | 7 | 0,98 | 6,00 | 5,70 |
DA2 | La evaluación mediante APROC evaluó mis habilidades de comunicación | 3 | 7 | 1,19 | 5,00 | 5,05 |
DA3 | La evaluación mediante APROC evaluó mi responsabilidad para el ejercicio profesional | 2 | 7 | 1,47 | 6,00 | 5,50 |
DA4 | La evaluación mediante APROC evaluó mis valores para el ejercicio profesional | 3 | 7 | 1,12 | 5,00 | 5,10 |
DP1 | La evaluación mediante APROC evaluó mis destrezas procedimentales | 5 | 7 | 0,85 | 6,00 | 6,10 |
DP2 | La evaluación mediante APROC evaluó mis habilidades clínicas | 3 | 7 | 1,12 | 6,00 | 5,75 |
DP3 | La evaluación mediante APROC me permitió aplicar los procedimientos evaluados a situaciones clínicas nuevas | 4 | 7 | 1,03 | 6,00 | 5,70 |
DP4 | La evaluación mediante APROC evaluó mi toma de decisiones durante el procedimiento | 3 | 7 | 1,14 | 6,00 | 5,85 |
DA1 | La evaluación mediante APROC evaluó mis actitudes durante la práctica clínica | 4 | 7 | 0,98 | 6,00 | 5,70 |
DA2 | La evaluación mediante APROC evaluó mis habilidades de comunicación | 3 | 7 | 1,19 | 5,00 | 5,05 |
DA3 | La evaluación mediante APROC evaluó mi responsabilidad para el ejercicio profesional | 2 | 7 | 1,47 | 6,00 | 5,50 |
DA4 | La evaluación mediante APROC evaluó mis valores para el ejercicio profesional | 3 | 7 | 1,12 | 5,00 | 5,10 |
n=20.
AE: aceptación de la evaluación; DA: dominio actitudinal; DC: dominio cognitivo; DP: dominio procedimental; EE: estandarización de la evaluación; FE: factibilidad de la evaluación; IE: impacto de la evaluación; RE: retroalimentación efectiva; VC: validez curricular; VI: validez instruccional.
Estadísticos descriptivos del CP-APROC
Escala | α | Mín | Máx | DE. | Mediana | M | M/I |
---|---|---|---|---|---|---|---|
Validez curricular | 0,55 | 19,00 | 28,00 | 3,22 | 22,50 | 23,20 | 5,80 |
Validez instruccional | 0,83 | 20,00 | 28,00 | 2,50 | 25,50 | 25,20 | 6,30 |
Estandarización de la evaluación | 0,71 | 11,00 | 28,00 | 3,93 | 22,00 | 21,50 | 5,38 |
Aceptación de la evaluación | 0,84 | 18,00 | 28,00 | 3,08 | 25,00 | 24,40 | 6,10 |
Factibilidad de la evaluación | 0,70 | 18,00 | 28,00 | 3,34 | 24,50 | 24,00 | 6,00 |
Impacto educativo | 0,89 | 14,00 | 28,00 | 3,53 | 25,00 | 24,20 | 6,05 |
Retroalimentación efectiva | 0,89 | 13,00 | 28,00 | 3,73 | 25,50 | 24,90 | 6,23 |
Dominio cognitivo | 0,78 | 17,00 | 28,00 | 3,05 | 22,50 | 23,05 | 5,76 |
Dominio procedimental | 0,67 | 17,00 | 28,00 | 2,95 | 23,50 | 23,40 | 5,85 |
Dominio actitudinal | 0,78 | 15,00 | 28,00 | 3,75 | 21,00 | 21,35 | 5,34 |
n=20
DE: desviación estándar; M/i: media por ítem;
Mediante este estudio se buscó construir evidencia sobre la validez y la confiabilidad de instrumentos de evaluación mediante APROC. La principal limitación de este trabajo es el tamaño de la muestra, por ello los resultados obtenidos a partir del coeficiente alfa de Cronbach son solo una aproximación de la confiabilidad. Reconociendo dicha limitación, se pudo evidenciar una buena confiabilidad para APROC I pero una baja confiabilidad para APROC II. La baja confiabilidad de esta última implica que podrían existir inconsistencias en el instrumento. En el momento de esta investigación, no existe información sobre la confiabilidad de la aplicación de APROC, sin embargo, los resultados obtenidos en APROC I son similares a los informados para otras herramientas de evaluación utilizadas en la práctica clínica en odontología. Por ejemplo, Brown et al.15 describieron la confiabilidad de un ECOE en estudiantes de cuarto año en las áreas de periodoncia y prótesis, obteniendo un α de 0,68. También Gerrow et al.16 analizaron la confiabilidad del ECOE como parte del examen de certificación de dentistas en Canadá, para el que midieron un α de 0,69 a 0,74.
Para obtener evidencias de validez, se incorporaron 2dimensiones en el CP-APROC. Dentro de ellas, la validez instruccional obtuvo el mayor puntaje, lo que indica congruencia entre las oportunidades de aprendizaje clínico y la instrucción otorgada, según la percepción de los alumnos. Asimismo, esto sugiere que los estudiantes observan la evaluación mediante APROC como una herramienta adecuada para la evaluación de procedimientos clínicos en la práctica, lo que ya ha sido descrito por Berberat et al.11.
En cuanto a la percepción de los estudiantes, la dimensión aceptación de la evaluación presentó altos puntajes lo que, de acuerdo con van der Vleuten17, es relevante ya que es un factor determinante para su uso. Estos resultados pueden relacionarse también a lo reportado por Nolla-Domenjó18, quien relata que a mayor validez y confiabilidad se observa una mayor aceptación de la evaluación por parte de los estudiantes.
Por otro lado, la dimensión retroalimentación efectiva arrojó los mejores resultados del cuestionario. Estos resultados indican que los estudiantes valoraron la incorporación estructurada de retroalimentación y la perciben de manera positiva. Esto se relaciona con lo observado por Álvarez et al.19, cuyos resultados mostraron que los estudiantes tienen una percepción moderada de las competencias docentes de sus tutores clínicos, dentro de lo que destacaron la falta de retroalimentación efectiva. Asimismo, en la retroalimentación se incluyó el nivel de supervisión que necesitó el estudiante para llevar a cabo una tarea clínica, de manera de potenciar su autonomía. Esto es crucial, ya que, de acuerdo con Vansteenkiste et al.20, los ambientes de enseñanza que apoyan la autonomía se asocian a un mayor bienestar y logro académico.
Dentro del cuestionario de percepción también se buscó caracterizar si los alumnos percibían una evaluación holística de todos los dominios que comprenden una competencia. Los resultados demostraron un menor puntaje para el dominio actitudinal, lo que pudo deberse a que no se incluyeron ítems específicos para ello. A pesar de esto, el puntaje observado se clasificó como medio alto, lo que podría indicar que las APROC tienen una capacidad intrínseca para evaluar este dominio.
En conclusión, este estudio otorga evidencias sobre la confiabilidad y la validez de la implementación de APROC en la evaluación clínica de Prótesis removible, además de la percepción positiva por parte de este grupo estudiantes. Sin embargo, aún es necesario continuar estudiando esta herramienta y su aplicación en otros escenarios clínicos de la práctica odontológica.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.