Implementación de actividades profesionales confiables en la evaluación clínica de prótesis removible

Resumen

Introducción

Los actuales paradigmas educativos en carreras del área de la salud están orientados hacia la práctica profesional. Esto debe reflejarse en la evaluación la práctica clínica, para lo cual la incorporación de actividades profesionales confiables parece adecuada. Por ello, en este estudio se analizó la validez, confiabilidad y percepción de los estudiantes sobre su implementación en la evaluación clínica de prótesis removible.

Material y métodos

Se realizó un estudio cuantitativo, de alcance correlacional, no experimental y diseño transversal. Se evaluaron las propiedades psicométricas de 2 instrumentos elaborados bajo el concepto de actividades profesionales confiables. También se aplicó un cuestionario para evaluar percepción de los estudiantes con relación a esta evaluación.

Resultados

Se observaron las propiedades psicométricas adecuadas para uno de los instrumentos de evaluación elaborados. Además, se observó una percepción favorable del instrumento por parte de los estudiantes, destacando la aceptabilidad de la evaluación y su retroalimentación efectiva.

Discusión

Este estudio permite contribuir al uso de actividades profesionales confiables para la evaluación de competencias en la práctica clínica en odontología. Su implementación en este grupo de estudiantes entrega evidencias de su confiabilidad, validez y de la percepción positiva por parte de ellos.

Abstract

Introduction

Current educational paradigms in health science education are oriented towards professional practice. This should be reflected in clinical practice assessment, for which the incorporation of Entrustable Professional Activities (EPAs) seems appropriate. For this reason an analysis was made of the validity, reliability, and student perception of these activities, such as the clinical assessment of removable dental prostheses.

Material and methods

A quantitative, correlation, non-experimental and cross-sectional study was carried out. The psychometric properties of the instruments developed under the concept of EPAs were evaluated, and a questionnaire was completed to evaluate student perception of the assessment.

Results

Adequate psychometric properties were observed for one of the assessment tools developed. In addition, there was a favourable perception of this tool by the students, highlighting the acceptability of the evaluation and its effective feedback.

Discussion

This study contributes to the use of EPAs on the assessment of clinical skills in dentistry. Its implementation in this group of students provided evidence of its reliability, validity and positive perception on their part.

Introducción

En los últimos años se han implementado currículums basados en competencias y orientados hacia la práctica profesional en diversas carreras de la salud^1,2. Este cambio de paradigma debe reflejarse en la evaluación la práctica clínica, la que debe estar dirigida hacia lo que se espera de un profesional.

En odontología, durante sus últimos 3 años, los estudiantes realizan procedimientos de complejidad progresiva bajo supervisión. Esta última es dada por un docente clínico que observa y evalúa competencias clínicas, principalmente, mediante la observación directa, lo que tiene como desventaja la dificultad para dar una retroalimentación inmediata³. Asimismo, la evaluación de la práctica clínica se ubica en el nivel superior de la pirámide de Miller, lo que supone un desafío donde la autenticidad educativa y profesional representa el punto fundamental⁴. De igual forma, en la actualidad, no existen instrumentos que determinen qué nivel de responsabilidad se debe conceder al aprendiz en los diferentes niveles de formación¹.

Es en este escenario que Ten Cate introduce el concepto de actividades profesionales confiables (APROC)². Las APROC representan actividades factibles de ser evaluadas en un tiempo determinado, observables y medibles a lo largo del proceso y a través de sus resultados. Estas establecen 5 niveles de supervisión progresivos con el fin de favorecer la autonomía del estudiante, en los que, a medida que disminuye la supervisión docente, aumenta la responsabilidad del alumno para realizar una actividad^1,5. Las APROC permiten delinear el desarrollo de competencias a través del tiempo, lo que favorece a la continuidad de la evaluación de un año a otro y a la posibilidad de comprobar el logro de estas una vez finalizado el proceso de formación⁶.

Los primeros estudios que definieron APROC fueron realizados en programas de especialización médica^7-11. Durante los últimos años, se han publicado estudios con respecto a la utilización de APROC en distintos programas de medicina en pregrado^12-14. A pesar de que otras formas de evaluación en la práctica clínica en odontología, como el ECOE, han sido estudiadas de forma más amplia^15,16, aún no se han reportado estudios sobre la utilización de APROC con este fin. Por otro lado, es crucial conocer la percepción de los estudiantes en cuanto a dicha evaluación^17,18 y, dentro de esto, cómo ellos perciben la retroalimentación, ya que se ha observado que esta constituye un pilar para el desarrollo de autonomía, bienestar y rendimiento académico^19,20. Por ello, el objetivo de este estudio fue analizar la validez, la confiabilidad y la percepción de los estudiantes sobre la implementación de APROC en la evaluación clínica de Prótesis removible.

Metodología

Se realizó una investigación cuantitativa, transversal, correlacional y no experimental. Los participantes fueron estudiantes de odontología (n = 20) seleccionados según muestreo no probabilístico por accesibilidad. El grupo estuvo constituido mayoritariamente por mujeres (70%), de edades entre 21 y 25 años. Todos los participantes fueron alumnos regulares de la asignatura Prótesis removible, dictada el cuarto año de la carrera en una universidad tradicional chilena. Se excluyó a aquellos estudiantes que estuvieran cursando la asignatura por segunda vez.

Se elaboraron 2 instrumentos con el fin de evaluar el desempeño clínico utilizando APROC. El primero (APROC I) evaluó la ejecución de la ordenación dentaria posterior para un paciente desdentado total o parcial. El segundo (APROC II) evaluó la ejecución de la inserción de prótesis completa o atípica. Ambos fueron validados en su contenido mediante juicio de expertos por todos los profesores de la asignatura (n = 5).

En dichos instrumentos el supervisor clínico debió registrar el desempeño del alumno de acuerdo con el nivel de autonomía con que desarrolló cada paso de la actividad. Para ello, contó con 5 niveles²¹:

• –

  2a: el supervisor debe finalizar el procedimiento clínico a petición del alumno.

• –

  2b: el estudiante recibe apoyo verbal y procedimental durante la actividad en el box dental.

• –

  2c: el estudiante solo recibe apoyo verbal en el box dental.

• –

  3a: el estudiante realiza en forma independiente la actividad, pero todos los pasos son supervisados visualmente por el profesor.

• –

  3b: solo los pasos claves son verificados por el docente.

No se consideró el nivel 1 descrito por Ten Cate y Scheele²², ya que corresponde a la observación de una actividad clínica, lo que se realiza en un período de formación anterior²². Tampoco se consideraron los niveles 4 y 5, porque corresponden a niveles que se espera sean adquiridos más adelante en la carrera.

La evaluación fue aplicada a 2 grupos de estudiantes por 2 supervisores capacitados previamente. Cada estudiante fue evaluado y, luego de ello, se le entregó retroalimentación de forma estructurada sobre su desempeño.

Para caracterizar la validez y la percepción del estudiante sobre la implementación de APROC como evaluación, se aplicó el instrumento Cuestionario de percepción del instrumento de evaluación mediante APROC (CP-APROC). Este fue creado para esta investigación y validado mediante juicio de expertos académicos de la Facultad de Medicina y de Odontología de esta universidad (n = 9). El cuestionario, que se construyó basándose en lo descrito por Martínez²³, Nolla-Domenjó¹⁸ y Bloom²⁴, comprendió 10 dimensiones. Este cuestionario fue aplicado una vez finalizada la evaluación con ambos instrumentos y cada estudiante debió responder utilizando una escala tipo Likert de 7 puntos, donde 1 se consideró como totalmente en desacuerdo y 7 totalmente de acuerdo.

El presente estudio fue llevado a cabo posterior a un procedimiento de consentimiento informado y fue aprobado por el Comité de Bioética de la Facultad de Odontología en cuestión (C.I.Y.B N.° 056/17).

Los datos fueron analizados con el paquete estadístico SPSS (IBM) para Windows versión 15.0. Para comprobar el resultado de los juicios de expertos se utilizó el índice de validez contenido y se determinó el grado de acuerdo con el coeficiente de concordancia W Kendall (p < 0,05). Para el cálculo de la confiabilidad de los instrumentos se utilizó el coeficiente α de Cronbach. Finalmente, se realizó el análisis descriptivo mediante frecuencias absolutas y relativas, estadísticos de tendencia central y de dispersión.

Resultados

Para APROC I, se observaron los mayores puntajes en los dominios acciones previas y ordenación postero-superior. Por otro lado, la evaluación en general obtuvo una confiabilidad de α = 0,75. Para la APROC II se observó que el dominio indicaciones postinserción obtuvo el máximo del puntaje. Por otro lado, la evaluación en general obtuvo una confiabilidad de α = 0,62. Para la variable indicaciones postinserción no fue posible medir la confiabilidad, ya que se comportó como una constante (tabla 1).

Tabla 1.

Estadísticos descriptivos de la evaluación mediante APROC I y II

Evaluación	Escala	α	Mín	Máx	DE	Mediana	M	M/I
APROC I(n = 19)	Acciones previas	0,78	11,00	20,00	2,79	19,00	17,89	4,47
	Ordenación postero-superior	0,90	12,00	25,00	4,19	18,00	19,32	3,86
	Ordenación postero-inferior	0,70	13,00	21,00	2,43	17,00	17,20	3,44
	Oclusión balanceada	0,71	13,00	23,00	2,76	17,00	17,42	3,48
APROC II(n = 20)	Prótesis maxilar	0,65	21,00	30,00	2,60	27,50	26,88	4,48
	Prótesis mandibular	0,59	20,00	30,00	2,88	26,00	26,10	4,35
	Análisis en conjunto	0,10	11,00	15,00	1,23	15,00	14,40	4,80
	Indicaciones postinserción	–	20,00	20,00	0,00	20,00	20,00	5,00

APROC: actividades profesionales confiables; DE: desviación estándar; M/I: media por ítem.

Para el CP-APROC se observó que los ítems con mayores puntajes pertenecieron a las dimensiones de validez instruccional y factibilidad de la evaluación; mientras que los ítems con menores puntajes pertenecieron a las dimensiones estandarización de la evaluación y factibilidad de la evaluación (tabla 2). En el análisis por dimensión se observaron los mayores puntajes en las dimensiones validez instruccional y retroalimentación efectiva, y los menores en las dimensiones estandarización de la evaluación y dominio actitudinal (tabla 3).

Tabla 2.

Estadísticos descriptivos del CP-APROC por ítem

Ítem	Descripción	Mín	Máx	DE	Mediana	M
VC1	La evaluación mediante APROC es coherente con los resultados de aprendizaje planteados para mí en la asignatura	3	7	1,23	6,00	5,85
VC2	La evaluación mediante APROC midió mi capacidad para determinar la dimensión vertical de un paciente desdentado total	4	7	1,13	6,00	5,70
VC3	La evaluación mediante APROC midió mi capacidad para determinar la relación céntrica de un paciente desdentado total	4	7	1,09	6,00	5,65
VC4	La evaluación mediante APROC midió mi capacidad para ejecutar la ordenación dentaria anterior o posterior de un paciente desdentado total	1	7	1,45	6,50	6,00
VI1	La evaluación mediante APROC incluye los procedimientos clínicos que he realizado en la asignatura	5	7	0,68	7,00	6,60
VI2	Existe coherencia entre los niveles de supervisión de las APROC y lo que he realizado en la práctica clínica	5	7	0,76	6,00	6,05
VI3	La evaluación mediante APROC evalúa los procedimientos que he realizado durante la práctica clínica	4	7	0,93	6,00	6,15
VI4	La evaluación mediante APROC evalúa los resultados obtenidos en los procedimientos que he realizado en la práctica clínica	5	7	0,68	6,50	6,40
EE1	La evaluación mediante APROC permite una evaluación objetiva	4	7	1,02	6,00	6,10
EE2	He comprendido cada nivel de supervisión utilizado en la evaluación mediante APROC de forma precisa	2	7	1,47	5,50	5,40
EE3	Si se me evaluara nuevamente utilizando APROC en la misma situación, tendría los mismos resultados	1	7	1,59	3,50	3,75
EE4	Conocí los objetivos de la evaluación mediante APROC de forma previa	3	7	1,25	7,00	6,25
AE1	Me gustaría que las APROC fueran incluidas como método de evaluación en esta asignatura	5	7	0,83	6,00	6,05
AE2	Las APROC son aplicables a mi quehacer clínico	4	7	0,93	7,00	6,35
AE3	Las APROC midieron adecuadamente mis logros en la clínica	4	7	1,16	5,50	5,75
AE4	La evaluación mediante APROC fue concordante al trabajo que realizo en clínica	4	7	0,79	6,00	6,25
FE1	El tiempo asignado fue suficiente para desarrollar la evaluación mediante APROC	4	7	1,17	6,50	6,00
FE2	El docente se encontraba capacitado para llevar a cabo la evaluación mediante APROC	4	7	0,75	7,00	6,60
FE3	El docente demostró dominio de la evaluación mediante APROC	4	7	0,89	7,00	6,45
FE4	La evaluación mediante APROC me pareció un proceso simple	1	7	1,61	5,00	4,95
IE1	La evaluación mediante APROC fue una instancia de aprendizaje favorable	4	7	0,99	7,00	6,35
IE2	El uso de APROC como evaluación es beneficioso para mi formación profesional	4	7	0,88	7,00	6,35
IE3	La evaluación mediante APROC me motivó a aprender más	3	7	1,05	5,00	5,40
IE4	La evaluación mediante APROC facilitó que hiciera una autoevaluación de mi trabajo clínico	3	7	1,17	6,50	6,10
RE1	La evaluación mediante APROC facilitó que realizara un análisis efectivo de los resultados de mi práctica clínica junto con el docente	3	7	1,23	6,00	5,95
RE2	La retroalimentación entregada mediante APROC resultó beneficiosa para mi aprendizaje	4	7	0,83	7,00	6,45
RE3	Luego de mi evaluación mediante APROC comprendí lo que debo modificar para mejorar mi práctica clínica	4	7	0,99	6,00	6,15
RE4	La retroalimentación posterior a mi evaluación mediante APROC resultó constructiva para mi formación profesional	2	7	1,18	7,00	6,35
DC1	La evaluación mediante APROC evaluó adecuadamente mis conocimientos teóricos de la asignatura	3	7	1,13	5,00	5,30
DC2	La evaluación mediante APROC evaluó mi razonamiento clínico	4	7	0,94	5,50	5,60
DC3	La evaluación mediante APROC evaluó mi capacidad para resolver problemas clínicos	3	7	1,05	6,00	6,05
DC4	La evaluación mediante APROC permitió hacer un juicio adecuado sobre los conocimientos que he adquirido en la asignatura.	5	7	0,79	6,00	6,10
DP1	La evaluación mediante APROC evaluó mis destrezas procedimentales.	5	7	0,85	6,00	6,10
DP2	La evaluación mediante APROC evaluó mis habilidades clínicas	3	7	1,12	6,00	5,75
DP3	La evaluación mediante APROC me permitió aplicar los procedimientos evaluados a situaciones clínicas nuevas	4	7	1,03	6,00	5,70
DP4	La evaluación mediante APROC evaluó mi toma de decisiones durante el procedimiento	3	7	1,14	6,00	5,85
DA1	La evaluación mediante APROC evaluó mis actitudes durante la práctica clínica	4	7	0,98	6,00	5,70
DA2	La evaluación mediante APROC evaluó mis habilidades de comunicación	3	7	1,19	5,00	5,05
DA3	La evaluación mediante APROC evaluó mi responsabilidad para el ejercicio profesional	2	7	1,47	6,00	5,50
DA4	La evaluación mediante APROC evaluó mis valores para el ejercicio profesional	3	7	1,12	5,00	5,10
DP1	La evaluación mediante APROC evaluó mis destrezas procedimentales	5	7	0,85	6,00	6,10
DP2	La evaluación mediante APROC evaluó mis habilidades clínicas	3	7	1,12	6,00	5,75
DP3	La evaluación mediante APROC me permitió aplicar los procedimientos evaluados a situaciones clínicas nuevas	4	7	1,03	6,00	5,70
DP4	La evaluación mediante APROC evaluó mi toma de decisiones durante el procedimiento	3	7	1,14	6,00	5,85
DA1	La evaluación mediante APROC evaluó mis actitudes durante la práctica clínica	4	7	0,98	6,00	5,70
DA2	La evaluación mediante APROC evaluó mis habilidades de comunicación	3	7	1,19	5,00	5,05
DA3	La evaluación mediante APROC evaluó mi responsabilidad para el ejercicio profesional	2	7	1,47	6,00	5,50
DA4	La evaluación mediante APROC evaluó mis valores para el ejercicio profesional	3	7	1,12	5,00	5,10

n = 20.

AE: aceptación de la evaluación; DA: dominio actitudinal; DC: dominio cognitivo; DP: dominio procedimental; EE: estandarización de la evaluación; FE: factibilidad de la evaluación; IE: impacto de la evaluación; RE: retroalimentación efectiva; VC: validez curricular; VI: validez instruccional.

Tabla 3.

Estadísticos descriptivos del CP-APROC

Escala	α	Mín	Máx	DE.	Mediana	M	M/I
Validez curricular	0,55	19,00	28,00	3,22	22,50	23,20	5,80
Validez instruccional	0,83	20,00	28,00	2,50	25,50	25,20	6,30
Estandarización de la evaluación	0,71	11,00	28,00	3,93	22,00	21,50	5,38
Aceptación de la evaluación	0,84	18,00	28,00	3,08	25,00	24,40	6,10
Factibilidad de la evaluación	0,70	18,00	28,00	3,34	24,50	24,00	6,00
Impacto educativo	0,89	14,00	28,00	3,53	25,00	24,20	6,05
Retroalimentación efectiva	0,89	13,00	28,00	3,73	25,50	24,90	6,23
Dominio cognitivo	0,78	17,00	28,00	3,05	22,50	23,05	5,76
Dominio procedimental	0,67	17,00	28,00	2,95	23,50	23,40	5,85
Dominio actitudinal	0,78	15,00	28,00	3,75	21,00	21,35	5,34

n = 20

DE: desviación estándar; M/i: media por ítem;

Discusión

Mediante este estudio se buscó construir evidencia sobre la validez y la confiabilidad de instrumentos de evaluación mediante APROC. La principal limitación de este trabajo es el tamaño de la muestra, por ello los resultados obtenidos a partir del coeficiente alfa de Cronbach son solo una aproximación de la confiabilidad. Reconociendo dicha limitación, se pudo evidenciar una buena confiabilidad para APROC I pero una baja confiabilidad para APROC II. La baja confiabilidad de esta última implica que podrían existir inconsistencias en el instrumento. En el momento de esta investigación, no existe información sobre la confiabilidad de la aplicación de APROC, sin embargo, los resultados obtenidos en APROC I son similares a los informados para otras herramientas de evaluación utilizadas en la práctica clínica en odontología. Por ejemplo, Brown et al.¹⁵ describieron la confiabilidad de un ECOE en estudiantes de cuarto año en las áreas de periodoncia y prótesis, obteniendo un α de 0,68. También Gerrow et al.¹⁶ analizaron la confiabilidad del ECOE como parte del examen de certificación de dentistas en Canadá, para el que midieron un α de 0,69 a 0,74.

Para obtener evidencias de validez, se incorporaron 2 dimensiones en el CP-APROC. Dentro de ellas, la validez instruccional obtuvo el mayor puntaje, lo que indica congruencia entre las oportunidades de aprendizaje clínico y la instrucción otorgada, según la percepción de los alumnos. Asimismo, esto sugiere que los estudiantes observan la evaluación mediante APROC como una herramienta adecuada para la evaluación de procedimientos clínicos en la práctica, lo que ya ha sido descrito por Berberat et al.¹¹.

En cuanto a la percepción de los estudiantes, la dimensión aceptación de la evaluación presentó altos puntajes lo que, de acuerdo con van der Vleuten¹⁷, es relevante ya que es un factor determinante para su uso. Estos resultados pueden relacionarse también a lo reportado por Nolla-Domenjó¹⁸, quien relata que a mayor validez y confiabilidad se observa una mayor aceptación de la evaluación por parte de los estudiantes.

Por otro lado, la dimensión retroalimentación efectiva arrojó los mejores resultados del cuestionario. Estos resultados indican que los estudiantes valoraron la incorporación estructurada de retroalimentación y la perciben de manera positiva. Esto se relaciona con lo observado por Álvarez et al.¹⁹, cuyos resultados mostraron que los estudiantes tienen una percepción moderada de las competencias docentes de sus tutores clínicos, dentro de lo que destacaron la falta de retroalimentación efectiva. Asimismo, en la retroalimentación se incluyó el nivel de supervisión que necesitó el estudiante para llevar a cabo una tarea clínica, de manera de potenciar su autonomía. Esto es crucial, ya que, de acuerdo con Vansteenkiste et al.²⁰, los ambientes de enseñanza que apoyan la autonomía se asocian a un mayor bienestar y logro académico.

Dentro del cuestionario de percepción también se buscó caracterizar si los alumnos percibían una evaluación holística de todos los dominios que comprenden una competencia. Los resultados demostraron un menor puntaje para el dominio actitudinal, lo que pudo deberse a que no se incluyeron ítems específicos para ello. A pesar de esto, el puntaje observado se clasificó como medio alto, lo que podría indicar que las APROC tienen una capacidad intrínseca para evaluar este dominio.

En conclusión, este estudio otorga evidencias sobre la confiabilidad y la validez de la implementación de APROC en la evaluación clínica de Prótesis removible, además de la percepción positiva por parte de este grupo estudiantes. Sin embargo, aún es necesario continuar estudiando esta herramienta y su aplicación en otros escenarios clínicos de la práctica odontológica.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses.