Dermopreguntón: experiencia en la creación de preguntas de respuesta múltiple a partir de una respuesta por parte del alumnado de la asignatura de Dermatología en el grado de Medicina

Resumen

Introducción

Para favorecer el aprendizaje interactivo y el pensamiento crítico entre el estudiantado de la asignatura de Dermatología en el grado de Medicina de la Universidad Miguel Hernández de Elche, se diseñó el proyecto Dermopreguntón para crear preguntas de respuesta múltiple (PRM).

Material y método

A cada alumno/a se le proporcionaron 3 respuestas clave a partir de las que tenían que construir tres PRM y el resto de respuestas no correctas (4 distractores). Se eliminaron las preguntas que no se ajustaban a los requisitos y el resto fueron puntuadas (hasta 30 puntos) mediante un sistema de rúbrica en cuanto a su adecuación, claridad y originalidad, siendo clasificadas en insuficientes (< 15 puntos), mejorables (15-19 puntos), satisfactorias (20-24 puntos) y excelentes (≥ 25 puntos). Se evaluó la satisfacción con la actividad. Los alumnos fueron calificados de acuerdo con la guía docente.

Resultados

Participaron en la actividad 136/152 (89,4%) de los alumnos matriculados en la asignatura, recopilándose 408 preguntas, de las que 305 fueron seleccionadas. La calificación obtenida fue de insuficiente 56 (18,45%), mejorable 122 (40%), satisfactoria 120 (39,3%) y excelente 7 (2,3%). Un 89,6% de los alumnos mostraron su satisfacción con la actividad.

Conclusión

Dermopreguntón es un proyecto novedoso de generación de preguntas mediante un proceso inverso a partir de respuestas. Se ha observado un elevado grado de participación, implicación y aceptación por parte del alumnado. Menos de la mitad de las preguntas formuladas han presentado una evaluación buena o excelente, lo que evidencia la dificultad en la creación de este tipo de preguntas.

Abstract

Introduction

In order to promote interactive learning and critical thinking, the Dermoquestioner project was designed to create multiple choice questions (MCQ) among the students of the Dermatology assignment in the Medical Degree at the Miguel Hernández University of Elche.

Material and method

Each student was given 3 key answers from which they had to construct a MCQ, and the rest of the wrong answers (4 distractors). Questions that did not meet the requirements were eliminated, and the rest were scored (up to 30 points) using a rubric system, in terms of their adequacy, clarity, and originality, with < 15 points being classified as insufficient, improvable (15 -19 points), satisfactory (20-24 points), and excellent (≥ 25 points). Satisfaction with the activity was evaluated. The students were qualified according to the teaching guide

Results

A total of 136/152 (89.4%) of the students enrolled in the course took part in the activity. Of the 408 questions, 305 were selected. The score obtained was insufficient in 56 (18.45%), with 122 (40%) could be improved, 120 (39.3%) satisfactory, and 7 (2.3%) excellent. Almost all (89.6%) students showed their satisfaction with the activity

Conclusion

Dermopreguntón is a new question generation project using an inverse process based on answers. A high degree of participation, involvement, and acceptance by students has been observed. Less than half of the questions asked have had a good or excellent evaluation, which shows the difficulties in creating these types of questions.

Introducción

En la asignatura de Dermatología del grado de Medicina se suelen utilizar formas de evaluación combinadas para abarcar las diferentes facetas de la disciplina^1,2.

Una de los métodos de evaluación más utilizado son los exámenes test con preguntas de respuesta múltiple (PRM). Requieren mayor tiempo de elaboración e ingenio que otros métodos, pero bien seleccionadas, son un buen instrumento para comprobar el pensamiento crítico o las habilidades cognitivas³ y permiten diferenciar al que sabe del que no sabe.

En el marco de la convocatoria PIEU 2018-19 de proyectos de innovación docente promovida por el Vicerrectorado de Investigación e Innovación de la Universidad Miguel Hernández (UMH) de Elche, se consideró que la creación de preguntas de examen por parte de los estudiantes de la asignatura de Dermatología del grado de Medicina podría suponer una manera de involucrarlos en su proceso de formación. Para ello se diseñó un proyecto de creación de PRM denominado Dermopreguntón.

Material y método

Todos los alumnos/as de la asignatura de Dermatología de 3.° del grado de Medicina de la UMH, fueron invitados a participar en la actividad Dermopreguntón. El proyecto consistía en la creación de PRM con 4 respuestas mediante un proceso inverso, a partir de una respuesta considerada como correcta. Para ello, se elaboró una lista de 56 respuestas correctas (que podían ser palabras o frases) extraídas de PRM de exámenes de cursos anteriores (tabla 1). A cada alumno/a se le proporcionaron 3 respuestas clave administradas de manera aleatoria siguiendo diferentes combinaciones. A partir de dichas respuestas los alumnos tenían que construir tres PRM y el resto de respuestas no correctas (4 distractores), que tenían que cumplimentar según la ficha adjunta (fig. 1). Las preguntas eran remitidas al profesor responsable para su verificación. Los alumnos participantes fueron evaluados de acuerdo con el porcentaje publicado en la guía docente de la asignatura. Posteriormente, las preguntas recibidas fueron analizadas y las seleccionadas utilizadas como banco de preguntas.

Tabla 1.

Lista de respuestas proporcionadas a los alumnos

1. Acantosis nigricans

2. Acrocordones

3. Alteraciones de los genes de supresión tumoral

4. Calamina

5. Calcipotriol

6. Causa alopecia definitiva

7. Célula de Langerhans

8. Corneocitos

9. Daño inmunológico sobre dianas de los desmosomas

10. Déficit de ferroquelatasa

11. Demodex foliculorum

12. El bronceado inmediato es por fotooxidación de la melanina preexistente

13. El lupus vulgar es la forma de tuberculosis más frecuente

14. El tratamiento de elección son las tetraciclinas

15. Enfermedad de Churg-Strauss

16. Enfermedad de Lyme

17. Enfermedad de Wegener

18. Eritema fijo medicamentoso

19. Eritema gyratum repens

20. Eritema necrolítico migratorio

21. Es más frecuente en pacientes atópicos

22. Es una infección de la epidermis y parte superficial de la dermis

23. Es una tumoración benigna de origen epidérmico

24. Espongiosis

25. Extirpación con margen de seguridad de 0,5 cm

26. Filagrina

27. Herpes circinado

28. Herpes gestationis

29. Herpes simple recurrente

30. Hiperqueratosis de cutícula

31. Ictiosis lamelar

32. Índice de Breslow

33. Intervienen en la termorregulación

34. Involucrina

35. Las lesiones siguen las líneas de tensión

36. Liquen plano

37. Liquenificación

38. Lupus eritematoso discoide

39. Lupus miliar

40. Lupus vulgar

41. Melanoma lentiginoso acral

42. Mucinosis asociada a paraproteinemia

43. Paniculitis septal

44. Petequias

45. Presenta una clínica intestinal similar a la de la celiaquía

46. Prurito intenso

47. Seudopelada de Brocq

48. Puede producir metástasis

49. Queratosis actínica

50. Realizar un sedimento de orina para valorar la existencia de hematuria o proteinuria

51. RPR+ FTA ABS+

52. Se asocia carcinoma de páncreas

53. Surcos acarinos

54. Terbinafina oral

55. Tiña de puntos negros

56. Tricophyton rubrum

Figura 1.

Ejemplo de ficha proporcionada al alumnado.

La selección de las preguntas se realizó mediante un sistema de rúbrica con base en los parámetros de adecuación (preguntas pertinentes y ajustadas al tema), claridad (bien formuladas y comprensibles) y originalidad (planteamiento novedoso).

Cada pregunta fue analizada por 2 profesores de manera independiente que otorgaron una puntuación para cada uno de los 3 parámetros. En la valoración de la adecuación y la claridad cada evaluador podía otorgar 6 puntos por pregunta (total 12) y 3 puntos (total 6) en originalidad, de modo que cada evaluador puntuaba hasta 15 puntos, y cada pregunta podía obtener una puntuación global máxima de 30 puntos. Fueron desestimadas todas las preguntas con una puntuación < 15 puntos y asimismo aquellas que entre los 2 evaluadores hubieran obtenido < 5 puntos en cada uno de los 2 apartados de adecuación y claridad. Posteriormente las preguntas fueron clasificadas en insuficientes (< 15 puntos), mejorables (15-19 puntos), satisfactorias (20-24) y excelentes (≥ 25 puntos). Las preguntas desestimadas y las insuficientes no fueron seleccionadas para el banco de preguntas. Asimismo, se efectuó una encuesta de satisfacción entre los estudiantes para valorar la actividad.

Resultados

Participaron en la actividad 136/152 (89,4%) de los alumnos matriculados en la asignatura, recopilándose 408 preguntas. Cada una de las 56 respuestas clave fue proporcionada entre 4 y 14 ocasiones con una media de 7,2 veces (tabla 2). Se eliminaron 44 preguntas por presentar errores en el enunciado, defectos de forma, ser difícilmente comprensibles o tener insuficiente número de respuestas, obteniéndose 364 preguntas para evaluar. En el concepto de adecuación, 52/364 preguntas (14,3%) no alcanzaron 5 puntos, ni 46/364 (12,6%) en claridad y 62/364 (17%) presentaron una puntuación insuficiente en ambos conceptos por lo que fueron desestimadas, evaluándose finalmente 305 preguntas. La calificación obtenida fue de insuficiente en 56 (18,45%), mejorables 122 (40%), satisfactorias 120 (39,3%) y excelentes 7 (2,3%). Las preguntas insuficientes fueron descartadas para formar parte del banco de preguntas, con lo que el total de preguntas incluidas fueron 249. Posteriormente, fueron clasificadas con relación al temario de la asignatura de Dermatología y vinculadas como material de estudio disponible para los alumnos.

Tabla 2.

Preguntas proporcionadas a los estudiantes, preguntas evaluadas y calificación obtenida por las mismas. Se han resaltado en negrita las preguntas evaluadas con menor frecuencia, las peor evaluadas entre las de calificación insuficiente, y las mejores preguntas en la categoría satisfactoria y excelente

Respuestas proporcionadas a los estudiantes	Preguntas inicialesN = 408	Preguntas evaluadasN = 305	Insuficiente(< 15 puntos)N = 56	Mejorable(15-19 puntos)N = 122	Satisfactorio(20-24 puntos)N = 120	Excelente(≥ 25 puntos)N =: 7
1. Acantosis nigricans	9	6 (66,6%)	0	2 (33,3%)	4 (66,7%)	0
2. Acrocordones	8	4 (50%)	1 (25%)	2 (50%)	1 (25%)	0
3. Alteraciones de los genes de supresión tumoral	8	2 (25%)	0	2 (100%)	0	0
4. Calamina	7	7 (100%)	0	1 (14,3%)	5 (71,4%)	1 (14,3%)
5. Calcipotriol	5	3 (60%)	0	1 (33,3%)	1 (33,3%)	1 (33,3%)
6. Causa alopecia definitiva	9	8 (88%)	1 (12,5%)	1 (12,5%)	5 (62,5%)	1 (12,5%)
7. Célula de Langerhans	6	5 (83%)	0	1 (20%)	4 (80%)	0
8. Corneocitos	8	5 (62,5%)	0	0	4 (80%)	1
9. Daño inmunológico sobre dianas de los desmosomas	7	4 (57,%)	1 (25%)	0	3 (75%)	0
10. Déficit de ferroquelatasa	6	6 (100%)	0	1 (16,7%)	4 (66,7%)	1 (16,7%)
11. Demodex foliculorum	7	4 (57,1%)	1 (25%)	2 (50%)	1 (25%)	0
12. El bronceado inmediato es por fotooxidación de la melanina preexistente	8	6 (75%)	2 (33,3%)	3 (50%)	1 (16,7%)	0
13. El lupus vulgar es la forma de tuberculosis más frecuente	5	4 (80%)	2 (50%)	2 (50%%)	0	0
14. El tratamiento de elección son las tetraciclinas	6	6 (100%)	2 (33,3%)	2 (33,3%)	2 (33,3%)	0
15. Enfermedad de Churg-Strauss	5	4 (80%)	0	1 (25%)	3 (75%)	0
16. Enfermedad de Lyme	8	8 100%)	0	3 (37,5%)	5 (62,5%)	0
17. Enfermedad de Wegener	7	7 (100%)	1 (14,3%)	1 (14,3%)	5 (71,4%)	0
18. Eritema fijo medicamentoso	8	6 (83,3%)	0	2 (33,3%)	3 (50%)	1 (16,7%)
19. Eritema gyratum repens	7	4 (57,1%)	2 (50%)	2 (50%)	0	0
20. Eritema necrolítico migratorio	7	6 (85,7%)	1 (16,7%)	2 (33,3%)	3 (50%)	0
21. Es más frecuente en pacientes atópicos	7	6 (85,7%)	1 (16,7%)	3 (50%)	2 (33,3%)	0
22. Es una infección de la epidermis y parte superficial de la dermis	7	4 (57,1%)	0	1 (25%)	3 (75%)	0
23. Es una tumoración benigna de origen epidérmico	7	6 (85,7%)	0	3 (50%)	3 (50%)	0
24. Espongiosis	14	6 (42,8%)	2 (33,3%)	2 (33,3%)	2 (33,3%)	0
25. Extirpación con margen de seguridad de 0,5 cm	8	5 (62,5%)	0	3 (60%)	2 (40%)	0
26. Filagrina	5	4 (80%)	1 (25%)	1 (25%)		2 (50%)
27. Herpes circinado	6	4 (66,6%)	1 (25%)	2 (50%)	1 (25%)	0
28. Herpes gestationis	5	5 (100%)	2 (40%)	1 (20%)	2 (40%)	0
29. Herpes simple recurrente	6	5 (83,3%)	0	4 (80%)	1 (20%)	0
30. Hiperqueratosis de cutícula	8	0	0
31. Ictiosis lamelar	9	7 (77,7%)	0	2 (28,6%)	5 (71,4%)	0
32. Índice de Breslow	6	5 (83,3%)	1 (20%)	2 (40%)	2 (40%)	0
33. Intervienen en la termorregulación	7	7 (100%)	0	5 (71,4%)	2 (28,6%)	0
34. Involucrina	6	5 (83,3%)	0	3 (60%)	2 (40%)	0
35. Las lesiones siguen las líneas de tensión	6	6 (100%)	2 (33,3%)	4 (66,7%)	0,0%	0
36. Liquen plano	8	7 (87,5%)	0	1 (14,3%)	5 (71,4%)	1 (14,3%)
37. Liquenificación	8	7 (87,5%)	0	1 (14,3%)	6 (85,7%)	0
38. Lupus eritematoso discoide	9	5 (55,5%)	0	2 (40,0%)	3 (60,0%)	0
39. Lupus miliar	7	5 (71,4%)	2 (40%)	3 (60%)	0	0
40. Lupus vulgar	9	9 (100%)	0	5 (55,6%)	4 (44,4%)	0
41. Melanoma lentiginoso acral	8	7 (87,5%)	2 (28,6%)	1 (14,3%)	4 (57,1%)	0
42. Mucinosis asociada a paraproteinemia	6	6 (100%)	2 (33,3%)	3 (50,0%)	1 (16,7%)	0
43. Paniculitis septal	8	5 (62,5%)	1 (20,0%)	4 (80,0%)	0	0
44. Petequias	7	4 (57,1%)	1 (25%)	2 (50,0%)	1 (25,0%)	0
45. Presenta una clínica intestinal similar a la de la celiaquía	7	6 (85,7%)	1 (16,7%)	4 (66,7%)	1 (16,7%)	0
46. Prurito intenso	7	3 (42,8%)	0	2 (66,7%)	1 (33,3%)	0
47. Seudopelada de Brocq	7	7 (100%)	5 (71,4%)	1 (14,3%)	1 (14,3%)	0
48. Puede producir metástasis	9	5 (55,5)	1 (20%)	2 (40%)	2 (40,0%)	0
49. Queratosis actínica	9	9 (100%)	3 (33,3%)	5 (55,6%)	1 (11,1%)	0
50. Realizar un sedimento de orina para valorar la existencia de hematuria o proteinuria	6	5 (83,3%)	1 (20%)	3 (60%)	1 (20%)	0
51. RPR+ FTA ABS+	7	6 (85,7%)	2 (33,3%)	3 (50,0%)	1 (16,7%)	0
52. Se asocia carcinoma de páncreas	7	4 (57,1%)	3 (75%)	1 (25%)	0	0
53. Surcos acarinos	8	6 (75%)	0	5 (83,3%)	1 (16,7%)	0
54. Terbinafina oral	6	5 (83,3%)	1 (20%)	3 (60,0%)	1 (20%)	0
55. Tiña de puntos negros	9	7 (77,7%)	2 (28,6%)	2 (28,6%)	3 (42,9%)	0
56. Tricophyton rubrum	8	7 (87,5%)	5 (71,4%)	2 (28,6%)	0	0

En la tabla 2 están reflejadas todas las preguntas evaluadas y sus calificaciones. Las respuestas que obtuvieron peores calificaciones fueron la 13, la 47, la 52 y la 56, mientras que las mejor puntuadas fueron la 4, la 5, la 6, la 10 y la 18.

La encuesta fue respondida por 129 de los 136 alumnos participantes (89,4%), de los que 84,4% se mostraron satisfechos o muy satisfechos.

Discusión

La elaboración de PRM interesantes requiere un importante proceso de reflexión y búsqueda activa de información, que está en la base del proyecto Dermopreguntón, que implica a los alumnos en la creación de preguntas, incorporando como novedad la inversión con la dificultad añadida de su elaboración a partir de una respuesta y de tener que construir además las respuestas que actúan como distractores lo que incrementa el esfuerzo creativo. Existen algunas experiencias sobre la creación de PRM por parte de estudiantes de medicina^4,5, incluyendo Dermatología⁶, y algún proyecto de aprendizaje invertido en Medicina⁷ pero no hemos encontrado ninguna referencia a la creación de preguntas mediante un proceso inverso a partir de una sola respuesta, por lo que en este sentido el Dermopreguntón es un proyecto sin precedentes.

En el proceso de evaluación lo habitual es dar respuestas al alumnado sobre temas previamente estudiados. Sin embargo, las corrientes educativas actuales consideran que favorecer la creación de preguntas tiene una importancia enorme en la formación⁸ sirve para fortalecer las habilidades de pensamiento crítico⁹ y constituyen un factor considerable de éxito profesional entre los estudiantes de medicina¹.

La elaboración de preguntas por parte de los estudiantes podría favorecer este pensamiento¹⁰. Por otra parte, su participación en procesos de preguntas o respuestas interactivas con pequeñas recompensas puede incentivar su participación y servir de motivo de estudio¹¹.

En cuanto a los resultados obtenidos en nuestro proyecto, queremos destacar el grado de participación de los alumnos (89,4%) con 408 preguntas y de aceptación, ya que un 84,4% de alumnos se mostraron satisfechos o muy satisfechos con la actividad.

Se eliminaron 103/408 (25,3%) de las preguntas creadas, principalmente por el uso inadecuado de la respuesta proporcionada o por emplearla como enunciado en lugar de como respuesta. Destacamos que entre las preguntas que no superaron el filtro inicial, una tuvo que anularse completamente (la 30) por su interpretación equívoca en todos los casos, mientras que 3 fueron desestimadas en más del 50% de casos. De las restantes, 22 (39,2%) se utilizaron en más de 80% de casos y 18 entre 50-80%. No encontramos una especial justificación para estos datos.

Las 2 preguntas que fueron valoradas como insuficientes en > 50% de ocasiones fueron la 13 y la 47, y las 4 respuestas que generaron preguntas excelentes fueron la 4, la 8, la 18 y la 36. Las mejores preguntas evaluadas como buenas fueron las correspondientes a las respuestas 1, 4, 6, 7, 8, 9, 10, 15, 16, 17, 22 y 31.

Pocas preguntas se consideraron con un buen nivel de originalidad. Quizás el nivel de sorpresa exigido fue elevado. Algunas preguntas más novedosas en su planteamiento, fueron poco adecuadas o retorcidas en cuanto a comprensión y, por tanto, no alcanzaron un nivel de excelencia.

Se dice que las mejores PRM son las que ofrecen respuestas muy concretas, mientras que las respuestas largas o con ideas complejas requieren mayor nivel de conocimiento^12-15 tanto para formular la pregunta como para elaborar respuestas alternativas incorrectas^16-18. La mayoría de las 56 respuestas ofrecidas a nuestros alumnos eran concisas con una sola palabra, concepto o frase corta y solamente 8 venían dadas por una frase más larga. No hemos observado que en las respuestas largas las preguntas obtenidas hayan obtenido peor valoración ni tampoco que las respuestas con una sola palabra obtuvieran mejor valoración. Aunque parecería lógico que las respuestas más cortas facilitaran la construcción de buenas preguntas y de distractores de manera más simple, no podemos concluirlo en nuestro proyecto.

Las respuestas elegidas para crear el Dermopreguntón procedían de exámenes de Dermatología y fueron seleccionadas aleatoriamente, por lo que no podemos afirmar que fueran los mejores ejemplos para construir preguntas alrededor de las mismas.

Destacamos que de 408 preguntas aportadas por los estudiantes, solo 249 (60,2%) superaron el nivel exigido para ser consideradas como válidas para su utilización como elemento de estudio para los estudiantes y 127 (51%) alcanzaron un nivel de valoración satisfactorio o excelente, lo que evidencia la dificultad en la creación de preguntas realmente adecuadas, comprensibles y originales.

En conclusión, Dermopreguntón es un proyecto novedoso de creación de PRM por parte del alumnado de medicina a partir de una respuesta, promoviendo el pensamiento crítico y la creatividad con un elevado grado de participación, implicación y aceptación. La generación de PRM es difícil incluso para docentes experimentados, por tanto, es esperable que los alumnos no habituados a efectuar este tipo de ejercicio encuentren dificultades en el mismo y no alcancen en general un nivel de excelencia. Se trata además de un proyecto con aplicabilidad práctica, ya que se obtiene material útil para la docencia en cursos posteriores.

Financiación

Proyecto financiado por el Programa de Innovación Educativa Universitaria PIEU 2018-19. Vicerrectorado de Investigación e Innovación de la Universidad Miguel Hernández de Elche (PI 2018/08).

Conflicto de intereses

Los autores no presentan conflicto de intereses.