Calidad metodológica del trabajo de grado de bachiller en una facultad de medicina

Resumen

Objetivo

La calidad metodológica del trabajo de grado de bachiller en la Facultad de Medicina en la Universidad Nacional de Trujillo se determinó mediante un estudio descriptivo.

Método

Se aplicó un instrumento de medición oficialmente validado para tal fin, en esta universidad. El instrumento fue aplicado al total de las tesis archivadas en la biblioteca de la Facultad de Medicina durante los últimos 10 años, desde el año 2005 hasta el 2014; en total recopilamos 837 tesis.

Resultados

La calidad del método empleado en el trabajo de grado fue medida por cada parte del informe. El calificativo final fue clasificado en: muy buena, buena, regular, mala y muy mala.

Los trabajos de grado en Medicina de muy buena calidad constituyeron un 22,3% del total, de buena calidad un 60,3% y de regular calidad 22,3%. Se encontró una tendencia al alza en las clases buena y muy buena calidad, y una marcada tendencia a la baja en la clase regular calidad. El comportamiento de la clase «mala calidad» no muestra ninguna tendencia, pues representa solo el 0,5% de la población.

Conclusión

Los trabajos de grado de Medicina de la Universidad Nacional de Trujillo en los últimos 10 años son de buena calidad y la tendencia es a mejorar.

Abstract

Objective

To measure the methodological quality of the work for bachelor degree in the medical school of the National University of Trujillo.

Method

A descriptive study was conducted using an instrument officially validated for this purpose. This instrument was applied to all the papers archived in the library of the Faculty of Medicine of the National University of Trujillo over a ten-year period from 2005 until 2014., and included 837 papers in total.

Results

A total of 837 theses were included. The quality of the method employed in the level of the work was measured for each part of the report, with the final quality being classified as very good, good, fair, bad or very bad.

The good quality degree works in Medicine made up 22.3% of the total, the good quality ones 60.3%, and 22.3% were average quality. There was upward trend in the «good quality» and «very good quality» classifications, a marked downward trend in the «average quality» classification. No trend was seen in the «poor quality» classification, as it represented only 0.5% of the population.

Conclusion

The degree works of medical students of the National University of Trujillo in the last 10 years are of good quality and the trend is improving.

Introducción

La calidad educativa es un importante objetivo que se espera alcanzar en la enseñanza de un área del conocimiento y tiene como fin lograr una alta especialización profesional^1,2.

La universidad se encarga de brindar formación académica superior, desde el nivel del bachillerato, para que la sociedad avance y se desarrolle y, por lo tanto, es responsable de formar investigadores. Los productos más importantes son indudablemente los profesionales formados en sus diferentes facultades y escuelas. La evaluación universitaria se orienta mayormente al rendimiento de los alumnos en el aprendizaje de capacidades y destrezas que se dirigen a la profesionalización. La medición de la producción científica está dirigida a la cantidad de trabajos de investigación y escasamente a la calidad; sin embargo, esta es un elemento clave para controlar cómo se está realizando la investigación².

La calidad, entonces, también alcanza a la investigación científica que se realiza para la obtención de grados universitarios; por lo mismo, la calidad del trabajo de grado de bachiller, al ser un informe de investigación, es susceptible de evaluación.

El trabajo de grado, al igual que un artículo científico, es un informe escrito y publicado que comunica resultados de investigación o transmite nuevos conocimientos o experiencias basados en hechos conocidos o comunica resultados experimentales de personas que trabajan en diferentes campos de la ciencia³.

La calidad de un trabajo de investigación ha de entenderse como un concepto multidimensional, en el que es posible evaluar múltiples facetas, tales como la calidad del reporte, el tipo de diseño empleado, la metodología aplicada, el análisis utilizado, etc., en las que por el momento no existe un consenso^3–5. Por esta razón, es relevante que, al evaluar metodológicamente un artículo, se apliquen diferentes herramientas que permitan valorar de una forma global su validez interna y externa⁶.

Para evaluar las publicaciones científicas encontramos que, desde 1970, se han utilizado varios sistemas para calificar su calidad. Uno de los primeros fue el propuesto por Sackett⁷, en los años setenta, cuyo resultado son los «niveles de evidencia»: esta herramienta es útil para establecer la evidencia que apoya nuestra forma de actuar⁸.

Existen también recomendaciones para el reporte de resultados o «listas de chequeo» de diferentes tipos de diseño como son las iniciativas CONSORT⁹, TREND¹⁰, GRADE¹¹, MOOSE¹², QAREL¹³, QUADAS¹⁴, QUORUM¹⁵, REMARK¹⁶, STARD¹⁷ y STROBE¹⁸.

Tanto los niveles de evidencia como las recomendaciones para el reporte han sido utilizados para evaluar la calidad metodológica de artículos publicados. Sin embargo, estos no fueron diseñados con el objetivo de evaluar la investigación de un candidato a bachiller y tampoco han sido validados para tal fin.

En la Facultad de Medicina de la Universidad Nacional de Trujillo se evalúa el trabajo de grado haciendo uso de un instrumento llamado hoja para la calificación del informe final de los trabajos de investigación, pero que no se utiliza con la rigidez debida, pues el jurado delibera solo para decidir dicotómicamente si el trabajo es aprobado o no, luego de lo cual se van colocando puntuaciones a cada aspecto del instrumento de medición hasta llegar a una calificación conforme a lo acordado previamente¹⁹.

En el Perú, la Ley Universitaria²⁰ exige para la obtención del grado de bachiller, entre otros requisitos, la «aprobación de un trabajo de investigación» y para el título profesional, «la aprobación de una tesis o trabajo de suficiencia profesional». Para propósito de esta investigación y mejor entendimiento en otros espacios educativos, a la tesis exigida para el grado de bachiller o título profesional la llamaremos trabajo de grado o trabajo de investigación de bachiller.

En la Facultad de Medicina de la Universidad Nacional de Trujillo, la presentación, sustentación y aprobación de un trabajo de investigación es requisito indispensable para optar al grado académico de bachiller y al título de especialista²¹. El propósito es que el estudiante demuestre que conoce el tema motivo del trabajo y la metodología de la investigación científica en el campo profesional que le compete. En el documento se exponen los resultados científicos alcanzados por el aspirante en su trabajo de investigación. Estos resultados se presentan de forma sistematizada, lógica y objetiva en correspondencia con el proyecto presentado, discutido y aprobado para la búsqueda de soluciones al problema planteado, con respuestas científicas contextualizadas a partir de la utilización del método científico^4,21.

La calidad técnica y metodológica de un trabajo de investigación es, entre otros, un aspecto que lo hace sobresalir sobre el cúmulo de sus semejantes y constituirse finalmente en un aporte a la sociedad científica⁴.

Evaluar la calidad metodológica de un artículo científico es un proceso complejo, esencialmente porque el constructo «calidad metodológica» debe entenderse como un concepto multidimensional en el que es posible evaluar múltiples ítems, tales como la calidad del reporte, el tipo de diseño empleado, la metodología aplicada, el análisis utilizado, etc.^4,5.

Las investigaciones sobre la calidad de los trabajos de grado universitarios en el área de salud son muy escasas en Perú. Al respecto, en la Universidad Nacional de Trujillo, Narváez²² dio a conocer una primera experiencia evaluando los trabajos de bachiller en 1971, Falcón²³ y Veneros²⁴ evaluaron los trabajos de grado en las Facultades de Ciencias Médicas y de Ciencias Biológicas respectivamente en la Universidad Nacional de Trujillo. En otras universidades públicas, Nuñez y Kala²⁵ evaluaron la calidad de los trabajos de bachiller en la Universidad Nacional San Antonio Abad del Cusco. En la Universidad Nacional Mayor de San Marcos, Sanabria y Bullon²⁶ evaluaron la calidad de los trabajos de bachiller en Enfermería, mientras que Kredert²⁷ hizo lo propio en la Universidad Nacional del Centro, en Huancayo.

Desde 1970 se han utilizado varios sistemas para calificar la calidad de las publicaciones científicas. Una de las primeras fue la propuesta de Sackett⁷, cuyos resultados son los conocidos «niveles de evidencia». Esta escala de medición de la calidad, como otras, está constituida por valores numéricos o alfanuméricos, cuya traducción semántica puede reducirse a buena, regular, mala, muy mala, y hasta la actualidad es una herramienta útil para establecer la evidencia que apoya nuestra forma de actuar^7,8.

Actualmente existen algunas recomendaciones para la publicación de resultados, como la iniciativa Consolidated Standards of Reporting Trials (CONSORT) para ensayos clínicos⁹, la Standards for Reporting of Diagnostic Accuracy (STARD) para estudios de diagnóstico²⁸, pero ninguna de ellas se diseñó para la evaluación de la calidad metodológica y no se han validado para ello.

Una forma de evaluar la calidad de la investigación en una universidad es conocer la creación de nuevos conocimientos que se generan en ella. Estos conocimientos están presentes en los trabajos de investigación para optar a los grados de bachiller, maestro o doctor y en los proyectos de investigación que se desarrollan en la universidad a lo largo del curso académico.

La complejidad de cada una de los trabajos de investigación debe estar de acuerdo con el grado que se busca obtener: el trabajo de bachiller tiene como exigencia mínima el cumplimiento rígido del método científico en cada una de sus etapas. Todos estos antecedentes nos conducen a preguntarnos cuál es la calidad del trabajo para optar al grado de bachiller en Medicina en la Facultad de la Universidad Nacional de Trujillo. Para no sesgar los resultados no podemos utilizar cualquier instrumento de medición, que tendría primero que ser validado y aplicado; por lo tanto, utilizaremos el instrumento oficial del Comité de Investigación de la Facultad de Medicina para medir ese grado de exigencia en la investigación de grado de bachiller.

La utilidad de este estudio proviene de la necesidad académica de mejorar la calidad de la elaboración de los trabajos de grado. Una baja calidad puede ser evidencia de una mala gestión institucional en el área de investigación, lo cual negaría el principio básico de la universidad: la creación de nuevo conocimiento. Este estudio servirá después para modificar la realidad en busca del objetivo de la ciencia médica: mejorar la calidad de vida de las personas.

Material y método

Se tomaron todos los trabajos de grado de bachiller archivados en la biblioteca de la Facultad de Medicina de la Universidad Nacional de Trujillo, y se obtuvieron 837 informes.

La variable a evaluar fue la calidad metodológica del trabajo de grado. Esta es una variable teórica que necesita ser operacionalizada. Se definió como la característica del informe final del trabajo que revela la correcta utilización del método científico para la generación de conocimiento por estudio de la realidad.

La calidad fue categorizada según el puntaje obtenido al aplicar la escala de medición oficial de la Facultad de Medicina²¹.

• •

  Muy buena: 13-15

• •

  Buena: 10-12

• •

  Regular: 7-9

• •

  Mala 4-6

• •

  Muy mala: 1-3.

Las categorías fueron distribuidas con un rango de 3 puntos cada clase.

El instrumento utilizado por la Facultad de Medicina mide cada una de las partes del informe del trabajo de grado (ver Anexo A) en escala vigesimal. Este instrumento califica, entre otros, parámetros no relacionados con el uso del método científico, por lo que con la opinión de expertos^29,30, decidimos no considerar estos parámetros en nuestra evaluación. La calificación tenía entonces un máximo de 15 puntos como figura en el Anexo B. Con los cálculos se obtuvo que, del total de 15 puntos, 9,75 corresponden a 13 en la escala vigesimal, establecido como nota mínima aprobatoria por el Reglamento de Investigación de la Facultad de Medicina²¹.

Para verificar que se estaba utilizando correctamente el instrumento oficial, se compararon las mediciones de los autores con los resultados de 2 expertos^29,30, y se encontraron niveles de concordancia de 0,87 y 0,931 (índice kappa de Cohen), lo cual da validez a nuestros resultados.

El instrumento de evaluación oficial de la Facultad de Medicina²¹ de la Universidad Nacional de Trujillo mide:

• 1.

  El título con el contenido y variables de investigación (1 punto)

• 2.

  El tipo y diseño de investigación adecuado al objetivo (1 punto)

• 3.

  Si el plan de investigación informa antecedentes, justificación, problema, objetivos, hipótesis, diseño de contrastación y tamaño muestral, y análisis estadístico (8 puntos)

• 4.

  La descripción de los resultados (1 punto)

• 5.

  La discusión sobre la aceptación o rechazo de la hipótesis (1 punto)

• 6.

  Las conclusiones por la inferencia lógica (1 punto)

• 7.

  Las referencias bibliográficas de acuerdo con las normas establecidas (1 punto)

• 8.

  El resumen estructurado, máximo de 250 palabras sin espacios (1 punto).

Resultados

La población estudiada perteneciente al periodo 2005-2014 estuvo distribuida anualmente como se muestra en la tabla 1. La producción anual de trabajos de grado de bachiller en Medicina es irregular, y no hay relación marcada en el tiempo, pues el coeficiente de correlación de Pearson es −0,305.

Tabla 1.

Calificación del trabajo de grado de bachiller por año y parte del informe en la Facultad de Medicina de Trujillo

Año	2005	2006	2007	2008	2009	2010	2011	2012	2013	2014	Promedio
Título	0,96	0,96	0,99	0,9	0,9	0,9	0,9	0,95	0,94	0,89	0,93
Tipo de investigación	0,65	0,74	0,49	0,52	0,74	0,79	0,59	0,68	0,68	0,7	0,66
Antecedentes	0,96	0,95	0,99	0,97	0,99	0,89	0,96	0,97	0,99	0,95	0,96
Justificación	0,27	0,23	0,16	0,19	0,18	0,28	0,19	0,46	0,35	0,36	0,27
Problema	0,85	0,9	0,92	0,84	0,93	0,86	0,9	0,95	0,94	0,93	0,9
Objetivos	0,65	0,69	0,79	0,8	0,84	0,79	0,8	0,92	0,88	0,84	0,8
Hipótesis	0,41	0,43	0,45	0,44	0,55	0,5	0,44	0,59	0,62	0,55	0,5
Diseño de contrastación	0,66	0,69	0,85	0,63	0,68	0,74	0,61	0,71	0,65	0,65	0,69
Muestra	0,46	0,32	0,54	0,27	0,45	0,6	0,48	0,62	0,52	0,5	0,48
Analisis estadístico	0,47	0,61	0,66	0,59	0,72	0,78	0,69	0,78	0,79	0,71	0,68
Resultados	0,88	0,87	0,91	0,78	0,81	0,71	0,61	0,63	0,65	0,75	0,76
Discusión	0,9	0,96	0,92	0,79	0,82	0,74	0,75	0,87	0,86	0,91	0,85
Conclusiones	0,53	0,47	0,48	0,43	0,53	0,53	0,55	0,55	0,55	0,59	0,52
Referenc. bibliográficas	0,95	0,94	0,84	0,79	0,94	0,91	0,89	0,92	0,92	0,97	0,91
Resumen	0,24	0,4	0,4	0,57	0,68	0,66	0,66	0,79	0,65	0,55	0,56
Total	9,84	10,17	10,41	9,51	10,76	10,69	10,01	11,4	11	10,85	10,47
Escala vigesimal	13,12	13,56	13,88	12,68	14,35	14,25	13,35	15,2	14,67	14,47	13,95
Total de informes	114	83	93	82	87	84	91	71	95	85	885

Coeficiente de correlación de Pearson para cantidad anual: r = −0,305.

Fuente: Evaluación hecha por los autores.

La evaluación de los componentes del informe de tesis se presenta en la tabla 1 en distribución anual y con promedios poblacionales. Se observa que el ítem con menor puntuación promedio es «Justificación» (0,27) y el que constantemente obtiene mayor puntuación son «Título» (0,93) y «Antecedentes» (0,96). En promedio, los 837 trabajos evaluados obtienen una puntuación de 10,47 en escala de 1 a 15, lo que significa 13,96 en escala vigesimal.

La calificación final promedio de las tesis por años se presenta en la tabla 2. Llama la atención que la calificación promedio que se obtuvo para las tesis del año 2006 estuvo por debajo de la calificación considerada aprobatoria por el Comité de Investigación de la Facultad de Medicina.

Tabla 2.

Evaluación de las tesis para optar al grado de bachiller en la Facultad de Medicina de Trujillo. Estadígrafos por año

Año	Promedio	Desv. estánd.	Mediana	% no aprobados
2005	13,12	1,71	12,67	54
2006	13,56	1,52	13,3	44
2007	13,88	1,55	14	16
2008	12,68	1,78	12,67	56
2009	14,35	1,48	14,67	21
2010	14,25	1,87	14	30
2011	13,35	1,47	13,33	42
2012	15,2	1,26	15	9
2013	14,67	1,46	14,67	19
2014	14,47	1,29	14	21

Fuente: Evaluación hecha por los autores.

Al observar los resultados anteriores, procedimos a medir los percentiles por años y, al ubicar el percentil con la nota mínima aprobatoria, teníamos el porcentaje de trabajos de grado con nota no aprobatoria; con estos resultados podemos afirmar que en el años 2005 y 2008, más del 50% de los informes evaluados por nosotros obtiene nota no aprobatoria. Por otro lado, fue en el año 2012 en el que se encontró la mejor situación, pues menos del 9% de los trabajos obtenían nota no aprobatoria, y el promedio y la mediana son los más altos de los años estudiados.

Para analizar la tendencia de la calidad de la tesis para optar al grado de bachiller en la Facultad de Medicina, construimos la figura 1 con las notas promedio anuales, y obtuvimos una curva con línea de tendencia ascendente. Luego se procedió a medir el coeficiente de correlación de Pearson, que dio un valor de 0,67, lo que permite afirmar que la calidad está mejorando con el tiempo.

Figura 1.

Calificación del trabajo de grado por año.

También agrupamos las puntuaciones en 5 clases, como mostramos en la tabla 3 y, para ver la tendencia de clase, presentamos la figura 2 que confirma la tendencia de la calidad de las tesis hacia la mejora con el tiempo, lo que se muestra con la tendencia descendente de la clase regular y la ascendencia de las clases buena y muy buena.

Tabla 3.

Calidad de tesis de pregrado, por año en la Facultad de Medicina de Trujillo

	2005	2006	2007	2008	2009	2010	2011	2012	2013	2014	Total
Muy buena	19	9	15	5	13	18	8	18	20	16	141
Buena	37	55	58	35	63	39	52	44	60	62	505
Regular	36	19	20	35	11	17	29	4	9	7	187
Mala	1	0	0	3	0	0	0	0	0	0	4
Muy mala	0	0	0	0	0	0	0	0	0	0	0
Total	114	83	93	82	87	84	91	71	95	85	885

Fuente: Evaluación hecha por los autores.

Figura 2.

Evolución anual de la calidad del trabajo de grado por categorías.

Discusión

El presente estudio evidenció que el número de trabajos sustentados ha ido decreciendo ligeramente conforme avanzan los años. Este hecho está correlacionado con los estudios de Mayta et al.³¹ y de Alarco et al.³², quienes evidenciaron que la investigación científica a nivel de pregrado en el Perú atraviesa una crisis, por la baja producción.

Este resultado puede también deberse a la exigencia académica de la docencia de pregrado, que permite que los estudiantes lleguen a este año de estudios en cantidad irregular. El mismo estudio de Alarco et al.³² también concluye que en el pregrado la crisis no es solo en cantidad sino que también se encuentra mala calidad de las investigaciones. El propio Alarco et al.³² y Perales et al.³³ plantean que la falta de financiamiento es notoria entre las causas, también la falta de interés en muchos alumnos e internos de Medicina y, al mismo tiempo, el desconocimiento de los estudiantes en cuanto a investigación y al rigor del método científico, que, unido al desarrollo apresurado de los trabajos para graduarse, dan como producto investigaciones con deficiencias metodológicas en mayor o menor grado. Por otro lado, algunos docentes que hacen de jurado no aportan las correcciones o sugerencias necesarias para mejorar los proyectos de investigación³⁴.

Hemos encontrado que el 62% de las tesis evaluadas son de calidad regular. Similar resultado tuvo el estudio realizado por Kala et al.³⁴, quienes evaluaron los trabajos de grado de 1996 en la Facultad de Medicina de la Universidad Nacional de San Antonio Abad del Cusco, donde encontraron que la mayoría de ellos fue de regular calidad. Sin embargo, Mandujano et al.³⁵ evaluaron los trabajos de bachiller presentados en el periodo 2000-2009 en la misma Facultad de Medicina y encontraron que la mayoría fueron de calidad no aceptable. Aunque cada estudio utilizó diferente criterio de clasificación, ambos observaron que la calidad metodológica de los trabajos fue empeorando en el tiempo.

Nuestro estudio reveló que la calidad del trabajo de grado en Medicina en la Universidad Nacional de Trujillo va mejorando en el tiempo, confirmado por el coeficiente de correlación de Pearson. Por otro lado, gráficamente, la curva de las tesis de regular calidad va disminuyendo en el tiempo y las curvas de buena y muy buena calidad van aumentando. Esta tendencia puede explicarse por el énfasis que se está dando a la investigación en los últimos años con actividades de los diversos cursos de pregrado en que se fomenta la investigación de docentes y estudiantes, la existencia de organizaciones de estudiantes de pregrado que fomentan la investigación científica, la organización de las jornadas científicas de estudiantes de pregrado, etc.

Es importante también observar que los estudiantes hacen una buena revisión bibliográfica para plantear el problema de investigación, sin embargo, aún tienen dificultades en la toma de muestra, que es donde obtienen baja calificación. Si bien es cierto que la parte del trabajo bajo el subtítulo «Justificación» tiene la más baja calificación, quizás se deba a la búsqueda de una razón más tecnológica de la investigación que puede confundir al tesista, cuando lo fundamental de su investigación es demostrar el manejo del método científico.

Conclusión

Investigada la calidad del trabajo de grado de bachiller en la Facultad de Medicina de la Universidad Nacional de Trujillo, se concluye que esta es de nivel regular, sin embargo, la tendencia en los últimos 10 años es que la calidad está mejorando. Es necesario, entonces, seguir exigiendo el uso riguroso del método científico en la formación universitaria para continuar con la mejora encontrada.

Financiación

Autofinanciado.

Conflicto de intereses

Ausente.