Nuestro objetivo es evaluar la validez aparente y de contenidos del simulador físico Simulap® y la validez constructiva de su sistema de evaluación.
Material y métodosCinco cirujanos noveles (G1) y 5 cirujanos expertos (G2) realizaron siete ejercicios básicos y uno de sutura en Simulap®, los cuales fueron evaluados en base a los errores y al tiempo. Las validaciones aparente y de contenidos fueron realizadas por los cirujanos noveles y los expertos, respectivamente. Ambas consistieron en un cuestionario sobre Simulap® y sus ejercicios con una escala del 0 al 5. La validez constructiva del sistema de evaluación se determinó comparando las puntuaciones de ambos grupos.
ResultadosLa valoración por parte de los cirujanos del simulador Simulap® y su programa de entrenamiento fue positiva, obteniendo una puntuación media de 4±1,1 para el G1 y de 4,9±0,6 para el G2. El G2 consideró muy útil el entrenamiento con Simulap® para la formación de residentes y cirujanos, obteniendo una puntuación máxima de 5. El G2 superó al G1 en todas las puntuaciones de los ejercicios, observándose diferencias estadísticamente significativas en los ejercicios de coordinación ojo-mano (G1: 52,2±6,7 frente a G2: 39,6±6,5; p=0,027), disección (G1: 301,8±100,2 frente a G2: 150,8±66,7; p=0,028) y sutura (G1: 258,5±87,0 frente a G2: 108,4±20,2; p=0,009).
ConclusionesEl sistema de evaluación para Simulap® es capaz de distinguir diferentes grados de experiencia en cirugía laparoscópica. Además este simulador mostró una gran aceptación por parte de los cirujanos para el aprendizaje de habilidades básicas.
Our aim is to assess the face and content validities of the physical simulator Simulap®, as well as the construct validity of its assessment method.
Material and methodsFive novice surgeons (G1) and five experts (G2) performed seven basic tasks and one suturing exercise on Simulap®, which were assessed through an exam based on mistakes and performance time. Face and content validations were carried out by novice surgeons and expert surgeons, respectively. Both validations consisted of a questionnaire graded on a five-point scale about the Simulap® and its tasks. Construct validity of the assessment system was determined by comparing the scores of both groups.
ResultsSurgeons rated the Simulap® simulator and its training program positively, obtaining an average score of 4±1.1 for G1 and of 4.9±0.6 for G2. G2 considered training on Simulap® very useful for the training of residents and surgeons, obtaining a maximum score of 5. G2 outperformed G1 in all task scores, with statistically significant differences in the eye-hand coordination (G1: 52.2±6.7 vs. G2: 39.6±6.5; P=.027), dissection (G1: 301.8±100.2 vs. G2: 150.8±66.7; P=.028) and suturing exercises (G1: 258.5±87.0 vs. G2: 108.4±20.2; P=.009).
ConclusionsThe assessment method for Simulap® is able to distinguish different levels of experience in laparoscopic surgery. Furthermore, this simulator showed a great acceptance by surgeons for the learning of basic skills.
Después del auge de la cirugía laparoscópica en los años 90, esta se ha ido imponiendo a la cirugía convencional hasta llegar a ser considerada, en la actualidad, como la técnica de elección en numerosos procedimientos quirúrgicos1,2.
Sin embargo, este abordaje mínimamente invasivo ha necesitado el desarrollo de nuevas habilidades técnicas por los cirujanos implicando un proceso de aprendizaje3,4. En este sentido, el campo de la simulación está alcanzando un gran desarrollo, con el fin de conseguir un adecuado nivel de destreza fuera del quirófano, acortando las curvas de aprendizaje, y disminuyendo los errores y complicaciones intraoperatorias4,5. Numerosos estudios de investigación han demostrado que los cirujanos pueden mejorar sus habilidades mediante el empleo de simuladores6,7.
La división principal de los simuladores de cirugía laparoscópica podría realizarse entre virtuales o físicos. Por un lado, los simuladores virtuales proporcionan una evaluación objetiva de la práctica del cirujano, pero presentan un alto coste y ciertas deficiencias en la sensación háptica. A pesar de las mejoras tecnológicas que han sufrido, existe escasa bibliografía que demuestre el valor adicional que suponen estos simuladores frente a las alternativas tradicionales8. Por otro lado, los simuladores físicos presentan un coste menor y una sensación táctil más real. Sin embargo, la evaluación de los ejercicios realizados por el alumno debe llevarla a cabo un cirujano experto, sin estar esta evaluación exenta de cierta subjetividad3,9.
Con el fin de establecer un sistema objetivo, se han descrito varios métodos de evaluación, basados en el cumplimiento de tareas específicas asociadas a cada procedimiento quirúrgico, la valoración de aspectos técnicos de la cirugía o el análisis del número de errores y el tiempo de intervención9–11.
A pesar de que los simuladores proporcionan un medio para mejorar y mantener las habilidades, así como para evaluar y certificar la competencia quirúrgica12; para que su uso sea fiable, debe realizarse una evaluación rigurosa y objetiva que determine su validez.
El objetivo del trabajo es determinar la validez aparente y de contenidos del simulador físico Simulap®, así como establecer la validez constructiva del sistema de evaluación.
Material y métodosGrupos de estudioParticiparon en el estudio un total de 10 cirujanos divididos en dos grupos:
- •
Grupo 1 (G1): 5 cirujanos noveles (cirujanos que han realizado menos de 50 intervenciones en cirugía laparoscópica).
- •
Grupo 2 (G2): 5 cirujanos expertos (cirujanos que han realizado 50 o más intervenciones en cirugía laparoscópica).
Se trata de un simulador físico diseñado y desarrollado en nuestro centro para el entrenamiento en cirugía laparoscópica (fig. 1). Este simulador integra una cámara móvil con zoom y un sistema de luz fría de intensidad regulable. Consta de una caja de material plástico, cuya forma corresponde a un molde de la cavidad abdominal de un paciente, y de una cubierta que permite la introducción de trocares en distintas posiciones. Dispone de sistemas para la sujeción de órganos y de un accesorio limitador del espacio pelviano. Este simulador permite practicar diferentes ejercicios (corte, disección o sutura) mediante la incorporación de dispositivos de entrenamiento inorgánicos (tablero de coordinación, láminas de corte, tejidos artificiales, etc.) y materiales orgánicos.
Ejercicios de cirugía laparoscópica
Se practicaron ocho ejercicios, correspondientes al programa de entrenamiento diseñado para Simulap® (tabla 1): navegación con cámara 0°, coordinación ojo-mano, prensión, coordinación mano-mano (fig. 1), corte, coagulación, disección y sutura. Para la realización del ejercicio de navegación con cámara 0°, se empleó una torre de laparoscopia y para el resto de los ejercicios, únicamente se conectó el simulador a un monitor.
Programa de entrenamiento en Simulap®
| EJERCICIO | DESCRIPCIÓN | REPETICIONES |
| Navegación cámara 0° | Enfocar los distintos puntos indicados en el tablero de coordinación, empleando la óptica laparoscópica de 0° con la mano dominante | N° puntos a enfocar: 10 |
| Coordinación ojo-mano | Tocar los números indicados con la punta del disector en el tablero de coordinación, empleando primero la mano derecha, a continuación la izquierda y finalmente, ambas a la vez | N° puntos a tocar: 10 |
| Prensión | Prensión de objetos rugosos y lisos para depositarlos en la localización indicada | N° objetos: 12 |
| Coordinación mano-mano | Transferencia en el aire de objetos rugosos y lisos, de mano derecha a mano izquierda y viceversa, para terminar depositándolos en la localización indicada | N° objetos: 12 |
| Corte | Corte de trazados rectos, curvos y sigmoideos con ambas manos, en dos láminas de látex de dificultad creciente | N° trazados: 6 |
| Coagulación | Aplicación de puntos de coagulación para trazar una línea recta entre dos puntos marcados, sobre tejido orgánico y con la mano dominante | N° líneas: 4 |
| Disección | Disección de la capa serosa del estómago de cerdo a partir de las líneas ya seccionadas y hasta alcanzar la línea marcada | N° disecciones: 4 |
| Sutura | Realización de puntos simples con un anudado doble y dos anudados simples, alternando el sentido, en una incisión horizontal y otra vertical en estómago de cerdo. Los puntos de entrada y salida de la aguja estaban señalizados | N° puntos: 8 |
La validación aparente se realizó mediante la evaluación de un cuestionario con una escala del 1 (malo o muy poco) al 5 (muy bueno o mucho) (tabla 2), por el G1.
Cuestionarios de validación aparente y de contenidos
| VALORACIÓN (1 muy negativo y 5 muy positivo) | 1 | 2 | 3 | 4 | 5 | |
| ENCUESTA DE VALIDACIÓN APARENTE | Calidad de la imagen | |||||
| Calidad y rango de zoom | ||||||
| Intensidad de luz | ||||||
| Simulación de la cavidad abdominal | ||||||
| Utilidad para el aprendizaje de habilidades básicas | ||||||
| Gama de ejercicios | ||||||
| ¿Consideras necesaria la realización de este programa de entrenamiento antes de practicar laparoscopia en el quirófano? | ||||||
| Apropiado para la evaluación de ejercicios | ||||||
| ¿Prefieres este simulador frente a un simulador virtual? | ||||||
| Sugerencias y comentarios: |
| VALORACIÓN (1 muy negativo y 5 muy positivo) | 1 | 2 | 3 | 4 | 5 | |
| ENCUESTA DE VALIDACIÓN DE CONTENIDOS | Utilidad para la formación de estudiantes de medicina | |||||
| Utilidad para la formación de residentes | ||||||
| Utilidad para la formación de cirujanos | ||||||
| Utilidad de la gama de ejercicios para el aprendizaje de habilidades básicas en cirugía laparoscópica | ||||||
| Gama de ejercicios | ||||||
| Efectivo para la mejora de habilidades en el quirófano | ||||||
| ¿Consideras interesante la inclusión de los ejercicios en Simulap® en el programa de formación previo a la práctica en quirófano? | ||||||
| Apropiado para la evaluación durante la formación | ||||||
| ¿Crees que mediante la práctica de estos ejercicios se puede contribuir a disminuir los errores en quirófano? | ||||||
| ¿Qué opinión te merece este simulador en comparación con la simulación virtual? | ||||||
| Sugerencias y comentarios: |
Para la obtención de la validez de contenidos se valoró un cuestionario con una escala del 1 (malo o muy poco) al 5 (muy bueno o mucho) que fue entregado al G2 (tabla 2).
La validación constructiva se obtuvo comparando las puntuaciones de los ejercicios del G1 con las del G2.
Los ejercicios fueron evaluados por dos expertos en cirugía laparoscópica. El modo de puntuación se basó en el tiempo invertido en completar las tareas y en los errores cometidos en cada ejercicio. A cada error se le asignó una penalización de 1 segundo y el tiempo total de penalización se sumó al tiempo total de realización del ejercicio, como se muestra en la tabla 3, para el ejercicio de coordinación mano-mano. De este modo, una menor puntuación se corresponde con una mejor realización de los ejercicios.
Evaluación del ejercicio de coordinación mano-mano
| Ejercicio | Errores | N° | Tiempo penalización |
| Coordinación mano-mano | Penalización acumulada por error:+1 segundo | ||
| Tocar con el instrumental zonas no marcadas | |||
| Tocar el objeto con el instrumental contrario asignado | |||
| Mala orientación de la punta del instrumental | |||
| Prensión inadecuada con el consiguiente deslizamiento de la pieza | |||
| Caída del un objeto cuando se transfiere en el aire de un instrumental a otro | |||
| Caída de un objeto al cogerlo en la segunda pinza | |||
| Coger el objeto con la mano contraria a la señalada en el ejercicio | |||
| No colocar el objeto en el lugar indicado | |||
| Tiempo total de penalización | |||
| Tiempo total de realización ejercicios | |||
| PUNTUACIÓN=tiempo total de realización del ejercicio+tiempo total de penalización | |||
Se utilizó el programa informático Statistical Package for the Social Sciences versión 15.0 (SPSS, Chicago, IL). De acuerdo con la naturaleza de los datos, se utilizaron pruebas no paramétricas para el análisis estadístico de los mismos, empleando el test U de Mann Whitney para comparar las puntuaciones entre G1 y G2. Un valor de p<0,05 fue considerado significativo.
ResultadosValidez aparenteLa puntuación media obtenida por el G1 en la encuesta de validación aparente fue de 4±1,1. La mayor puntuación fue otorgada a la pregunta «¿Consideras necesaria la realización de este programa de entrenamiento antes de practicar laparoscopia en el quirófano?», valorada por todos los cirujanos noveles con un 5 (mucho). Las puntuaciones más bajas se obtuvieron en las preguntas «Calidad de la imagen» y «Rango y calidad del zoom», habiendo sido otorgado en ambas un 3 por tres cirujanos (aceptable) y un 2 por dos cirujanos (algo malo). En «Intensidad de luz» y «Simulación de la cavidad abdominal» se obtuvo una puntuación media de 3,6±0,6. El G1 valoró con 4,8±0,5 las preguntas: «Utilidad para el aprendizaje de habilidades básicas» y «Apropiado para la evaluación de ejercicios». La gama de ejercicios fue valorada con una puntuación media de 4±0,7 y la preferencia por este simulador frente a uno de realidad virtual, con 4,6±0,6.
Validez de contenidosEl G2 valoró al simulador Simulap® con una puntuación media de 4,9±0,6. Todos los cirujanos expertos otorgaron un 5 (mucho/muy bueno) a las cuestiones: «Utilidad para la formación de estudiantes de medicina», «Utilidad para la formación de residentes», «Utilidad de la gama de ejercicios para el aprendizaje de habilidades básicas» y «Efectivo para la mejora de habilidades en el quirófano». La menor puntuación fue concedida a la pregunta «¿Consideras necesaria la realización de este programa de entrenamiento antes de practicar laparoscopia en el quirófano?», valorándola tres de ellos con 5 (muy bueno/mucho) y dos de ellos con 4 (bueno/bastante). El resto de preguntas fueron puntuadas con 4,8±0,5 de media: «Utilidad para la formación de cirujanos», «Gama de ejercicios», «Apropiado para la evaluación durante la formación», «¿Crees que mediante la práctica de estos ejercicios se puede contribuir a disminuir los errores en quirófano?» y «¿Qué opinión te merece este simulador en comparación con la simulación virtual?».
Validez constructivaEl G2 obtuvo puntuaciones inferiores, con respecto al G1, en los 8 ejercicios realizados, siendo estas estadísticamente significativas en los ejercicios de coordinación ojo-mano (G1: 52,2±6,7 frente G2: 39,6±6,5; p=0,027), disección (G1: 301,8±100,2 frente G2: 150,8±66,7; p=0,028) y sutura (G1: 258,4±87,0 frente G2: 108,4±20,2; p=0,009). En los ejercicios de navegación con cámara 0°, prensión, corte y coagulación no se observaron diferencias estadísticamente significativas (fig. 2).
Discusión
En cirugía laparoscópica es evidente la necesidad de un programa formativo previo a su aplicación en la práctica clínica, de modo que los cirujanos aprendan las habilidades básicas necesarias y adquieran destreza quirúrgica en cirugía laparoscópica3. Este aprendizaje es fundamental para evitar o, cuando menos disminuir, la tasa de errores y accidentes intraoperatorios, así como para reducir el tiempo de formación en cirugía laparoscópica. En este marco los simuladores físicos juegan un papel muy importante en la optimización de la formación de los cirujanos laparoscopistas, proporcionando un medio económico para el aprendizaje y la evaluación de habilidades. Sin embargo, para determinar la utilidad de un simulador se deben analizar varios aspectos y comprobar el grado de cumplimiento de los objetivos para los cuales fue diseñado, mediante diferentes estudios de validación (aparente, de contenidos, constructiva, predictiva, etc.)12–14.
La validación aparente se refiere al realismo del simulador para la práctica de cirugía laparoscópica12–14. En nuestro caso, las puntuaciones más bajas otorgadas por los cirujanos noveles han sido las referentes a la calidad de la imagen y del zoom. Debido a que nuestro propósito fue construir un simulador práctico y económico, la cámara no posee las mismas características que una cámara laparoscópica. Sin embargo, consideramos que este hecho no es significativo, cuando las puntuaciones obtenidas en la pregunta «Utilidad para el aprendizaje de habilidades básicas» han sido altas (4,8 sobre 5).
La validación de contenidos se refiere a la idoneidad del simulador para la enseñanza y debe ser realizada por personas con gran experiencia en ese ámbito12–14. En este estudio el grupo de expertos ha concedido puntuaciones altas (4,8 sobre 5 de media) al simulador, por lo que consideramos que se cumple el objetivo formativo del mismo siendo de gran utilidad para el desarrollo de las habilidades perseguidas en cirugía laparoscópica.
Tanto los cirujanos noveles como los expertos han mostrado en los cuestionarios una mayor preferencia por la simulación física que por la virtual. Esta valoración puede deberse a la dificultad de uso, al mayor coste y a las deficiencias en la sensación háptica que poseen los simuladores virtuales, la cual se traduce en la falta de una sensación real al manipular los objetos y tejidos15.
Aunque en la pregunta «¿Consideras necesaria la realización de este programa de entrenamiento antes de practicar laparoscopia en el quirófano?», han coincidido la menor puntuación por parte de los cirujanos expertos y la mayor puntuación por parte de los cirujanos noveles, no se ha considerado un hecho relevante, ya que la puntuación de los expertos sigue siendo alta (4,6 sobre 5).
Se han observado mejores resultados por parte de los expertos en todos los ejercicios realizados en Silmulap®, en comparación a los noveles, por lo que el examen de habilidades quirúrgicas empleado, basado en el tiempo y los errores, es un sistema apto para diferenciar entre cirujanos noveles y cirujanos con amplia experiencia en cirugía laparoscópica. Este tipo de examen ha sido empleado para la evaluación de habilidades en cirugía laparoscópica en varios estudios y es el empleado en el programa Fundamentals of Laparoscopic Surgery (FLS) para evaluar a los cirujanos que deseen ejercer como cirujano laparoscopista en Estados Unidos10,11,16–19.
La diferencia entre las puntuaciones medias de los cirujanos noveles y expertos se corresponde con el grado de dificultad de los ejercicios, obteniéndose menores diferencias en los ejercicios iniciales (navegación con cámara 0°, coordinación ojo-mano y prensión) y mayores en los ejercicios más avanzados (disección y sutura). Por tanto, las diferencias entre cirujanos noveles y cirujanos expertos son más evidentes cuando se realizan ejercicios que implican un mayor grado de destreza quirúrgica y un alto grado de aprendizaje20, como es el caso de la sutura intracorpórea.
En los estudios de Paisley et al.21 y Avgerinos et al.19 se demuestra una mayor sensibilidad en la detección de diferentes grados de experiencia, por parte del modelo físico que por un simulador virtual. En contraposición, han sido descritos varios estudios recientes que evidencian una similitud entre los resultados obtenidos en un simulador físico y un simulador virtual, en cuanto a validez constructiva17,18,22. Sin embargo, en uno de ellos únicamente se considera el tiempo como medida de diferenciación entre distintos niveles de experiencia, lo cual no refleja la calidad de realización de los ejercicios20. Así pues, consideramos que el tiempo no debe tenerse en cuenta como un parámetro aislado, sino en conjunto con otros que indiquen aspectos de la destreza con que se realizan los ejercicios o maniobras.
Una de las ventajas más significativas de los simuladores virtuales es que proporcionan una evaluación objetiva, midiendo distintos parámetros durante la ejecución del ejercicio y en tiempo real; no requiriendo la valoración posterior del ejercicio por parte de un cirujano experto23. Sin embargo, aparte del elevado coste de adquisición y mantenimiento que suponen, se requeriría que una persona con experiencia analizase todas las medidas en conjunto y realizase un seguimiento de la actividad del alumno, para interpretar el progreso del aprendizaje y la mejora de las habilidades quirúrgicas del cirujano.
Finalmente, algo que queda aún por establecer son los requisitos o «marcas» que un cirujano debe lograr para considerar que está preparado para llevar a cabo procedimientos laparoscópicos con mínimos riesgos para el paciente. Es evidente que es una situación difícil de determinar, aunque al menos se podría establecer un nivel mínimo de destreza necesaria para cualquier cirujano antes de iniciar su aplicación clínica, de un modo similar al método establecido con el programa FLS para poder ejercer como cirujano laparoscopista en Estados Unidos24,25.
Podemos concluir que el sistema de entrenamiento desarrollado para Simulap® mostró una gran aceptación para el aprendizaje de habilidades básicas en cirugía laparoscópica y su sistema de evaluación demostró poseer validez constructiva, por lo que proporciona un medio útil y económico para el entrenamiento y la evaluación de habilidades en esta disciplina.
En trabajos futuros plantearemos una validación más amplia del simulador físico Simulap®, que incluya un mayor número de cirujanos, así como un estudio que determine si la evaluación de la destreza obtenida mediante un examen objetivo de los ejercicios se corresponde con la destreza quirúrgica en el paciente real. De este modo, se podrá establecer la validez predictiva mediante el empleo de simuladores; determinando así en qué momento el cirujano está preparado para asumir la práctica quirúrgica con riesgos mínimos para el paciente.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
Los autores agradecen a los participantes y al personal del Centro de Cirugía de Mínima Invasión Jesús Usón su colaboración en este estudio.
