Sistemas informáticos de soporte a la decisión clínica

array:19 ["pii" => "13057545" "issn" => "00257753" "estado" => "S300" "fechaPublicacion" => "2004-02-15" "documento" => "article" "crossmark" => 0 "subdocumento" => "fla" "cita" => "Med Clin. 2004;122 Supl 1:39-44" "abierto" => array:3 [ "ES" => false "ES2" => false "LATM" => false ] "gratuito" => false "lecturas" => array:2 [ "total" => 7904 "formatos" => array:3 [ "EPUB" => 8 "HTML" => 7303 "PDF" => 593 ] ] "itemSiguiente" => array:15 [ "pii" => "13057547" "issn" => "00257753" "estado" => "S300" "fechaPublicacion" => "2004-02-15" "documento" => "article" "crossmark" => 0 "subdocumento" => "fla" "cita" => "Med Clin. 2004;122 Supl 1:45-50" "abierto" => array:3 [ "ES" => false "ES2" => false "LATM" => false ] "gratuito" => false "lecturas" => array:2 [ "total" => 3637 "formatos" => array:3 [ "EPUB" => 10 "HTML" => 3300 "PDF" => 327 ] ] "es" => array:11 [ "idiomaDefecto" => true "titulo" => "Previsión de la evolución de un paciente" "tienePdf" => "es" "tieneTextoCompleto" => "es" "tieneResumen" => array:2 [ 0 => "es" 1 => "en" ] "paginas" => array:1 [ 0 => array:2 [ "paginaInicial" => "45" "paginaFinal" => "50" ] ] "titulosAlternativos" => array:1 [ "en" => array:1 [ "titulo" => "Prediction of patient outcome" ] ] "contieneResumen" => array:2 [ "es" => true "en" => true ] "contieneTextoCompleto" => array:1 [ "es" => true ] "contienePdf" => array:1 [ "es" => true ] "autores" => array:1 [ 0 => array:2 [ "autoresLista" => "M Pilar Muñoz Gracia" "autores" => array:1 [ 0 => array:2 [ "nombre" => "M Pilar" "apellidos" => "Muñoz Gracia" ] ] ] ] ] "idiomaDefecto" => "es" "EPUB" => "https://multimedia.elsevier.es/PublicationsMultimediaV1/item/epub/13057547?idApp=UINPBA00004N" "url" => "/00257753/00000122000000S1/v0_201307292058/13057547/v0_201307292100/es/main.assets" ] "itemAnterior" => array:15 [ "pii" => "13057544" "issn" => "00257753" "estado" => "S300" "fechaPublicacion" => "2004-02-15" "documento" => "article" "crossmark" => 0 "subdocumento" => "fla" "cita" => "Med Clin. 2004;122 Supl 1:35-8" "abierto" => array:3 [ "ES" => false "ES2" => false "LATM" => false ] "gratuito" => false "lecturas" => array:2 [ "total" => 9107 "formatos" => array:3 [ "EPUB" => 7 "HTML" => 8371 "PDF" => 729 ] ] "es" => array:11 [ "idiomaDefecto" => true "titulo" => "La importancia del efecto del diseño" "tienePdf" => "es" "tieneTextoCompleto" => "es" "tieneResumen" => array:2 [ 0 => "es" 1 => "en" ] "paginas" => array:1 [ 0 => array:2 [ "paginaInicial" => "35" "paginaFinal" => "38" ] ] "titulosAlternativos" => array:1 [ "en" => array:1 [ "titulo" => "The importance of the sample design effect" ] ] "contieneResumen" => array:2 [ "es" => true "en" => true ] "contieneTextoCompleto" => array:1 [ "es" => true ] "contienePdf" => array:1 [ "es" => true ] "autores" => array:1 [ 0 => array:2 [ "autoresLista" => "Montserrat Guillén, Mercedes Ayuso" "autores" => array:2 [ 0 => array:2 [ "nombre" => "Montserrat" "apellidos" => "Guillén" ] 1 => array:2 [ "nombre" => "Mercedes" "apellidos" => "Ayuso" ] ] ] ] ] "idiomaDefecto" => "es" "EPUB" => "https://multimedia.elsevier.es/PublicationsMultimediaV1/item/epub/13057544?idApp=UINPBA00004N" "url" => "/00257753/00000122000000S1/v0_201307292058/13057544/v0_201307292100/es/main.assets" ] "es" => array:14 [ "idiomaDefecto" => true "titulo" => "Sistemas informáticos de soporte a la decisión clínica" "tieneTextoCompleto" => true "paginas" => array:1 [ 0 => array:2 [ "paginaInicial" => "39" "paginaFinal" => "44" ] ] "autores" => array:1 [ 0 => array:3 [ "autoresLista" => "Julio Bonis, Juan J Sancho, Ferran Sanz" "autores" => array:3 [ 0 => array:3 [ "nombre" => "Julio" "apellidos" => "Bonis" "referencia" => array:1 [ 0 => array:2 [ "etiqueta" => "a" "identificador" => "affa" ] ] ] 1 => array:3 [ "nombre" => "Juan J" "apellidos" => "Sancho" "referencia" => array:1 [ 0 => array:2 [ "etiqueta" => "a" "identificador" => "affa" ] ] ] 2 => array:3 [ "nombre" => "Ferran" "apellidos" => "Sanz" "referencia" => array:1 [ 0 => array:2 [ "etiqueta" => "a" "identificador" => "affa" ] ] ] ] "afiliaciones" => array:1 [ 0 => array:3 [ "entidad" => "Grup de Recerca en Informàtica Biomèdica (GRIB). Institut Municipal d'investigació Mèdica. Universitat Pompeu i Fabra. Barcelona." "etiqueta" => "a" "identificador" => "affa" ] ] ] ] "titulosAlternativos" => array:1 [ "en" => array:1 [ "titulo" => "Computer-assisted clinical decision support systems" ] ] "textoCompleto" => "Las decisiones clínicas pueden tomarse mediante razonamiento deductivo a partir del conocimiento de la fisiopatología humana. Más frecuentemente, se toman basándose en datos inciertos mediante estimaciones de probabilidades. Los clínicos realizan esta estimación de probabilidades de manera no formal y sin ser enteramente conscientes del proceso que realizan1,2.La toma de decisiones es un proceso complejo que requiere el manejo de mucha información. La tasa de errores en la toma de decisiones clínicas es lo suficientemente elevada como para ser objeto de preocupación. Algunos informes hablan de que los errores médicos podrían ser la octava causa de muerte en los países industrializados3. Aunque existen numerosas causas de error médico, más allá del error en la toma de decisiones (como el error de ejecución), el informe «To Err is Human»3 cita un estudio en el que se detectó que hasta un 45,8% de los pacientes de una unidad de cuidados intensivos presentaron un «episodio adverso», definido como «situación en la cual una decisión inapropiada fue adoptada, cuando, al mismo tiempo, una alternativa apropiada podría haberse escogido».Casi desde la aparición de los primeros ordenadores se ha propuesto que las tecnologías de la información podrían ayudar al diagnóstico y tratamiento médicos. Inicialmente se escribieron programas que pretendían emular las capacidades diagnósticas de los clínicos, y se denominaron «sistemas expertos», con la pretensión de que iban a ser capaces de suplir la actividad deductiva de los clínicos. El estrepitoso fracaso de su introducción en la práctica, incluso cuando demostraban ser capaces de generar hipótesis correctas, ha desvelado muchos aspectos, tanto formales como prácticos, que condicionan la toma de decisiones en el ejercicio médico. Actualmente, los denominados sistemas de soporte a la decisión clínica (SSDC) son menos ambiciosos pero más efectivos. Un SSDC se define como cualquier sistema o programa informático diseñado para ayudar a los profesionales sanitarios a tomar decisiones clínicas, ya sean preventivas, diagnósticas o terapéuticas.Breve recorrido históricoYa a mediados del siglo pasado, se pensó en utilizar los ordenadores para el diagnóstico clínico1. Los primeros sistemas diseñados a finales de los años cincuenta trataban toscamente de realizar diagnósticos a partir de los datos introducidos por los clínicos en el ordenador. Se basaban en distintas estrategias, de las que la más inmediata es la de los algoritmos lógicos (del estilo «si A, hacer B y si no A, hacer C»). Un ejemplo clásico es el sistema de diagnóstico de alteraciones electrolíticas de Bleich4. Otra estrategia, cuyos pioneros fueron Warner et al5, se basa en la realización de razonamientos probabilísticos mediante el uso intensivo del teorema de Bayes. En dicho marco, De Dombal desarrolló un sistema de soporte a la decisión diagnóstica sobre apendicitis aguda, que ha sido fuertemente validado y que aún se usa en la práctica clínica6.A finales de los setenta y durante los años ochenta, se desarrollaron diversos programas que obviaban la asunción de independencia de los sistemas bayesianos simples mediante el uso de redes bayesianas. Un ejemplo es el de Ben- Bassat et al7, integrado en el sistema MEDAS y orientado al diagnóstico de múltiples enfermedades.Una tercera estrategia para el abordaje del diseño de sistemas de soporte a la decisión lo constituye el razonamiento heurístico o simbólico como el sistema HEME, para el diagnóstico de trastornos hematológicos, desarrollado por Lipkin et al8. Otros sistemas basados en la aproximación heurística son el INTERNIST-1 de Pople9, que abarca unas 600 enfermedades y unos 4.500 signos y síntomas, o el MYCIN de Shortliffe10, que sugiere terapias antimicrobianas. Otro tipo de sistemas basados en reglas o heurísticas son aquellos que generan avisos que recuerdan al clínico la necesidad de realizar alguna tarea concreta cuando un paciente cumple una serie de criterios. Un ejemplo de estos sistemas es el HELP de Warner et al11.Si durante los años cincuenta y sesenta se fundaron las bases teóricas para el desarrollo de SSDC, en los setenta se diseñaron e implementaron los primeros sistemas, que se ejecutaban en grandes ordenadores (mainframes). Durante los ochenta asistimos a la generalización de los ordenadores personales. Unos años después, la interfaz hombre-máquina mejoró gracias a interfaces gráficas más intuitivas. Desde finales de los noventa se están popularizando los ordenadores de bolsillo y los sistemas embebidos, es decir, la integración de microprocesadores en todo tipo de elementos (relojes de pulsera, esfigmomanómetros e incluso en la ropa).Aparte de los cambios tecnológicos, se ha producido además un cambio en la filosofía de desarrollo de los SSDC. Hasta finales de los años ochenta el modelo seguido en el desarrollo era el que Miller12 ha denominado «modelo del Oráculo de Delfos». Según este modelo un SSDC debía ser capaz de, una vez entrados los datos necesarios, elaborar una respuesta correcta y explicar su cadena de razonamiento. El modelo de oráculo de Delfos tiene importantes limitaciones. La principal es que el trabajo requerido para alimentar al sistema con los datos requeridos es muy costoso. Al médico le tomaba más tiempo introducir toda la información que realizar el diagnóstico por sus propios medios. La mayor parte de dichos sistemas no se utilizaban en la práctica real y quedaban como prototipos experimentales. Los modelos más recientes de SSDC tratan de aprovechar sinérgicamente las potencialidades de los sistemas informáticos y de los expertos humanos. Ya no se trata de que el ordenador suplante al médico, sino que en cierto modo colabore con él. Este nuevo enfoque complica los métodos de evaluación pues se hace necesario evaluar también la interacción entre ambos.Tipología de los sistemas de soporte a la decisiónLos SSDC pueden caracterizarse de acuerdo con múltiples dimensiones, tales como: a) el objetivo que persigue el sistema, b) la forma en que se ofrece la ayuda, o c) el mecanismo de toma de decisión subyacente.Según su objetivo, los SSDC pueden clasificarse en dos grupos: los que ayudan en decisiones diagnósticas (¿qué tiene el paciente?) y los que ofrecen soporte a decisiones sobre actividades preventivas, diagnósticas (solicitud de pruebas) o terapéuticas que responden a la pregunta «¿qué hacer con el paciente?». En el segundo grupo se debe valorar el coste/beneficio.Según la forma en que los sistemas ofrecen su ayuda, pueden clasificarse en pasivos o activos. En los sistemas pasivos (INTERNIST-1), el médico debe reconocer en algún momento que el SSDC le puede ser útil y consultarlo. Los SSDC más avanzados toman un papel proactivo. Sin necesidad de ser requeridos, detectan determinadas condiciones en un paciente y alertan al clínico (HELP). Los sistemas de recordatorios empleados con éxito en la promoción de medidas preventivas son un ejemplo, así como los SSDC integrados en los sistemas de prescripción electrónica que se activan cuando detectan interacciones medicamentosas potencialmente peligrosas13.Según el método de razonamiento subyacente, en general los SSDC se pueden clasificar en los siguientes grupos:SSDC basados en algoritmos o en lógica categóricaConsisten en trasladar a un programa informático un algoritmo (fig. 1) de decisión categórico previamente diseñado por clínicos.<img src="2v122nSupl.1-13057545tab01.gif"></img>Fig. 1. Algoritmo de decisión en caso de acidosis.Muchos de los SSDC que han demostrado su eficacia en entornos clínicos reales se basan en este modelo. En general son adecuados cuando se trata de abordar un problema muy concreto y donde la toma de decisiones es esencialmente categórica. El sistema puede hacerse tan complejo como se desee, dependiendo del grado de detalle con el que se desarrolle. Cabe destacar aquí uno de los estándares más extendidos de construcción de algoritmos de decisión clínica. Se trata del «Arden Syntax for medical logic modules»14.Muchos de estos sistemas han sido rechazados por los clínicos, que los consideran demasiado simplistas15. Además, la utilidad de implementar uno de estos algoritmos en un ordenador es discutible. Los algoritmos puros (sin ningún componente de cálculo numérico complejo) pueden sustituirse por versiones impresas en papel que pueden ser preferibles16 al permitir una visión global del algoritmo.SSDC basados en modelos bayesianos simplesSe basan en la formulación básica del teorema de Bayes, una fórmula matemática que permite calcular la probabilidad a posteriori de un episodio (tras conocer los resultados de ciertas pruebas diagnósticas) a partir de su probabilidad a priori y de probabilidades condicionadas como, por ejemplo, la sensibilidad y especificidad de las pruebas diagnósticas. Sistemas como el de De Dombal et al6 se basan en la aplicación repetida del teorema de Bayes.En su formulación completa, el teorema es difícil de aplicar al requerir una cantidad ingente de información. Por esto se introducen dos aproximaciones: 1. Exhaustividad y exclusividad en el diagnóstico. Es decir, se supone que existe un número limitado de diagnósticos que son considerados en su totalidad (exhaustividad) y que no pueden darse dos de dichos diagnósticos simultáneamente en el mismo paciente (exclusividad). 2. Independencia condicional. Es decir, que para cada diagnóstico la influencia de un determinado hallazgo es independiente de que se hayan encontrado otros, por lo que la probabilidad de tener un determinado diagnóstico si un hallazgo es positivo es: <img src="2v122nSupl.1-13057545tab02.gif"></img> donde P es prevalencia, S es sensibilidad, E es especificidad.La exclusividad y exhaustividad hacen que el teorema no sea válido para pacientes con varias enfermedades concomitantes que se relacionan con los síntomas, signos o pruebas diagnósticas considerados. Sin embargo, la limitación más seria es la asunción de independencia, premisa que es difícilmente asumible en muchos casos.SSDC basados en redes bayesianas y árboles de decisiónPara superar algunas de las limitaciones de los modelos bayesianos simples, durante los ochenta se trabajó en modelos que combinaban la teoría de probabilidades junto con la teoría de grafos (INTERNIST-1).Una red bayesiana es un grafo acíclico conexo más una distribución de probabilidad sobre sus variables, que cumple la propiedad de separación direccional. La separación direccional es una propiedad matemática que asegura que la probabilidad de una variable x sólo se ve afectada por las variables (nodos) que son sus ascendientes en primer grado (padres directos).Los nodos representan a las variables que cumplen los criterios de exclusividad y exhaustividad (representarían al modelo probabilístico clásico de Bayes), y los arcos que unen los nodos representan relaciones probabilísticas entre nodos (he aquí la aportación de la teoría de grafos). Mediante los arcos, que son dirigidos (es decir, tienen un sentido de A a B) podemos representar por tanto relaciones de causalidad entre variables (nodos) y decir que A influye en B.Además de indicar la estructura del grafo (nodos y arcos que los conectan), se debe indicar la distribución condicional de probabilidad para cada nodo. En términos generales, cabe considerar a la distribución condicional de probabilidad como una tabla que indica la probabilidad de que una variable (nodo) tome cada uno de sus posibles valores, dependiendo de la combinación de valores que tomen los nodos padres, es decir, aquellos que están conectados al nodo hijo mediante un arco.SSDC basados en redes neuronalesLas redes neuronales son sistemas de cálculo basados en arquitecturas modulares, organizadas en redes de numerosos procesadores elementales interconectados, que evalúan localmente una función no lineal. Las redes neuronales disponen de algoritmos de aprendizaje que modifican el valor de sus parámetros (pesos) con el fin de ajustarse lo mejor posible a un conjunto de casos (training set). Las redes neuronales deben siempre probarse sobre un conjunto de casos distinto del anterior (test set). Resultan apropiadas para la resolución de problemas en los que subyacen interacciones entre los factores que permanecen ocultas al observador y que son difíciles de modelizar.Las redes neuronales actúan como cajas negras, es decir, ningún observador externo puede comprender intrínsecamente cómo una red neuronal llega a una conclusión determinada. Esto ha limitado enormemente la aceptación por parte de los clínicos del uso de redes neuronales en los SSDC.SSDC basados en conocimiento o representación simbólicaEstos sistemas no trabajan exclusivamente con valores cuantitativos, como en el caso de los sistemas probabilísticos, sino que codifican simbólicamente los conocimientos de expertos mediante reglas.Evaluación de sistemas de soporte a la decisiónUna parte fundamental en el desarrollo e implantación de SSCD es su evaluación. Aún no existe una metodología de evaluación universalmente aceptada y el tema es obje to de investigación y debate académico17.Existen múltiples aspectos de los SSCD que pueden ser objeto de evaluación. La metodología ideal debería abarcar aspectos tales como la verificación de los algoritmos y del correspondiente código informático, la validación de los resultados generados por el sistema, la usabilidad y aceptación por parte de los usuarios, el impacto clínico, social y económico, y el análisis de las consecuencias eticolegales del uso de los SSDC.La verificación analiza la consistencia interna del SSDC. Es decir, son actividades dirigidas a comprobar que las reglas y los modelos de inferencia que utiliza el sistema son correctos y que están bien programados. La validación constituye un análisis del funcionamiento del sistema centrándose en la calidad de los resultados que genera. Muchas veces se lleva a cabo mediante la comparación de las predicciones generadas por el SSDC para casos retrospectivos de los que se conoce el resultado correcto. El análisis de la usabilidad y aceptabilidad trata de resolver una de las mayores fuentes de fracaso de los SSDC. Los aspectos eticolegales de la implantación de SSDC deben tenerse en cuenta en todo estudio de evaluación, aunque no serán tratados aquí.Verificación y validación: ¿produce el sistema resultados correctos?El primer paso es la verificación del SSDC. Los métodos utilizados son variados, incluyendo metodologías propias de ingeniería de software. Muy a menudo son procedimientos experimentales en los que se modifican variables y se observan las consecuencias18,19. Los SSDC cuyas reglas de inferencia son transparentes (como los basados en algoritmos, sistemas o redes bayesianas o modelos de representación simbólica) pueden ser verificados por expertos clínicos. En cambio, en las redes neuronales no es posible pues funcionan como «cajas negras».Las actividades de validación consisten a menudo en comparar, sobre un conjunto de datos (reales o hipotéticos), los resultados obtenidos por parte del SSDC con los obtenidos mediante el juicio del clínico o directamente con los resultados clínicos reales observados.Un problema importante aparece cuando no existe un gold estándar con el que comparar los resultados. Dos sistemas expertos desarrollados por investigadores españoles y que formaban parte de esta categoría fueron validados comparando la «opinión» del SSDC con la de un amplio grupo de clínicos con distintos niveles de experiencia, al suministrar a todos el mismo conjunto de datos de una serie de pacientes20,21. Para comparar dichas opiniones se analizó el grado de acuerdo entre las opiniones mediante un análisis de conglomerados sobre «distancias» diagnósticas, así como con una modificación del índice kappa para varios observadores. Se consideró que dichos SSDC se comportaban adecuadamente al no resultar sus opiniones más separadas de los expertos clínicos que la de ellos entre sí.En algunas ocasiones los investigadores desarrollan un SSDC utilizando un conjunto de datos de muy difícil obtención y, por esto, la validación acostumbra realizarse sobre el mismo conjunto de datos usado para la construcción del SSDC. En esta situación se produce un sesgo por el que el SSDC presenta mejor capacidad predictiva sobre dichos casos que sobre otros no usados para el desarrollo del SSDC. Para abordar este problema se suelen utilizar estrategias de validación cruzada como la «leave-one-out» o «dejar uno fuera». Este método consiste en elaborar un modelo predictivo utilizando todos los casos disponibles excepto uno, y utilizar este caso excluido para validar el modelo. Si repetimos este proceso a lo largo de todos los casos disponibles, obtendremos predicciones no sesgadas llevadas a cabo con n modelos ligeramente distintos construidos con n-1 casos y muy parecidos al que pretendemos validar (construido con todos los n casos).Usabilidad: ¿se puede utilizar el sistema en el mundo real?Tras haber comprobado que el SSDC ofrece los resultados esperados, el siguiente paso es evaluar si será utilizado por sus usuarios finales. Frecuentemente el fracaso de los SSDC reside en problemas de usabilidad22. Por esto, es conveniente evaluar la aceptación por parte de los usuarios antes de la implantación de un SSDC en entornos reales. Esta estrategia de evaluación paso a paso evita malgastar recursos en la implantación de un sistema que luego no sería utilizado23. Puede realizarse con metodologías cuantitativas o cualitativas.Entre las cuantitativas encontramos escalas de satisfacción que evalúan distintas dimensiones de la usabilidad. También se analiza la interacción del clínico con la interfaz del SSDC, por ejemplo cuantificando el número de pantallas que se visualizan o los botones que se pulsan. Algunos SSDC consisten simplemente en sistemas alternativos de visualización de datos, como ciertos paneles de control diseñados para anestesistas que, en entornos experimentales, mejoraron el tiempo de detección de determinados eventos24.Los métodos cualitativos han merecido una atención especial en los últimos años25. Aunque poco comunes en el ámbito biomédico, tienen gran tradición en otras áreas como las ciencias sociales, en el marco de las cuales se produjo su desarrollo. Incluyen entrevistas mediante preguntas abiertas, estudios etnográficos de campo, interaccionismo social y otras técnicas. Una de sus ventajas es que permiten descubrir las causas de los problemas de usabilidad. Así, Kaplan26 señala que las posibles causas de la falta de aceptación de SSDC serían:a) su interferencia en la relación médico-paciente; b) la sensación de detrimento en su estatus profesional; c) la alteración en el arte de la práctica médica, y d) la limitación de la autonomía profesional.Impacto clínico: ¿mejora el uso del sistema la salud de los pacientes?Los estudios de impacto clínico pueden clasificarse en estudios descriptivos, meramente observacionales, y estudios comparativos. En los comparativos, el investigador modifica las condiciones de un grupo respecto a otro para tratar así de ver si ocurren diferencias entre ambos27. La dificultad reside en cómo lograr un grupo control que estando aislado sea comparable. Se han propuesto distintos diseños:Diseños antes-después. El investigador observa la situación basal antes de la introducción del SSDC. En la segunda fase, el sistema es introducido en la práctica diaria y se evalúa si existe un cambio. Esta metodología ha sido puesta en duda en numerosas ocasiones. Entre otros factores, el personal sanitario puede mostrar mayor diligencia durante la segunda fase28. También se pueden obtener conclusiones sesgadas por la contaminación de otros factores temporales externos, como cambios organizativos.Diseños aleatorizados controlados. Los distintos sujetos se distribuyen en grupos de manera aleatoria sujetos a distintas intervenciones. En los ensayos clínicos farmacológicos, la aleatorización se realiza generalmente sobre pacientes. En el caso de estudios sobre intervenciones no farmacológicas el método de aleatorización se complica debido al sesgo de contaminación. Para evitarlo se suele realizar la aleatorización por clusters o conglomerados, esto es, se selecciona a dos grupos de médicos, servicios u hospitales de manera aleatoria, y mientras que unos utilizan SSDC para todos sus pacientes, otros no lo hacen. Por supuesto, ambos grupos deben ser comparables entre sí.El cálculo del tamaño muestral en el caso de aleatorización por conglomerados esconde ciertas trampas que en demasiadas ocasiones han sido obviadas por los investigadores29. En dicho cálculo debería aplicarse un factor de corrección denominado factor de diseño30.Tradicionalmente, los investigadores se han centrado en la evaluación del SSDC mediante estudios clínicos aleatorizados y controlados. La extensa revisión de ensayos clínicos sobre SSDC de Hunt et al31 desde 1974 a 1998 muestra que, en general, el impacto clínico demostrado ha sido escaso. Los SSDC centrados en el diagnóstico han mostrado poco éxito: sólo uno de cinco estudios demostró cierto impacto. Los sistemas proactivos, basados en recordatorios para la realización de medidas preventivas, sí han demostrado su impacto en un 74% de los casos (14 sobre 19 estudios). Hunt advierte que la mayoría de los estudios tenía tamaños muestrales demasiado pequeños. Además Chuang et al29 ilustraron el problema de la falta de rigor metodológico en el tratamiento de ensayos basados en conglomerados.La necesidad de metodologías alternativasOtros autores17 han señalado que quizá los ensayos clínicos diseñados al estilo de los usados en la evaluación de fármacos no sean la manera más adecuada (al menos por sí solos) para evaluar el impacto de los SSDC. Junto con ellos, Kaplan26 aboga por el uso de metodologías cualitativas que permitan entender las razones de la falta de impacto. En un estudio sobre el uso de un SSDC en el manejo del asma y la angina de pecho no se pudo constatar un impacto significativo debido a que el SSDC no era utilizado22. Las investigaciones muestran que el nivel de satisfacción con el uso de tecnologías informáticas está más relacionado con las percepciones subjetivas del usuario acerca de los efectos del sistema en la productividad que con su efecto en la calidad de los cuidados médicos32.Fuentes de sesgoLa evaluación del impacto de SSDC es muy compleja debido entre otras razones a los numerosos sesgos potenciales.En primer lugar está el sesgo del evaluador. En lo posible, el diseño del estudio debe evitar que los evaluadores puedan emitir juicios sesgados. Otra fuente frecuente de sesgo es el sesgo de selección. Así, los clínicos pueden tender a seleccionar a un determinado grupo de pacientes para utilizar con ellos el SSDC. El efecto Hawthorne o sesgo de observación es común en estudios de evaluación de SSDC. En virtud del mismo, los clínicos sujetos a observación y evaluación, por el mero hecho de estar siendo observados, mejorarán sus prácticas y su rendimiento. Otro posible sesgo es la mejora de la toma de decisiones por el simple hecho de llevar a cabo una recogida de datos más estructurada y completa durante la realización del estudio. El efecto por retroalimentación se ha descrito en algunos estudios en los que se observó que al ofrecer a los clínicos información relativa a sus resultados de forma frecuente se les estimulaba a mejorar su rendimiento33. El sesgo por contaminación se produce cuando la exposición previa al SSDC influye en la toma de decisiones sobre el grupo control. También debe considerarse el efecto placebo. Se ha argumentado que el hecho de ver que el médico utiliza un sistema informático puede influir en la percepción subjetiva de enfermedad del paciente.Revisión de los últimos estudios de evaluación de CDSS publicadosLa última revisión sistemática de la que tenemos noticia fue realizada por Hunt et al en 199831. Cubre el período comprendido entre enero de 1974 y mayo de 1998. Hemos llevado a cabo una breve revisión de los artículos publicados en revistas indexadas en Medline en el período comprendido entre junio de 1998 y junio de 2003. La metodología de recuperación de artículos no es tan exhaustiva como la de Hunt, pero puede servir como indicativo de la tendencia en los últimos 5 años en este campo.Hemos identificado 42 estudios, de los cuales 19 eran estudios experimentales de validación interna y 23, estudios de evaluación del impacto clínico. Entre estos últimos se identificaron dos tipologías: a) estudios cualitativos, que constituían un 39% (9)23,34-41, y b) estudios cuantitativos que constituían un 61% (14). En cuanto a los 14 estudios cuantitativos, 8 utilizaban un diseño aleatorizado por conglomerados39,42-48 y los otros 6 usaban un diseño del tipo antes/después49-54.Entre los 6 diseños antes/después, 5 describen resultados globalmente positivos, mientras que uno describe resultados neutros. No se ha identificado ningún estudio antes/después que describa resultados negativos para los SSDC. El tamaño muestral de dichos estudios es muy variable y oscila entre 43 y 1.825 casos, con una media de 719,2. La duración media fue de 28,25 semanas, con un mínimo de 16 y un máximo de 40.Entre los 8 estudios con diseños aleatorizados por conglomerados, 6 describen resultados globalmente positivos, mientras que en 2 casos se trata de resultados neutros. De nuevo, no se encontró ninguna publicación que describiera resultados negativos para los SSDC. El tamaño muestral de los estudios revisados es nuevamente muy variable, entre 57 y 6.371 casos, con una media de 2.064,6. En cuanto a su duración, la media fue de 39,2 semanas, con un mínimo de 4 y un máximo de 72.De la revisión bibliográfica se puede concluir que se publican aproximadamente el mismo número de estudios de validación interna que de evaluación del impacto. En los estudios de evaluación, la metodología cuantitativa predomina ligeramente sobre la cualitativa, sin detectar una tendencia clara a favor de un tipo de metodología a lo largo del tiempo. Los estudios de evaluación cuantitativa siguen dos líneas de diseño con parecida prevalencia, estudios de antes/después y estudios aleatorizados por conglomerados. El tamaño muestral y su duración son similares entre ambos tipos de diseño. Existe probablemente un importante sesgo de publicación, ya que no se ha publicado ningún estudio de evaluación con resultados claramente negativos.En los últimos años, se detecta un interés creciente por la implicación de los pacientes en la toma de decisiones. No es de extrañar que varios SSDC se estén orientando a facilitar la integración de las preferencias del paciente en la toma de decisión, con lo que las opiniones de los pacientes comienzan a tener su importancia en el proceso de evaluación23,35,48,50. Se ha encontrado un grupo importante de SSDC basados en el modelo de Guías de Práctica Clínica. El escenario típico es la implantación de estos SSDC en atención primaria para el manejo de enfermedades crónicas, como el asma34,43, la diabetes23,33,46 u otras38,42,45. Por otra parte, se ha visto que en entornos hospitalarios se prefiere el desarrollo de SSDC más específicos, centrados en la generación de alertas preventivas44,49,53 o en el manejo de situaciones muy específicas como ictus41, petición de pruebas radiológicas51, cáncer de mama52 o próstata54, o ventilación mecánica47. Un grupo notable lo constituyen los SSDC orientados a unidades de cuidados intensivos36,37,47. " "pdfFichero" => "2v122nSupl.1a13057545pdf001.pdf" "tienePdf" => true "PalabrasClave" => array:2 [ "es" => array:1 [ 0 => array:4 [ "clase" => "keyword" "titulo" => "Palabras clave" "identificador" => "xpalclavsec223785" "palabras" => array:3 [ 0 => "Sistemas de soporte a la decisión clínica" 1 => "Revisión" 2 => "Estudios de evaluación" ] ] ] "en" => array:1 [ 0 => array:4 [ "clase" => "keyword" "titulo" => "Keywords" "identificador" => "xpalclavsec223786" "palabras" => array:3 [ 0 => "Clinical decision support systems" 1 => "Review" 2 => "Evaluation studies" ] ] ] ] "tieneResumen" => true "resumen" => array:2 [ "es" => array:1 [ "resumen" => "La presente revisión presenta la evolución histórica y el fundamento metodológico de los sistemas informáticos de ayuda a la decisión clínica. También se revisan las metodologías de verificación, validación y evaluación del impacto clínico de dichos sistemas. Entre otros factores, la proactividad y la usabilidad de los sistemas condicionan su aceptación por parte de los profesionales sanitarios. Las metodologías de evaluación del impacto clínico se describen con especial detalle y se actualiza la revisión de los estudios de impacto clínico llevada a cabo por Hunt et al en 1998." ] "en" => array:1 [ "resumen" => "This review deals with the historical evolution and methodological basis of computerized medical decision support tools. It also reviews the verification, validation and impact evaluation methods of these systems. The acceptability of them from the health professionals depends on the pro-activity and usefulness of the systems, between other factors. The clinical impact evaluation methods are described in deep detail and the Hunt et al review of 1998 is updated." ] ] "multimedia" => array:4 [ 0 => array:8 [ "identificador" => "tbl1" "etiqueta" => "Fig. 1" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" "tabla" => array:1 [ "tablatextoimagen" => array:1 [ 0 => array:1 [ "tablaImagen" => array:1 [ 0 => array:4 [ "imagenFichero" => "2v122nSupl.1-13057545tab01.gif" "imagenAlto" => 361 "imagenAncho" => 379 "imagenTamanyo" => 7430 ] ] ] ] ] "descripcion" => array:1 [ "es" => "Algoritmo de decisión en caso de acidosis." ] ] 1 => array:6 [ "identificador" => "tbl2" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" "tabla" => array:1 [ "tablatextoimagen" => array:1 [ 0 => array:1 [ "tablaImagen" => array:1 [ 0 => array:4 [ "imagenFichero" => "2v122nSupl.1-13057545tab02.gif" "imagenAlto" => 53 "imagenAncho" => 279 "imagenTamanyo" => 1931 ] ] ] ] ] ] 2 => array:5 [ "identificador" => "tbl3" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" ] 3 => array:5 [ "identificador" => "tbl4" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" ] ] "bibliografia" => array:2 [ "titulo" => "Bibliografía" "seccion" => array:1 [ 0 => array:1 [ "bibliografiaReferencia" => array:54 [ 0 => array:3 [ "identificador" => "bib1" "etiqueta" => "1" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Reasoning foundations of medical diagnosis." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Ledley RS" 1 => "Lusted LB." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Science" "fecha" => "1959" "volumen" => "130" "paginaInicial" => "9" "paginaFinal" => "21" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/13668531" "web" => "Medline" ] ] ] ] ] ] ] ] 1 => array:3 [ "identificador" => "bib2" "etiqueta" => "2" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Domain knowledge and hypothesis generation in diagnostic reasoning." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Joseph GM" 1 => "Patel VL." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Med Decis Making" "fecha" => "1990" "volumen" => "10" "paginaInicial" => "31" "paginaFinal" => "46" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/2182962" "web" => "Medline" ] ] ] ] ] ] ] ] 2 => array:3 [ "identificador" => "bib3" "etiqueta" => "3" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "To err is human: building a safer health system. Washington DC: Committee on Quality of Health Care in America, Institute of Medicine, 2000." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "To err is human: building a safer health system. Washington DC: Committee on Quality of Health Care in America, Institute of Medicine, 2000." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:4 [ 0 => "Kohn LT" 1 => "Corrigan JM" 2 => "Donaldson MS" 3 => "editors." ] ] ] ] ] ] ] ] 3 => array:3 [ "identificador" => "bib4" "etiqueta" => "4" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Computer evaluation of acid-base disorders." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Bleich HL." ] ] ] ] ] "host" => array:1 [ 0 => array:2 [ "doi" => "10.1172/JCI106134" "Revista" => array:6 [ "tituloSerie" => "J Clin Invest" "fecha" => "1969" "volumen" => "48" "paginaInicial" => "1689" "paginaFinal" => "96" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/4898409" "web" => "Medline" ] ] ] ] ] ] ] ] 4 => array:3 [ "identificador" => "bib5" "etiqueta" => "5" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Mathematical approach to medical diagnosis." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:4 [ 0 => "Warner HR" 1 => "Toronto AF" 2 => "Veasey LG" 3 => "Stephenson RA." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "JAMA" "fecha" => "1961" "volumen" => "177" "paginaInicial" => "75" "paginaFinal" => "81" ] ] ] ] ] ] 5 => array:3 [ "identificador" => "bib6" "etiqueta" => "6" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "A computer-assisted system for learning clinical diagnosis." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:3 [ 0 => "De Dombal FT" 1 => "Hartley JR" 2 => "Sleeman DH." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Lancet" "fecha" => "1969" "volumen" => "1" "paginaInicial" => "145" "paginaFinal" => "8" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/2879979" "web" => "Medline" ] ] ] ] ] ] ] ] 6 => array:3 [ "identificador" => "bib7" "etiqueta" => "7" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Pattern-based interactive diagnosis of multiple disorders: the MEDAS system." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:5 [ 0 => "Ben-Bassat M" 1 => "Carlson RW" 2 => "Puri VK" 3 => "Davenport MD" 4 => "Schriver JA." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:4 [ "tituloSerie" => "IEEE Trans Pattern Anal Mach Intel" "fecha" => "1980" "paginaInicial" => "PAM1" "paginaFinal" => "2" ] ] ] ] ] ] 7 => array:3 [ "identificador" => "bib8" "etiqueta" => "8" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Differential diagnosis of hematological diseases aided by mechanical correlation of data." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Lipkin M" 1 => "Hardy JD." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Science" "fecha" => "1957" "volumen" => "125" "paginaInicial" => "551" "paginaFinal" => "2" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/13409006" "web" => "Medline" ] ] ] ] ] ] ] ] 8 => array:3 [ "identificador" => "bib9" "etiqueta" => "9" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Heuristic methods for imposing structure on ill-structured problems: the structuring of medical diagnostics. En: Szolovits P, editor. Artificial intelligence in medicine. Boulder: Westview Press" "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Pople HE." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Libro" => array:4 [ "titulo" => "Heuristic methods for imposing structure on ill-structured problems: the structuring of medical diagnostics. En: Szolovits P, editor. Artificial intelligence in medicine. Boulder: Westview Press" "fecha" => "1982" "paginaInicial" => "119" "paginaFinal" => "90" ] ] ] ] ] ] 9 => array:3 [ "identificador" => "bib10" "etiqueta" => "10" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Computer-based medical consultations: MYCIN Artifical Intelligence Series. New York: Elsevier Computer Science Library, 1976." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Computer-based medical consultations: MYCIN Artifical Intelligence Series. New York: Elsevier Computer Science Library, 1976." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Shortliffe EH." ] ] ] ] ] ] ] ] 10 => array:3 [ "identificador" => "bib11" "etiqueta" => "11" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "The HELP hospital information system: update 1998." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:3 [ 0 => "Gardner RM" 1 => "Pryor TA" 2 => "Warner HR." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Int J Med Inf" "fecha" => "1999" "volumen" => "54" "paginaInicial" => "169" "paginaFinal" => "82" ] ] ] ] ] ] 11 => array:3 [ "identificador" => "bib12" "etiqueta" => "12" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Medical diagnostic decision support systems-past, present, and future: a threaded bibliography and brief commentary." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Miller RA." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:7 [ "tituloSerie" => "J Am Med Inform Assoc" "fecha" => "1994" "volumen" => "1" "paginaInicial" => "8" "paginaFinal" => "27" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/7719792" "web" => "Medline" ] ] "itemHostRev" => array:3 [ "pii" => "S0140673600042586" "estado" => "S300" "issn" => "01406736" ] ] ] ] ] ] ] 12 => array:3 [ "identificador" => "bib13" "etiqueta" => "13" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Effect of computerized physician order entry and a team intervention on prevention of serious medication errors." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:7 [ 0 => "Bates DW" 1 => "Leape LL" 2 => "Cullen DJ" 3 => "Laird N" 4 => "Petersen LA" 5 => "Teich JM" 6 => "et al." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "JAMA" "fecha" => "1998" "volumen" => "280" "paginaInicial" => "1311" "paginaFinal" => "6" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/9794308" "web" => "Medline" ] ] ] ] ] ] ] ] 13 => array:3 [ "identificador" => "bib14" "etiqueta" => "14" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "The Arden Syntax for medical logic modules: introduction." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Hripcsak G." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Computers in Biology and Medicine" "fecha" => "1994" "volumen" => "24" "paginaInicial" => "329" "paginaFinal" => "30" ] ] ] ] ] ] 14 => array:3 [ "identificador" => "bib15" "etiqueta" => "15" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Evaluation of patient-care protocol use by various providers." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:4 [ 0 => "Grimm RH Jr" 1 => "Shimoni K" 2 => "Harlan WR Jr" 3 => "Estes EH Jr." ] ] ] ] ] "host" => array:1 [ 0 => array:2 [ "doi" => "10.1056/NEJM197503062921005" "Revista" => array:6 [ "tituloSerie" => "N Engl J Med" "fecha" => "1975" "volumen" => "292" "paginaInicial" => "507" "paginaFinal" => "11" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/235089" "web" => "Medline" ] ] ] ] ] ] ] ] 15 => array:3 [ "identificador" => "bib16" "etiqueta" => "16" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Evaluation of computer based clinical decision support system and risk chart for management of hypertension in primary care: randomised controlled trial." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:5 [ 0 => "Montgomery AA" 1 => "Fahey T" 2 => "Peters TJ" 3 => "MacIntosh C" 4 => "Sharp DJ." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "BMJ" "fecha" => "2000" "volumen" => "320" "paginaInicial" => "686" "paginaFinal" => "90" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/10710578" "web" => "Medline" ] ] ] ] ] ] ] ] 16 => array:3 [ "identificador" => "bib17" "etiqueta" => "17" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Evaluating information technology in health care: barriers and challenges." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:3 [ 0 => "Heathfield H" 1 => "Pitty D" 2 => "Hanka R." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "BMJ" "fecha" => "1998" "volumen" => "316" "paginaInicial" => "1959" "paginaFinal" => "61" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/9641938" "web" => "Medline" ] ] ] ] ] ] ] ] 17 => array:3 [ "identificador" => "bib18" "etiqueta" => "18" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "A new approach to computerized medical knowledge assessment. En: K.-P. Adlassnig, Grabner G, Bensgton S, Hansen R, editors. Medical Informatics Europe 1991. Lecture Notes in Medical Informatics." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:5 [ 0 => "Carbó JM" 1 => "Sancho JJ" 2 => "Miravitlles MJ" 3 => "González JC" 4 => "Sanz F." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Berlín:Springer-Verlag," "fecha" => "1991" "volumen" => "45" "paginaInicial" => "615" "paginaFinal" => "9" ] ] ] ] ] ] 18 => array:3 [ "identificador" => "bib19" "etiqueta" => "19" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Feasibility of asthma critic, a decision-support system for asthma and COPD which generates patient-specific feedback on routinely recorded data in general practice." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:7 [ 0 => "Kuilboer MM" 1 => "Van Wijk MA" 2 => "Mosseveld M" 3 => "Van der Does E" 4 => "Ponsioen BP" 5 => "De Jongste JC" 6 => "et al." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Fam Pract" "fecha" => "2002" "volumen" => "19" "paginaInicial" => "442" "paginaFinal" => "7" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12356691" "web" => "Medline" ] ] ] ] ] ] ] ] 19 => array:3 [ "identificador" => "bib20" "etiqueta" => "20" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Validation of the medical expert system PNEUMON-IA." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:5 [ 0 => "Verdaguer A" 1 => "Patak A" 2 => "Sancho JJ" 3 => "Sierra C" 4 => "Sanz F." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Comp Biom Res" "fecha" => "1992" "volumen" => "25" "paginaInicial" => "511" "paginaFinal" => "26" ] ] ] ] ] ] 20 => array:3 [ "identificador" => "bib21" "etiqueta" => "21" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Validation of the medical expert system RENOIR." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:5 [ 0 => "Hernández C" 1 => "Sancho JJ" 2 => "Belmonte MA" 3 => "Sierra C" 4 => "Sanz F." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Comp Biomed Res" "fecha" => "1994" "volumen" => "27" "paginaInicial" => "456" "paginaFinal" => "71" ] ] ] ] ] ] 21 => array:3 [ "identificador" => "bib22" "etiqueta" => "22" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Effect of computerised evidence based guidelines on management of asthma and angina in adults in primary care: cluster randomised controlled trial." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:7 [ 0 => "Eccles M" 1 => "McColl E" 2 => "Steen N" 3 => "Rousseau N" 4 => "Grimshaw J" 5 => "Parkin D" 6 => "et al." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "BMJ" "fecha" => "2002" "volumen" => "325" "paginaInicial" => "941" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12399345" "web" => "Medline" ] ] ] ] ] ] ] ] 22 => array:3 [ "identificador" => "bib23" "etiqueta" => "23" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Involving users in the design and usability evaluation of a clinical decision support system." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:6 [ 0 => "Carroll C" 1 => "Marsden P" 2 => "Soden P" 3 => "Naylor E" 4 => "New J" 5 => "Dornan T." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Comput Methods Programs Biomed" "fecha" => "2002" "volumen" => "69" "paginaInicial" => "123" "paginaFinal" => "35" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12100792" "web" => "Medline" ] ] ] ] ] ] ] ] 23 => array:3 [ "identificador" => "bib24" "etiqueta" => "24" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Evaluation of two new ecological interface approaches for the anesthesia workplace." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:4 [ 0 => "Jungk A" 1 => "Thull B" 2 => "Hoeft A" 3 => "Rau G." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "J Clin Monit Comput" "fecha" => "2000" "volumen" => "16" "paginaInicial" => "243" "paginaFinal" => "58" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12578071" "web" => "Medline" ] ] ] ] ] ] ] ] 24 => array:3 [ "identificador" => "bib25" "etiqueta" => "25" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Evaluating informatics applications-clinical decision support systems literature review." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Kaplan B." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Int J Med Inf" "fecha" => "2001" "volumen" => "64" "paginaInicial" => "15" "paginaFinal" => "37" ] ] ] ] ] ] 25 => array:3 [ "identificador" => "bib26" "etiqueta" => "26" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Evaluating informatics applications-some alternative approaches: theory, social interactionism, and call for methodological pluralism." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Kaplan B." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Int J Med Inf" "fecha" => "2001" "volumen" => "64" "paginaInicial" => "39" "paginaFinal" => "56" ] ] ] ] ] ] 26 => array:3 [ "identificador" => "bib27" "etiqueta" => "27" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Evaluation methods in medical informatics. New York: Springer-Verlag, 1997." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Evaluation methods in medical informatics. New York: Springer-Verlag, 1997." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Friedman CP" 1 => "Wyatt JC." ] ] ] ] ] ] ] ] 27 => array:3 [ "identificador" => "bib28" "etiqueta" => "28" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Randomised vs historical controls for clinical trials." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Sacks H." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Am J Med" "fecha" => "1982" "volumen" => "72" "paginaInicial" => "233" "paginaFinal" => "40" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/7058834" "web" => "Medline" ] ] ] ] ] ] ] ] 28 => array:3 [ "identificador" => "bib29" "etiqueta" => "29" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Considering clustering: a methodological review of clinical decision support system studies." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:3 [ 0 => "Chuang JH" 1 => "Hripcsak G" 2 => "Jenders RA." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:4 [ "tituloSerie" => "Proc AMIA Symp" "fecha" => "2000" "paginaInicial" => "146" "paginaFinal" => "50" ] ] ] ] ] ] 29 => array:3 [ "identificador" => "bib30" "etiqueta" => "30" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Methods for evaluating area-wide and organisation-based interventions in health and health care: a systematic review." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:5 [ 0 => "Ukoumunne OC" 1 => "Gulliford MC" 2 => "Chinn S" 3 => "Sterne JA" 4 => "Burney PG." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Health Technol Assess" "fecha" => "1999" "volumen" => "3" "paginaInicial" => "III" "paginaFinal" => "92" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/10982317" "web" => "Medline" ] ] ] ] ] ] ] ] 30 => array:3 [ "identificador" => "bib31" "etiqueta" => "31" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Effects of computer-based clinical decision support systems on physician performance and patient outcomes: a systematic review." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:4 [ 0 => "Hunt DL" 1 => "Haynes RB" 2 => "Hanna SE" 3 => "Smith K." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "JAMA" "fecha" => "1998" "volumen" => "280" "paginaInicial" => "1339" "paginaFinal" => "46" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/9794315" "web" => "Medline" ] ] ] ] ] ] ] ] 31 => array:3 [ "identificador" => "bib32" "etiqueta" => "32" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Implementation of physician order entry: user satisfaction and self-reported usage patterns." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Lee F." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "J Am Med Inf Assoc" "fecha" => "1996" "volumen" => "3" "paginaInicial" => "42" "paginaFinal" => "55" ] ] ] ] ] ] 32 => array:3 [ "identificador" => "bib33" "etiqueta" => "33" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Multifaceted support to improve clinical decision making in diabetes care: a randomised controlled trial in general practice." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:7 [ 0 => "Frijling BD" 1 => "Lobo CM" 2 => "Hulscher ME" 3 => "Akkermans RP" 4 => "Braspenning JC" 5 => "Prins A" 6 => "et al." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Diabet Med" "fecha" => "2002" "volumen" => "19" "paginaInicial" => "836" "paginaFinal" => "42" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12358871" "web" => "Medline" ] ] ] ] ] ] ] ] 33 => array:3 [ "identificador" => "bib34" "etiqueta" => "34" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Practice based, longitudinal, qualitative interview study of computerised evidence based guidelines in primary care." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:5 [ 0 => "Rousseau N" 1 => "McColl E" 2 => "Newton J" 3 => "Grimshaw J" 4 => "Eccles M." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "BMJ" "fecha" => "2003" "volumen" => "326" "paginaInicial" => "314" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12574046" "web" => "Medline" ] ] ] ] ] ] ] ] 34 => array:3 [ "identificador" => "bib35" "etiqueta" => "35" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Development and preliminary evaluation of a clinical guidance programme for the decision about prophylactic oophorectomy in women undergoing a hysterectomy." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:5 [ 0 => "Pell I" 1 => "Dowie J" 2 => "Clarke A" 3 => "Kennedy A" 4 => "Bhavnani V." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Qual Saf Health Care" "fecha" => "2002" "volumen" => "11" "paginaInicial" => "32" "paginaFinal" => "8" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12078367" "web" => "Medline" ] ] ] ] ] ] ] ] 35 => array:3 [ "identificador" => "bib36" "etiqueta" => "36" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Application of a computerized nursing care plan system in one hostpial: experiences of ICU nurses in Taiwan." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:3 [ 0 => "Lee TT" 1 => "Yeh CH" 2 => "Ho LH." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "J adv Nurs" "fecha" => "2002" "volumen" => "39" "paginaInicial" => "61" "paginaFinal" => "7" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12074752" "web" => "Medline" ] ] ] ] ] ] ] ] 36 => array:3 [ "identificador" => "bib37" "etiqueta" => "37" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Evaluation of the suitability of a patient data management system for ICUs on a general ward." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:7 [ 0 => "Junger A" 1 => "Michel A" 2 => "Benson M" 3 => "Quinzio LA" 4 => "Hafer J" 5 => "Hartmann B" 6 => "et al." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Int J Med Inf" "fecha" => "2001" "volumen" => "64" "paginaInicial" => "57" "paginaFinal" => "66" ] ] ] ] ] ] 37 => array:3 [ "identificador" => "bib38" "etiqueta" => "38" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Integration of clinical decision support with on-line encounter documentation for well child care at the point of care." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Porcelli PJ" 1 => "Lobach DF." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:4 [ "tituloSerie" => "Proc AMIA Symp" "fecha" => "1999" "paginaInicial" => "599" "paginaFinal" => "603" ] ] ] ] ] ] 38 => array:3 [ "identificador" => "bib39" "etiqueta" => "39" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Identification of design features to enhance utilization and acceptance of systems for Internet-based decision support at the point of care." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:3 [ 0 => "Gadd CS" 1 => "Baskaran P" 2 => "Lobach DF." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:4 [ "tituloSerie" => "Proc AMIA Symp" "fecha" => "1998" "paginaInicial" => "91" "paginaFinal" => "5" ] ] ] ] ] ] 39 => array:3 [ "identificador" => "bib40" "etiqueta" => "40" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Collaborative problem-solving in telemedicine and evidence interpretation on a complex clinical case." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:3 [ 0 => "Farand L" 1 => "Lafrance JP" 2 => "Arocha JF." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Int J Med Inf" "fecha" => "1998" "volumen" => "51" "paginaInicial" => "153" "paginaFinal" => "67" ] ] ] ] ] ] 40 => array:3 [ "identificador" => "bib41" "etiqueta" => "41" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "The diffusion of an evidence-based disease guidance system for managing stroke." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:6 [ 0 => "Lau F" 1 => "Penn A" 2 => "Wilson D" 3 => "Noseworthy T" 4 => "Vincent D" 5 => "Doze S." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Int J Med Inf" "fecha" => "1998" "volumen" => "51" "paginaInicial" => "107" "paginaFinal" => "16" ] ] ] ] ] ] 41 => array:3 [ "identificador" => "bib42" "etiqueta" => "42" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Primary care guidelines on consultation practices: the effectiveness of computerized versus paper-based versions. A cluster randomized controlled trial among newly qualified primary care physicians." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:5 [ 0 => "Jousimaa J" 1 => "Makela M" 2 => "Kunnamo I" 3 => "MacLennan G" 4 => "Grimshaw JM." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Int J Technol Assess Health Care" "fecha" => "2002" "volumen" => "18" "paginaInicial" => "586" "paginaFinal" => "96" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12391951" "web" => "Medline" ] ] ] ] ] ] ] ] 42 => array:3 [ "identificador" => "bib43" "etiqueta" => "43" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Lessons from a randomized controlled trial designed to evaluate computer decision support software to improve the management of asthma." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:6 [ 0 => "McCowan C" 1 => "Neville RG" 2 => "Ricketts IW" 3 => "Warner FC" 4 => "Hoskins G" 5 => "Thomas GE." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Med Inform Internet Med" "fecha" => "2001" "volumen" => "26" "paginaInicial" => "191" "paginaFinal" => "201" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/11706929" "web" => "Medline" ] ] ] ] ] ] ] ] 43 => array:3 [ "identificador" => "bib44" "etiqueta" => "44" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "A computerized reminder system to increase the use of preventive care for hospitalized patients." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:6 [ 0 => "Dexter PR" 1 => "Perkins S" 2 => "Overhage JM" 3 => "Maharry K" 4 => "Kohler RB" 5 => "McDonald CJ." ] ] ] ] ] "host" => array:1 [ 0 => array:2 [ "doi" => "10.1056/NEJMsa010181" "Revista" => array:6 [ "tituloSerie" => "N Engl J Med" "fecha" => "2001" "volumen" => "345" "paginaInicial" => "965" "paginaFinal" => "70" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/11575289" "web" => "Medline" ] ] ] ] ] ] ] ] 44 => array:3 [ "identificador" => "bib45" "etiqueta" => "45" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "A randomized controlled trial of point-of-care evidence to improve the antibiotic prescribing practices for otitis media in children." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:6 [ 0 => "Christakis DA" 1 => "Zimmerman FJ" 2 => "Wright JA" 3 => "Garrison MM" 4 => "Rivara FP" 5 => "Davis RL." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Pediatrics" "fecha" => "2001" "volumen" => "107" "paginaInicial" => "E15" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/11158489" "web" => "Medline" ] ] ] ] ] ] ] ] 45 => array:3 [ "identificador" => "bib46" "etiqueta" => "46" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Implementing clinical guidelines on the treatment of diabetes mellitus in general practice. Evaluation of effort, process, and patient outcome related to implementation of a computer-based decision support system." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:6 [ 0 => "Hetlevik I" 1 => "Holmen J" 2 => "Kruger O" 3 => "Kristensen P" 4 => "Iversen H" 5 => "Furuseth K." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Int J Technol Assess Health Care" "fecha" => "2000" "volumen" => "16" "paginaInicial" => "210" "paginaFinal" => "27" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/10815366" "web" => "Medline" ] ] ] ] ] ] ] ] 46 => array:3 [ "identificador" => "bib47" "etiqueta" => "47" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Efficacy of computerized decision support for mechanical ventilation: restuls of a prospective multi-center randomized trial." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:7 [ 0 => "East TD" 1 => "Heermann LK" 2 => "Bradshaw RL" 3 => "Lugo A" 4 => "Sailors RM" 5 => "Ershler L" 6 => "et al." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:4 [ "tituloSerie" => "Proc AMIA Symp" "fecha" => "1999" "paginaInicial" => "251" "paginaFinal" => "5" ] ] ] ] ] ] 47 => array:3 [ "identificador" => "bib48" "etiqueta" => "48" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Computer network home care demonstration: a randomized trial in persons living with AIDS." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Flatley-Brennan P." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Comput Biol Med" "fecha" => "1998" "volumen" => "28" "paginaInicial" => "489" "paginaFinal" => "508" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/9861507" "web" => "Medline" ] ] ] ] ] ] ] ] 48 => array:3 [ "identificador" => "bib49" "etiqueta" => "49" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Inmediate benefits realized following implementation of physician order entry at an academic medical center." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:7 [ 0 => "Mekhjian HS" 1 => "Kumar RR" 2 => "Kuehn L" 3 => "Bentley TD" 4 => "Teater P" 5 => "Thomas A" 6 => "et al." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "J Am Med Inform Assoc" "fecha" => "2002" "volumen" => "9" "paginaInicial" => "529" "paginaFinal" => "39" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12223505" "web" => "Medline" ] ] ] ] ] ] ] ] 49 => array:3 [ "identificador" => "bib50" "etiqueta" => "50" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Handheld technology to improve patient care: evaluating a support system for preference-based care planning at the bedside." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Ruland CM." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "J Am Med Inform Assoc" "fecha" => "2002" "volumen" => "9" "paginaInicial" => "192" "paginaFinal" => "201" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/11861634" "web" => "Medline" ] ] ] ] ] ] ] ] 50 => array:3 [ "identificador" => "bib51" "etiqueta" => "51" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "The effects on clinician ordering patterns of a computerized decision support system for neuroradiology imaging studies." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Sanders DL" 1 => "Miller RA." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:4 [ "tituloSerie" => "Proc AMIA Symp" "fecha" => "2001" "paginaInicial" => "583" "paginaFinal" => "7" ] ] ] ] ] ] 51 => array:3 [ "identificador" => "bib52" "etiqueta" => "52" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "A before-after study using OncoDoc, a guideline-based decision support-system on breast cancer management: impact upon physician prescribing behaviour." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:5 [ 0 => "Bouaud J" 1 => "Seroussi B" 2 => "Antoine EC" 3 => "Zelek L" 4 => "Spielmann M." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Medinfo" "fecha" => "2001" "volumen" => "10" "paginaInicial" => "420" "paginaFinal" => "4" ] ] ] ] ] ] 52 => array:3 [ "identificador" => "bib53" "etiqueta" => "53" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Clinicians' response to computerized detection of infections." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:4 [ 0 => "Rocha BH" 1 => "Christenson JC" 2 => "Evans RS" 3 => "Gardner RM." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "J Am Med Inform Assoc" "fecha" => "2001" "volumen" => "8" "paginaInicial" => "117" "paginaFinal" => "25" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/11230380" "web" => "Medline" ] ] ] ] ] ] ] ] 53 => array:3 [ "identificador" => "bib54" "etiqueta" => "54" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Evaluation of a decision-support system for preoperative staging of prostate cancer." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:6 [ 0 => "Chang PL" 1 => "Li YC" 2 => "Wang TM" 3 => "Huang ST" 4 => "Hsieh ML" 5 => "Tsui KH." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Med Decis Making" "fecha" => "1999" "volumen" => "19" "paginaInicial" => "419" "paginaFinal" => "27" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/10520680" "web" => "Medline" ] ] ] ] ] ] ] ] ] ] ] ] ] "idiomaDefecto" => "es" "url" => "/00257753/00000122000000S1/v0_201307292058/13057545/v0_201307292100/es/main.assets" "Apartado" => array:4 [ "identificador" => "16884" "tipo" => "SECCION" "es" => array:2 [ "titulo" => "Técnicas emergentes" "idiomaDefecto" => true ] "idiomaDefecto" => "es" ] "PDF" => "https://static.elsevier.es/multimedia/00257753/00000122000000S1/v0_201307292058/13057545/v0_201307292100/es/2v122nSupl.1a13057545pdf001.pdf?idApp=UINPBA00004N&text.app=https://www.elsevier.es/" "EPUB" => "https://multimedia.elsevier.es/PublicationsMultimediaV1/item/epub/13057545?idApp=UINPBA00004N"]

Estadísticas

Computer-assisted clinical decision support systems

Julio Bonisa, Juan J Sanchoa, Ferran Sanza

a Grup de Recerca en Informàtica Biomèdica (GRIB). Institut Municipal d'investigació Mèdica. Universitat Pompeu i Fabra. Barcelona.

Leído

18228

Veces
se ha leído el artículo

2368

Total PDF

15860

Total HTML

Compartir estadísticas

 array:19 [
  "pii" => "13057545"
  "issn" => "00257753"
  "estado" => "S300"
  "fechaPublicacion" => "2004-02-15"
  "documento" => "article"
  "crossmark" => 0
  "subdocumento" => "fla"
  "cita" => "Med Clin. 2004;122 Supl 1:39-44"
  "abierto" => array:3 [
    "ES" => false
    "ES2" => false
    "LATM" => false
  ]
  "gratuito" => false
  "lecturas" => array:2 [
    "total" => 7904
    "formatos" => array:3 [
      "EPUB" => 8
      "HTML" => 7303
      "PDF" => 593
    ]
  ]
  "itemSiguiente" => array:15 [
    "pii" => "13057547"
    "issn" => "00257753"
    "estado" => "S300"
    "fechaPublicacion" => "2004-02-15"
    "documento" => "article"
    "crossmark" => 0
    "subdocumento" => "fla"
    "cita" => "Med Clin. 2004;122 Supl 1:45-50"
    "abierto" => array:3 [
      "ES" => false
      "ES2" => false
      "LATM" => false
    ]
    "gratuito" => false
    "lecturas" => array:2 [
      "total" => 3637
      "formatos" => array:3 [
        "EPUB" => 10
        "HTML" => 3300
        "PDF" => 327
      ]
    ]
    "es" => array:11 [
      "idiomaDefecto" => true
      "titulo" => "Previsi&#243;n de la evoluci&#243;n de un paciente"
      "tienePdf" => "es"
      "tieneTextoCompleto" => "es"
      "tieneResumen" => array:2 [
        0 => "es"
        1 => "en"
      ]
      "paginas" => array:1 [
        0 => array:2 [
          "paginaInicial" => "45"
          "paginaFinal" => "50"
        ]
      ]
      "titulosAlternativos" => array:1 [
        "en" => array:1 [
          "titulo" => "Prediction of patient outcome"
        ]
      ]
      "contieneResumen" => array:2 [
        "es" => true
        "en" => true
      ]
      "contieneTextoCompleto" => array:1 [
        "es" => true
      ]
      "contienePdf" => array:1 [
        "es" => true
      ]
      "autores" => array:1 [
        0 => array:2 [
          "autoresLista" => "M Pilar Mu&#241;oz Gracia"
          "autores" => array:1 [
            0 => array:2 [
              "nombre" => "M Pilar"
              "apellidos" => "Mu&#241;oz Gracia"
            ]
          ]
        ]
      ]
    ]
    "idiomaDefecto" => "es"
    "EPUB" => "https://multimedia.elsevier.es/PublicationsMultimediaV1/item/epub/13057547?idApp=UINPBA00004N"
    "url" => "/00257753/00000122000000S1/v0_201307292058/13057547/v0_201307292100/es/main.assets"
  ]
  "itemAnterior" => array:15 [
    "pii" => "13057544"
    "issn" => "00257753"
    "estado" => "S300"
    "fechaPublicacion" => "2004-02-15"
    "documento" => "article"
    "crossmark" => 0
    "subdocumento" => "fla"
    "cita" => "Med Clin. 2004;122 Supl 1:35-8"
    "abierto" => array:3 [
      "ES" => false
      "ES2" => false
      "LATM" => false
    ]
    "gratuito" => false
    "lecturas" => array:2 [
      "total" => 9107
      "formatos" => array:3 [
        "EPUB" => 7
        "HTML" => 8371
        "PDF" => 729
      ]
    ]
    "es" => array:11 [
      "idiomaDefecto" => true
      "titulo" => "La importancia del efecto del dise&#241;o"
      "tienePdf" => "es"
      "tieneTextoCompleto" => "es"
      "tieneResumen" => array:2 [
        0 => "es"
        1 => "en"
      ]
      "paginas" => array:1 [
        0 => array:2 [
          "paginaInicial" => "35"
          "paginaFinal" => "38"
        ]
      ]
      "titulosAlternativos" => array:1 [
        "en" => array:1 [
          "titulo" => "The importance of the sample design effect"
        ]
      ]
      "contieneResumen" => array:2 [
        "es" => true
        "en" => true
      ]
      "contieneTextoCompleto" => array:1 [
        "es" => true
      ]
      "contienePdf" => array:1 [
        "es" => true
      ]
      "autores" => array:1 [
        0 => array:2 [
          "autoresLista" => "Montserrat Guill&#233;n, Mercedes Ayuso"
          "autores" => array:2 [
            0 => array:2 [
              "nombre" => "Montserrat"
              "apellidos" => "Guill&#233;n"
            ]
            1 => array:2 [
              "nombre" => "Mercedes"
              "apellidos" => "Ayuso"
            ]
          ]
        ]
      ]
    ]
    "idiomaDefecto" => "es"
    "EPUB" => "https://multimedia.elsevier.es/PublicationsMultimediaV1/item/epub/13057544?idApp=UINPBA00004N"
    "url" => "/00257753/00000122000000S1/v0_201307292058/13057544/v0_201307292100/es/main.assets"
  ]
  "es" => array:14 [
    "idiomaDefecto" => true
    "titulo" => "Sistemas inform&#225;ticos de soporte a la decisi&#243;n cl&#237;nica"
    "tieneTextoCompleto" => true
    "paginas" => array:1 [
      0 => array:2 [
        "paginaInicial" => "39"
        "paginaFinal" => "44"
      ]
    ]
    "autores" => array:1 [
      0 => array:3 [
        "autoresLista" => "Julio Bonis, Juan J Sancho, Ferran Sanz"
        "autores" => array:3 [
          0 => array:3 [
            "nombre" => "Julio"
            "apellidos" => "Bonis"
            "referencia" => array:1 [
              0 => array:2 [
                "etiqueta" => "<span class="elsevierStyleSup">a</span>"
                "identificador" => "affa"
              ]
            ]
          ]
          1 => array:3 [
            "nombre" => "Juan J"
            "apellidos" => "Sancho"
            "referencia" => array:1 [
              0 => array:2 [
                "etiqueta" => "<span class="elsevierStyleSup">a</span>"
                "identificador" => "affa"
              ]
            ]
          ]
          2 => array:3 [
            "nombre" => "Ferran"
            "apellidos" => "Sanz"
            "referencia" => array:1 [
              0 => array:2 [
                "etiqueta" => "<span class="elsevierStyleSup">a</span>"
                "identificador" => "affa"
              ]
            ]
          ]
        ]
        "afiliaciones" => array:1 [
          0 => array:3 [
            "entidad" => "Grup de Recerca en Informàtica Biomèdica (GRIB). Institut Municipal d'investigació Mèdica. Universitat Pompeu i Fabra. Barcelona."
            "etiqueta" => "<span class="elsevierStyleSup">a</span>"
            "identificador" => "affa"
          ]
        ]
      ]
    ]
    "titulosAlternativos" => array:1 [
      "en" => array:1 [
        "titulo" => "Computer-assisted clinical decision support systems"
      ]
    ]
    "textoCompleto" => "<p class="elsevierStylePara">Las decisiones cl&#237;nicas pueden tomarse mediante razonamiento deductivo a partir del conocimiento de la fisiopatolog&#237;a humana&#46; M&#225;s frecuentemente&#44; se toman bas&#225;ndose en datos inciertos mediante estimaciones de probabilidades&#46; Los cl&#237;nicos realizan esta estimaci&#243;n de probabilidades de manera no formal y sin ser enteramente conscientes del proceso que realizan<span class="elsevierStyleSup">1&#44;2</span>&#46;</p><p class="elsevierStylePara">La toma de decisiones es un proceso complejo que requiere el manejo de mucha informaci&#243;n&#46; La tasa de errores en la toma de decisiones cl&#237;nicas es lo suficientemente elevada como para ser objeto de preocupaci&#243;n&#46; Algunos informes hablan de que los errores m&#233;dicos podr&#237;an ser la octava causa de muerte en los pa&#237;ses industrializados<span class="elsevierStyleSup">3</span>&#46; Aunque existen numerosas causas de error m&#233;dico&#44; m&#225;s all&#225; del error en la toma de decisiones &#40;como el error de ejecuci&#243;n&#41;&#44; el informe &#171;To Err is Human&#187;<span class="elsevierStyleSup">3</span> cita un estudio en el que se detect&#243; que hasta un 45&#44;8&#37; de los pacientes de una unidad de cuidados intensivos presentaron un &#171;episodio adverso&#187;&#44; definido como &#171;situaci&#243;n en la cual una decisi&#243;n inapropiada fue adoptada&#44; cuando&#44; al mismo tiempo&#44; una alternativa apropiada podr&#237;a haberse escogido&#187;&#46;</p><p class="elsevierStylePara">Casi desde la aparici&#243;n de los primeros ordenadores se ha propuesto que las tecnolog&#237;as de la informaci&#243;n podr&#237;an ayudar al diagn&#243;stico y tratamiento m&#233;dicos&#46; Inicialmente se escribieron programas que pretend&#237;an emular las capacidades diagn&#243;sticas de los cl&#237;nicos&#44; y se denominaron &#171;sistemas expertos&#187;&#44; con la pretensi&#243;n de que iban a ser capaces de suplir la actividad deductiva de los cl&#237;nicos&#46; El estrepitoso fracaso de su introducci&#243;n en la pr&#225;ctica&#44; incluso cuando demostraban ser capaces de generar hip&#243;tesis correctas&#44; ha desvelado muchos aspectos&#44; tanto formales como pr&#225;cticos&#44; que condicionan la toma de decisiones en el ejercicio m&#233;dico&#46; Actualmente&#44; los denominados sistemas de soporte a la decisi&#243;n cl&#237;nica &#40;SSDC&#41; son menos ambiciosos pero m&#225;s efectivos&#46; Un SSDC se define como cualquier sistema o programa inform&#225;tico dise&#241;ado para ayudar a los profesionales sanitarios a tomar decisiones cl&#237;nicas&#44; ya sean preventivas&#44; diagn&#243;sticas o terap&#233;uticas&#46;</p><p class="elsevierStylePara">Breve recorrido hist&#243;rico</p><p class="elsevierStylePara">Ya a mediados del siglo pasado&#44; se pens&#243; en utilizar los ordenadores para el diagn&#243;stico cl&#237;nico<span class="elsevierStyleSup">1</span>&#46; Los primeros sistemas dise&#241;ados a finales de los a&#241;os cincuenta trataban toscamente de realizar diagn&#243;sticos a partir de los datos introducidos por los cl&#237;nicos en el ordenador&#46; Se basaban en distintas estrategias&#44; de las que la m&#225;s inmediata es la de los algoritmos l&#243;gicos &#40;del estilo &#171;si A&#44; hacer B y si no A&#44; hacer C&#187;&#41;&#46; Un ejemplo cl&#225;sico es el sistema de diagn&#243;stico de alteraciones electrol&#237;ticas de Bleich<span class="elsevierStyleSup">4</span>&#46; Otra estrategia&#44; cuyos pioneros fueron Warner et al<span class="elsevierStyleSup">5</span>&#44; se basa en la realizaci&#243;n de razonamientos probabil&#237;sticos mediante el uso intensivo del teorema de Bayes&#46; En dicho marco&#44; De Dombal desarroll&#243; un sistema de soporte a la decisi&#243;n diagn&#243;stica sobre apendicitis aguda&#44; que ha sido fuertemente validado y que a&#250;n se usa en la pr&#225;ctica cl&#237;nica<span class="elsevierStyleSup">6</span>&#46;</p><p class="elsevierStylePara">A finales de los setenta y durante los a&#241;os ochenta&#44; se desarrollaron diversos programas que obviaban la asunci&#243;n de independencia de los sistemas bayesianos simples mediante el uso de redes bayesianas&#46; Un ejemplo es el de Ben- Bassat et al<span class="elsevierStyleSup">7</span>&#44; integrado en el sistema MEDAS y orientado al diagn&#243;stico de m&#250;ltiples enfermedades&#46;</p><p class="elsevierStylePara">Una tercera estrategia para el abordaje del dise&#241;o de sistemas de soporte a la decisi&#243;n lo constituye el razonamiento heur&#237;stico o simb&#243;lico como el sistema HEME&#44; para el diagn&#243;stico de trastornos hematol&#243;gicos&#44; desarrollado por Lipkin et al<span class="elsevierStyleSup">8</span>&#46; Otros sistemas basados en la aproximaci&#243;n heur&#237;stica son el INTERNIST-1 de Pople<span class="elsevierStyleSup">9</span>&#44; que abarca unas 600 enfermedades y unos 4&#46;500 signos y s&#237;ntomas&#44; o el MYCIN de Shortliffe<span class="elsevierStyleSup">10</span>&#44; que sugiere terapias antimicrobianas&#46; Otro tipo de sistemas basados en reglas o heur&#237;sticas son aquellos que generan avisos que recuerdan al cl&#237;nico la necesidad de realizar alguna tarea concreta cuando un paciente cumple una serie de criterios&#46; Un ejemplo de estos sistemas es el HELP de Warner et al<span class="elsevierStyleSup">11</span>&#46;</p><p class="elsevierStylePara">Si durante los a&#241;os cincuenta y sesenta se fundaron las bases te&#243;ricas para el desarrollo de SSDC&#44; en los setenta se dise&#241;aron e implementaron los primeros sistemas&#44; que se ejecutaban en grandes ordenadores &#40;mainframes&#41;&#46; Durante los ochenta asistimos a la generalizaci&#243;n de los ordenadores personales&#46; Unos a&#241;os despu&#233;s&#44; la interfaz hombre-m&#225;quina mejor&#243; gracias a interfaces gr&#225;ficas m&#225;s intuitivas&#46; Desde finales de los noventa se est&#225;n popularizando los ordenadores de bolsillo y los sistemas embebidos&#44; es decir&#44; la integraci&#243;n de microprocesadores en todo tipo de elementos &#40;relojes de pulsera&#44; esfigmoman&#243;metros e incluso en la ropa&#41;&#46;</p><p class="elsevierStylePara">Aparte de los cambios tecnol&#243;gicos&#44; se ha producido adem&#225;s un cambio en la filosof&#237;a de desarrollo de los SSDC&#46; Hasta finales de los a&#241;os ochenta el modelo seguido en el desarrollo era el que Miller<span class="elsevierStyleSup">12</span> ha denominado &#171;modelo del Or&#225;culo de Delfos&#187;&#46; Seg&#250;n este modelo un SSDC deb&#237;a ser capaz de&#44; una vez entrados los datos necesarios&#44; elaborar una respuesta correcta y explicar su cadena de razonamiento&#46; El modelo de or&#225;culo de Delfos tiene importantes limitaciones&#46; La principal es que el trabajo requerido para alimentar al sistema con los datos requeridos es muy costoso&#46; Al m&#233;dico le tomaba m&#225;s tiempo introducir toda la informaci&#243;n que realizar el diagn&#243;stico por sus propios medios&#46; La mayor parte de dichos sistemas no se utilizaban en la pr&#225;ctica real y quedaban como prototipos experimentales&#46; Los modelos m&#225;s recientes de SSDC tratan de aprovechar sin&#233;rgicamente las potencialidades de los sistemas inform&#225;ticos y de los expertos humanos&#46; Ya no se trata de que el ordenador suplante al m&#233;dico&#44; sino que en cierto modo colabore con &#233;l&#46; Este nuevo enfoque complica los m&#233;todos de evaluaci&#243;n pues se hace necesario evaluar tambi&#233;n la interacci&#243;n entre ambos&#46;</p><p class="elsevierStylePara">Tipolog&#237;a de los sistemas de soporte a la decisi&#243;n</p><p class="elsevierStylePara">Los SSDC pueden caracterizarse de acuerdo con m&#250;ltiples dimensiones&#44; tales como&#58; <span class="elsevierStyleItalic">a&#41;</span> el objetivo que persigue el sistema&#44; <span class="elsevierStyleItalic">b&#41;</span> la forma en que se ofrece la ayuda&#44; o <span class="elsevierStyleItalic">c&#41;</span> el mecanismo de toma de decisi&#243;n subyacente&#46;</p><p class="elsevierStylePara">Seg&#250;n su objetivo&#44; los SSDC pueden clasificarse en dos grupos&#58; los que ayudan en decisiones diagn&#243;sticas &#40;&#191;qu&#233; tiene el paciente&#63;&#41; y los que ofrecen soporte a decisiones sobre actividades preventivas&#44; diagn&#243;sticas &#40;solicitud de pruebas&#41; o terap&#233;uticas que responden a la pregunta &#171;&#191;qu&#233; hacer con el paciente&#63;&#187;&#46; En el segundo grupo se debe valorar el coste&#47;beneficio&#46;</p><p class="elsevierStylePara">Seg&#250;n la forma en que los sistemas ofrecen su ayuda&#44; pueden clasificarse en pasivos o activos&#46; En los sistemas pasivos &#40;INTERNIST-1&#41;&#44; el m&#233;dico debe reconocer en alg&#250;n momento que el SSDC le puede ser &#250;til y consultarlo&#46; Los SSDC m&#225;s avanzados toman un papel proactivo&#46; Sin necesidad de ser requeridos&#44; detectan determinadas condiciones en un paciente y alertan al cl&#237;nico &#40;HELP&#41;&#46; Los sistemas de recordatorios empleados con &#233;xito en la promoci&#243;n de medidas preventivas son un ejemplo&#44; as&#237; como los SSDC integrados en los sistemas de prescripci&#243;n electr&#243;nica que se activan cuando detectan interacciones medicamentosas potencialmente peligrosas<span class="elsevierStyleSup">13</span><span class="elsevierStyleItalic">&#46;</span></p><p class="elsevierStylePara">Seg&#250;n el m&#233;todo de razonamiento subyacente&#44; en general los SSDC se pueden clasificar en los siguientes grupos&#58;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">SSDC basados en algoritmos o en l&#243;gica categ&#243;rica</span></p><p class="elsevierStylePara">Consisten en trasladar a un programa inform&#225;tico un algoritmo &#40;fig&#46; 1&#41; de decisi&#243;n categ&#243;rico previamente dise&#241;ado por cl&#237;nicos&#46;</p><p class="elsevierStylePara"><img src="2v122nSupl.1-13057545tab01.gif"></img></p><p class="elsevierStylePara"><span class="elsevierStyleItalic">Fig&#46; 1&#46; Algoritmo de decisi&#243;n en caso de acidosis&#46;</span></p><p class="elsevierStylePara">Muchos de los SSDC que han demostrado su eficacia en entornos cl&#237;nicos reales se basan en este modelo&#46; En general son adecuados cuando se trata de abordar un problema muy concreto y donde la toma de decisiones es esencialmente categ&#243;rica&#46; El sistema puede hacerse tan complejo como se desee&#44; dependiendo del grado de detalle con el que se desarrolle&#46; Cabe destacar aqu&#237; uno de los est&#225;ndares m&#225;s extendidos de construcci&#243;n de algoritmos de decisi&#243;n cl&#237;nica&#46; Se trata del &#171;Arden Syntax for medical logic modules&#187;<span class="elsevierStyleSup">14</span>&#46;</p><p class="elsevierStylePara">Muchos de estos sistemas han sido rechazados por los cl&#237;nicos&#44; que los consideran demasiado simplistas<span class="elsevierStyleSup">15</span>&#46; Adem&#225;s&#44; la utilidad de implementar uno de estos algoritmos en un ordenador es discutible&#46; Los algoritmos puros &#40;sin ning&#250;n componente de c&#225;lculo num&#233;rico complejo&#41; pueden sustituirse por versiones impresas en papel que pueden ser preferibles<span class="elsevierStyleSup">16</span> al permitir una visi&#243;n global del algoritmo&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">SSDC basados en modelos bayesianos simples</span></p><p class="elsevierStylePara">Se basan en la formulaci&#243;n b&#225;sica del teorema de Bayes&#44; una f&#243;rmula matem&#225;tica que permite calcular la probabilidad <span class="elsevierStyleItalic">a posteriori</span> de un episodio &#40;tras conocer los resultados de ciertas pruebas diagn&#243;sticas&#41; a partir de su probabilidad <span class="elsevierStyleItalic">a priori</span> y de probabilidades condicionadas como&#44; por ejemplo&#44; la sensibilidad y especificidad de las pruebas diagn&#243;sticas&#46; Sistemas como el de De Dombal et al<span class="elsevierStyleSup">6</span> se basan en la aplicaci&#243;n repetida del teorema de Bayes&#46;</p><p class="elsevierStylePara">En su formulaci&#243;n completa&#44; el teorema es dif&#237;cil de aplicar al requerir una cantidad ingente de informaci&#243;n&#46; Por esto se introducen dos aproximaciones&#58;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">1&#46; Exhaustividad y exclusividad en el diagn&#243;stico</span>&#46; Es decir&#44; se supone que existe un n&#250;mero limitado de diagn&#243;sticos que son considerados en su totalidad &#40;exhaustividad&#41; y que no pueden darse dos de dichos diagn&#243;sticos simult&#225;neamente en el mismo paciente &#40;exclusividad&#41;&#46;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">2&#46; Independencia condicional&#46;</span> Es decir&#44; que para cada diagn&#243;stico la influencia de un determinado hallazgo es independiente de que se hayan encontrado otros&#44; por lo que la probabilidad de tener un determinado diagn&#243;stico si un hallazgo es positivo es&#58;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara"><img src="2v122nSupl.1-13057545tab02.gif"></img></p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara">donde P es prevalencia&#44; S es sensibilidad&#44; E es especificidad&#46;</p><p class="elsevierStylePara">La exclusividad y exhaustividad hacen que el teorema no sea v&#225;lido para pacientes con varias enfermedades concomitantes que se relacionan con los s&#237;ntomas&#44; signos o pruebas diagn&#243;sticas considerados&#46; Sin embargo&#44; la limitaci&#243;n m&#225;s seria es la asunci&#243;n de independencia&#44; premisa que es dif&#237;cilmente asumible en muchos casos&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">SSDC basados en redes bayesianas y &#225;rboles de decisi&#243;n</span></p><p class="elsevierStylePara">Para superar algunas de las limitaciones de los modelos bayesianos simples&#44; durante los ochenta se trabaj&#243; en modelos que combinaban la teor&#237;a de probabilidades junto con la teor&#237;a de grafos &#40;INTERNIST-1&#41;&#46;</p><p class="elsevierStylePara">Una red bayesiana es un grafo ac&#237;clico conexo m&#225;s una distribuci&#243;n de probabilidad sobre sus variables&#44; que cumple la propiedad de separaci&#243;n direccional&#46; La separaci&#243;n direccional es una propiedad matem&#225;tica que asegura que la probabilidad de una variable <span class="elsevierStyleItalic">x</span> s&#243;lo se ve afectada por las variables &#40;nodos&#41; que son sus ascendientes en primer grado &#40;padres directos&#41;&#46;</p><p class="elsevierStylePara">Los nodos representan a las variables que cumplen los criterios de exclusividad y exhaustividad &#40;representar&#237;an al modelo probabil&#237;stico cl&#225;sico de Bayes&#41;&#44; y los arcos que unen los nodos representan relaciones probabil&#237;sticas entre nodos &#40;he aqu&#237; la aportaci&#243;n de la teor&#237;a de grafos&#41;&#46; Mediante los arcos&#44; que son dirigidos &#40;es decir&#44; tienen un sentido de A a B&#41; podemos representar por tanto relaciones de causalidad entre variables &#40;nodos&#41; y decir que A influye en B&#46;</p><p class="elsevierStylePara">Adem&#225;s de indicar la estructura del grafo &#40;nodos y arcos que los conectan&#41;&#44; se debe indicar la distribuci&#243;n condicional de probabilidad para cada nodo&#46; En t&#233;rminos generales&#44; cabe considerar a la distribuci&#243;n condicional de probabilidad como una tabla que indica la probabilidad de que una variable &#40;nodo&#41; tome cada uno de sus posibles valores&#44; dependiendo de la combinaci&#243;n de valores que tomen los nodos padres&#44; es decir&#44; aquellos que est&#225;n conectados al nodo hijo mediante un arco&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">SSDC basados en redes neuronales</span></p><p class="elsevierStylePara">Las redes neuronales son sistemas de c&#225;lculo basados en arquitecturas modulares&#44; organizadas en redes de numerosos procesadores elementales interconectados&#44; que eval&#250;an localmente una funci&#243;n no lineal&#46; Las redes neuronales disponen de algoritmos de aprendizaje que modifican el valor de sus par&#225;metros &#40;pesos&#41; con el fin de ajustarse lo mejor posible a un conjunto de casos <span class="elsevierStyleItalic">&#40;training set&#41;</span>&#46; Las redes neuronales deben siempre probarse sobre un conjunto de casos distinto del anterior <span class="elsevierStyleItalic">&#40;test set&#41;</span>&#46; Resultan apropiadas para la resoluci&#243;n de problemas en los que subyacen interacciones entre los factores que permanecen ocultas al observador y que son dif&#237;ciles de modelizar&#46;</p><p class="elsevierStylePara">Las redes neuronales act&#250;an como cajas negras&#44; es decir&#44; ning&#250;n observador externo puede comprender intr&#237;nsecamente c&#243;mo una red neuronal llega a una conclusi&#243;n determinada&#46; Esto ha limitado enormemente la aceptaci&#243;n por parte de los cl&#237;nicos del uso de redes neuronales en los SSDC&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">SSDC basados en conocimiento o representaci&#243;n simb&#243;lica</span></p><p class="elsevierStylePara">Estos sistemas no trabajan exclusivamente con valores cuantitativos&#44; como en el caso de los sistemas probabil&#237;sticos&#44; sino que codifican simb&#243;licamente los conocimientos de expertos mediante reglas&#46;</p><p class="elsevierStylePara">Evaluaci&#243;n de sistemas de soporte a la decisi&#243;n</p><p class="elsevierStylePara">Una parte fundamental en el desarrollo e implantaci&#243;n de SSCD es su evaluaci&#243;n&#46; A&#250;n no existe una metodolog&#237;a de evaluaci&#243;n universalmente aceptada y el tema es obje to de investigaci&#243;n y debate acad&#233;mico<span class="elsevierStyleSup">17</span>&#46;</p><p class="elsevierStylePara">Existen m&#250;ltiples aspectos de los SSCD que pueden ser objeto de evaluaci&#243;n&#46; La metodolog&#237;a ideal deber&#237;a abarcar aspectos tales como la verificaci&#243;n de los algoritmos y del correspondiente c&#243;digo inform&#225;tico&#44; la validaci&#243;n de los resultados generados por el sistema&#44; la usabilidad y aceptaci&#243;n por parte de los usuarios&#44; el impacto cl&#237;nico&#44; social y econ&#243;mico&#44; y el an&#225;lisis de las consecuencias eticolegales del uso de los SSDC&#46;</p><p class="elsevierStylePara">La verificaci&#243;n analiza la consistencia interna del SSDC&#46; Es decir&#44; son actividades dirigidas a comprobar que las reglas y los modelos de inferencia que utiliza el sistema son correctos y que est&#225;n bien programados&#46; La validaci&#243;n constituye un an&#225;lisis del funcionamiento del sistema centr&#225;ndose en la calidad de los resultados que genera&#46; Muchas veces se lleva a cabo mediante la comparaci&#243;n de las predicciones generadas por el SSDC para casos retrospectivos de los que se conoce el resultado correcto&#46; El an&#225;lisis de la usabilidad y aceptabilidad trata de resolver una de las mayores fuentes de fracaso de los SSDC&#46; Los aspectos eticolegales de la implantaci&#243;n de SSDC deben tenerse en cuenta en todo estudio de evaluaci&#243;n&#44; aunque no ser&#225;n tratados aqu&#237;&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">Verificaci&#243;n y validaci&#243;n&#58; &#191;produce el sistema resultados correctos&#63;</span></p><p class="elsevierStylePara">El primer paso es la verificaci&#243;n del SSDC&#46; Los m&#233;todos utilizados son variados&#44; incluyendo metodolog&#237;as propias de ingenier&#237;a de software&#46; Muy a menudo son procedimientos experimentales en los que se modifican variables y se observan las consecuencias<span class="elsevierStyleSup">18&#44;19</span>&#46; Los SSDC cuyas reglas de inferencia son transparentes &#40;como los basados en algoritmos&#44; sistemas o redes bayesianas o modelos de representaci&#243;n simb&#243;lica&#41; pueden ser verificados por expertos cl&#237;nicos&#46; En cambio&#44; en las redes neuronales no es posible pues funcionan como &#171;cajas negras&#187;&#46;</p><p class="elsevierStylePara">Las actividades de validaci&#243;n consisten a menudo en comparar&#44; sobre un conjunto de datos &#40;reales o hipot&#233;ticos&#41;&#44; los resultados obtenidos por parte del SSDC con los obtenidos mediante el juicio del cl&#237;nico o directamente con los resultados cl&#237;nicos reales observados&#46;</p><p class="elsevierStylePara">Un problema importante aparece cuando no existe un <span class="elsevierStyleItalic">gold est&#225;ndar</span> con el que comparar los resultados&#46; Dos sistemas expertos desarrollados por investigadores espa&#241;oles y que formaban parte de esta categor&#237;a fueron validados comparando la &#171;opini&#243;n&#187; del SSDC con la de un amplio grupo de cl&#237;nicos con distintos niveles de experiencia&#44; al suministrar a todos el mismo conjunto de datos de una serie de pacientes<span class="elsevierStyleSup">20&#44;21</span>&#46; Para comparar dichas opiniones se analiz&#243; el grado de acuerdo entre las opiniones mediante un an&#225;lisis de conglomerados sobre &#171;distancias&#187; diagn&#243;sticas&#44; as&#237; como con una modificaci&#243;n del &#237;ndice kappa para varios observadores&#46; Se consider&#243; que dichos SSDC se comportaban adecuadamente al no resultar sus opiniones m&#225;s separadas de los expertos cl&#237;nicos que la de ellos entre s&#237;&#46;</p><p class="elsevierStylePara">En algunas ocasiones los investigadores desarrollan un SSDC utilizando un conjunto de datos de muy dif&#237;cil obtenci&#243;n y&#44; por esto&#44; la validaci&#243;n acostumbra realizarse sobre el mismo conjunto de datos usado para la construcci&#243;n del SSDC&#46; En esta situaci&#243;n se produce un sesgo por el que el SSDC presenta mejor capacidad predictiva sobre dichos casos que sobre otros no usados para el desarrollo del SSDC&#46; Para abordar este problema se suelen utilizar estrategias de validaci&#243;n cruzada como la <span class="elsevierStyleItalic"> &#171;leave-one-out&#187;</span> o &#171;dejar uno fuera&#187;&#46; Este m&#233;todo consiste en elaborar un modelo predictivo utilizando todos los casos disponibles excepto uno&#44; y utilizar este caso excluido para validar el modelo&#46; Si repetimos este proceso a lo largo de todos los casos disponibles&#44; obtendremos predicciones no sesgadas llevadas a cabo con n modelos ligeramente distintos construidos con n-1 casos y muy parecidos al que pretendemos validar &#40;construido con todos los n casos&#41;&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">Usabilidad&#58; &#191;se puede utilizar el sistema en el mundo real&#63;</span></p><p class="elsevierStylePara">Tras haber comprobado que el SSDC ofrece los resultados esperados&#44; el siguiente paso es evaluar si ser&#225; utilizado por sus usuarios finales&#46; Frecuentemente el fracaso de los SSDC reside en problemas de usabilidad<span class="elsevierStyleSup">22</span>&#46; Por esto&#44; es conveniente evaluar la aceptaci&#243;n por parte de los usuarios antes de la implantaci&#243;n de un SSDC en entornos reales&#46; Esta estrategia de evaluaci&#243;n paso a paso evita malgastar recursos en la implantaci&#243;n de un sistema que luego no ser&#237;a utilizado<span class="elsevierStyleSup">23</span>&#46; Puede realizarse con metodolog&#237;as cuantitativas o cualitativas&#46;</p><p class="elsevierStylePara">Entre las cuantitativas encontramos escalas de satisfacci&#243;n que eval&#250;an distintas dimensiones de la usabilidad&#46; Tambi&#233;n se analiza la interacci&#243;n del cl&#237;nico con la interfaz del SSDC&#44; por ejemplo cuantificando el n&#250;mero de pantallas que se visualizan o los botones que se pulsan&#46; Algunos SSDC consisten simplemente en sistemas alternativos de visualizaci&#243;n de datos&#44; como ciertos paneles de control dise&#241;ados para anestesistas que&#44; en entornos experimentales&#44; mejoraron el tiempo de detecci&#243;n de determinados eventos<span class="elsevierStyleSup">24</span>&#46;</p><p class="elsevierStylePara">Los m&#233;todos cualitativos han merecido una atenci&#243;n especial en los &#250;ltimos a&#241;os<span class="elsevierStyleSup">25</span>&#46; Aunque poco comunes en el &#225;mbito biom&#233;dico&#44; tienen gran tradici&#243;n en otras &#225;reas como las ciencias sociales&#44; en el marco de las cuales se produjo su desarrollo&#46; Incluyen entrevistas mediante preguntas abiertas&#44; estudios etnogr&#225;ficos de campo&#44; interaccionismo social y otras t&#233;cnicas&#46; Una de sus ventajas es que permiten descubrir las causas de los problemas de usabilidad&#46; As&#237;&#44; Kaplan<span class="elsevierStyleSup">26</span> se&#241;ala que las posibles causas de la falta de aceptaci&#243;n de SSDC ser&#237;an&#58;<span class="elsevierStyleItalic">a&#41;</span> su interferencia en la relaci&#243;n m&#233;dico-paciente&#59; <span class="elsevierStyleItalic"> b&#41;</span> la sensaci&#243;n de detrimento en su estatus profesional&#59; <span class="elsevierStyleItalic">c&#41;</span> la alteraci&#243;n en el arte de la pr&#225;ctica m&#233;dica&#44; y <span class="elsevierStyleItalic">d&#41;</span> la limitaci&#243;n de la autonom&#237;a profesional&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">Impacto cl&#237;nico&#58; &#191;mejora el uso del sistema la salud de los pacientes&#63;</span></p><p class="elsevierStylePara">Los estudios de impacto cl&#237;nico pueden clasificarse en estudios descriptivos&#44; meramente observacionales&#44; y estudios comparativos&#46; En los comparativos&#44; el investigador modifica las condiciones de un grupo respecto a otro para tratar as&#237; de ver si ocurren diferencias entre ambos<span class="elsevierStyleSup">27</span>&#46; La dificultad reside en c&#243;mo lograr un grupo control que estando aislado sea comparable&#46; Se han propuesto distintos dise&#241;os&#58;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">Dise&#241;os antes-despu&#233;s&#46;</span> El investigador observa la situaci&#243;n basal antes de la introducci&#243;n del SSDC&#46; En la segunda fase&#44; el sistema es introducido en la pr&#225;ctica diaria y se eval&#250;a si existe un cambio&#46; Esta metodolog&#237;a ha sido puesta en duda en numerosas ocasiones&#46; Entre otros factores&#44; el personal sanitario puede mostrar mayor diligencia durante la segunda fase<span class="elsevierStyleSup">28</span>&#46; Tambi&#233;n se pueden obtener conclusiones sesgadas por la contaminaci&#243;n de otros factores temporales externos&#44; como cambios organizativos&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">Dise&#241;os aleatorizados controlados&#46;</span> Los distintos sujetos se distribuyen en grupos de manera aleatoria sujetos a distintas intervenciones&#46; En los ensayos cl&#237;nicos farmacol&#243;gicos&#44; la aleatorizaci&#243;n se realiza generalmente sobre pacientes&#46; En el caso de estudios sobre intervenciones no farmacol&#243;gicas el m&#233;todo de aleatorizaci&#243;n se complica debido al sesgo de contaminaci&#243;n&#46; Para evitarlo se suele realizar la aleatorizaci&#243;n por <span class="elsevierStyleItalic">clusters</span> o conglomerados&#44; esto es&#44; se selecciona a dos grupos de m&#233;dicos&#44; servicios u hospitales de manera aleatoria&#44; y mientras que unos utilizan SSDC para todos sus pacientes&#44; otros no lo hacen&#46; Por supuesto&#44; ambos grupos deben ser comparables entre s&#237;&#46;</p><p class="elsevierStylePara">El c&#225;lculo del tama&#241;o muestral en el caso de aleatorizaci&#243;n por conglomerados esconde ciertas trampas que en demasiadas ocasiones han sido obviadas por los investigadores<span class="elsevierStyleSup">29</span>&#46; En dicho c&#225;lculo deber&#237;a aplicarse un factor de correcci&#243;n denominado factor de dise&#241;o<span class="elsevierStyleSup">30</span>&#46;</p><p class="elsevierStylePara">Tradicionalmente&#44; los investigadores se han centrado en la evaluaci&#243;n del SSDC mediante estudios cl&#237;nicos aleatorizados y controlados&#46; La extensa revisi&#243;n de ensayos cl&#237;nicos sobre SSDC de Hunt et al<span class="elsevierStyleSup">31</span> desde 1974 a 1998 muestra que&#44; en general&#44; el impacto cl&#237;nico demostrado ha sido escaso&#46; Los SSDC centrados en el diagn&#243;stico han mostrado poco &#233;xito&#58; s&#243;lo uno de cinco estudios demostr&#243; cierto impacto&#46; Los sistemas proactivos&#44; basados en recordatorios para la realizaci&#243;n de medidas preventivas&#44; s&#237; han demostrado su impacto en un 74&#37; de los casos &#40;14 sobre 19 estudios&#41;&#46; Hunt advierte que la mayor&#237;a de los estudios ten&#237;a tama&#241;os muestrales demasiado peque&#241;os&#46; Adem&#225;s Chuang et al<span class="elsevierStyleSup">29</span> ilustraron el problema de la falta de rigor metodol&#243;gico en el tratamiento de ensayos basados en conglomerados&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">La necesidad de metodolog&#237;as alternativas</span></p><p class="elsevierStylePara">Otros autores<span class="elsevierStyleSup">17</span> han se&#241;alado que quiz&#225; los ensayos cl&#237;nicos dise&#241;ados al estilo de los usados en la evaluaci&#243;n de f&#225;rmacos no sean la manera m&#225;s adecuada &#40;al menos por s&#237; solos&#41; para evaluar el impacto de los SSDC&#46; Junto con ellos&#44; Kaplan<span class="elsevierStyleSup">26</span> aboga por el uso de metodolog&#237;as cualitativas que permitan entender las razones de la falta de impacto&#46; En un estudio sobre el uso de un SSDC en el manejo del asma y la angina de pecho no se pudo constatar un impacto significativo debido a que el SSDC no era utilizado<span class="elsevierStyleSup">22</span>&#46; Las investigaciones muestran que el nivel de satisfacci&#243;n con el uso de tecnolog&#237;as inform&#225;ticas est&#225; m&#225;s relacionado con las percepciones subjetivas del usuario acerca de los efectos del sistema en la productividad que con su efecto en la calidad de los cuidados m&#233;dicos<span class="elsevierStyleSup">32</span>&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">Fuentes de sesgo</span></p><p class="elsevierStylePara">La evaluaci&#243;n del impacto de SSDC es muy compleja debido entre otras razones a los numerosos sesgos potenciales&#46;</p><p class="elsevierStylePara">En primer lugar est&#225; el sesgo del evaluador&#46; En lo posible&#44; el dise&#241;o del estudio debe evitar que los evaluadores puedan emitir juicios sesgados&#46; Otra fuente frecuente de sesgo es el sesgo de selecci&#243;n&#46; As&#237;&#44; los cl&#237;nicos pueden tender a seleccionar a un determinado grupo de pacientes para utilizar con ellos el SSDC&#46; El efecto Hawthorne o sesgo de observaci&#243;n es com&#250;n en estudios de evaluaci&#243;n de SSDC&#46; En virtud del mismo&#44; los cl&#237;nicos sujetos a observaci&#243;n y evaluaci&#243;n&#44; por el mero hecho de estar siendo observados&#44; mejorar&#225;n sus pr&#225;cticas y su rendimiento&#46; Otro posible sesgo es la mejora de la toma de decisiones por el simple hecho de llevar a cabo una recogida de datos m&#225;s estructurada y completa durante la realizaci&#243;n del estudio&#46; El efecto por retroalimentaci&#243;n se ha descrito en algunos estudios en los que se observ&#243; que al ofrecer a los cl&#237;nicos informaci&#243;n relativa a sus resultados de forma frecuente se les estimulaba a mejorar su rendimiento<span class="elsevierStyleSup">33</span>&#46; El sesgo por contaminaci&#243;n se produce cuando la exposici&#243;n previa al SSDC influye en la toma de decisiones sobre el grupo control&#46; Tambi&#233;n debe considerarse el efecto placebo&#46; Se ha argumentado que el hecho de ver que el m&#233;dico utiliza un sistema inform&#225;tico puede influir en la percepci&#243;n subjetiva de enfermedad del paciente&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">Revisi&#243;n de los &#250;ltimos estudios de evaluaci&#243;n de CDSS publicados</span></p><p class="elsevierStylePara">La &#250;ltima revisi&#243;n sistem&#225;tica de la que tenemos noticia fue realizada por Hunt et al en 1998<span class="elsevierStyleSup">31</span>&#46; Cubre el per&#237;odo comprendido entre enero de 1974 y mayo de 1998&#46; Hemos llevado a cabo una breve revisi&#243;n de los art&#237;culos publicados en revistas indexadas en Medline en el per&#237;odo comprendido entre junio de 1998 y junio de 2003&#46; La metodolog&#237;a de recuperaci&#243;n de art&#237;culos no es tan exhaustiva como la de Hunt&#44; pero puede servir como indicativo de la tendencia en los &#250;ltimos 5 a&#241;os en este campo&#46;</p><p class="elsevierStylePara">Hemos identificado 42 estudios&#44; de los cuales 19 eran estudios experimentales de validaci&#243;n interna y 23&#44; estudios de evaluaci&#243;n del impacto cl&#237;nico&#46; Entre estos &#250;ltimos se identificaron dos tipolog&#237;as&#58; <span class="elsevierStyleItalic"> a&#41;</span> estudios cualitativos&#44; que constitu&#237;an un 39&#37; &#40;9&#41;<span class="elsevierStyleSup">23&#44;34-41</span>&#44; y <span class="elsevierStyleItalic">b&#41;</span> estudios cuantitativos que constitu&#237;an un 61&#37; &#40;14&#41;&#46; En cuanto a los 14 estudios cuantitativos&#44; 8 utilizaban un dise&#241;o aleatorizado por conglomerados<span class="elsevierStyleSup">39&#44;42-48</span> y los otros 6 usaban un dise&#241;o del tipo antes&#47;despu&#233;s<span class="elsevierStyleSup">49-54</span>&#46;</p><p class="elsevierStylePara">Entre los 6 dise&#241;os antes&#47;despu&#233;s&#44; 5 describen resultados globalmente positivos&#44; mientras que uno describe resultados neutros&#46; No se ha identificado ning&#250;n estudio antes&#47;despu&#233;s que describa resultados negativos para los SSDC&#46; El tama&#241;o muestral de dichos estudios es muy variable y oscila entre 43 y 1&#46;825 casos&#44; con una media de 719&#44;2&#46; La duraci&#243;n media fue de 28&#44;25 semanas&#44; con un m&#237;nimo de 16 y un m&#225;ximo de 40&#46;</p><p class="elsevierStylePara">Entre los 8 estudios con dise&#241;os aleatorizados por conglomerados&#44; 6 describen resultados globalmente positivos&#44; mientras que en 2 casos se trata de resultados neutros&#46; De nuevo&#44; no se encontr&#243; ninguna publicaci&#243;n que describiera resultados negativos para los SSDC&#46; El tama&#241;o muestral de los estudios revisados es nuevamente muy variable&#44; entre 57 y 6&#46;371 casos&#44; con una media de 2&#46;064&#44;6&#46; En cuanto a su duraci&#243;n&#44; la media fue de 39&#44;2 semanas&#44; con un m&#237;nimo de 4 y un m&#225;ximo de 72&#46;</p><p class="elsevierStylePara">De la revisi&#243;n bibliogr&#225;fica se puede concluir que se publican aproximadamente el mismo n&#250;mero de estudios de validaci&#243;n interna que de evaluaci&#243;n del impacto&#46; En los estudios de evaluaci&#243;n&#44; la metodolog&#237;a cuantitativa predomina ligeramente sobre la cualitativa&#44; sin detectar una tendencia clara a favor de un tipo de metodolog&#237;a a lo largo del tiempo&#46; Los estudios de evaluaci&#243;n cuantitativa siguen dos l&#237;neas de dise&#241;o con parecida prevalencia&#44; estudios de antes&#47;despu&#233;s y estudios aleatorizados por conglomerados&#46; El tama&#241;o muestral y su duraci&#243;n son similares entre ambos tipos de dise&#241;o&#46; Existe probablemente un importante sesgo de publicaci&#243;n&#44; ya que no se ha publicado ning&#250;n estudio de evaluaci&#243;n con resultados claramente negativos&#46;</p><p class="elsevierStylePara">En los &#250;ltimos a&#241;os&#44; se detecta un inter&#233;s creciente por la implicaci&#243;n de los pacientes en la toma de decisiones&#46; No es de extra&#241;ar que varios SSDC se est&#233;n orientando a facilitar la integraci&#243;n de las preferencias del paciente en la toma de decisi&#243;n&#44; con lo que las opiniones de los pacientes comienzan a tener su importancia en el proceso de evaluaci&#243;n<span class="elsevierStyleSup">23&#44;35&#44;48&#44;50</span>&#46; Se ha encontrado un grupo importante de SSDC basados en el modelo de Gu&#237;as de Pr&#225;ctica Cl&#237;nica&#46; El escenario t&#237;pico es la implantaci&#243;n de estos SSDC en atenci&#243;n primaria para el manejo de enfermedades cr&#243;nicas&#44; como el asma<span class="elsevierStyleSup">34&#44;43</span>&#44; la diabetes<span class="elsevierStyleSup">23&#44;33&#44;46</span> u otras<span class="elsevierStyleSup">38&#44;42&#44;45</span>&#46; Por otra parte&#44; se ha visto que en entornos hospitalarios se prefiere el desarrollo de SSDC m&#225;s espec&#237;ficos&#44; centrados en la generaci&#243;n de alertas preventivas<span class="elsevierStyleSup">44&#44;49&#44;53</span> o en el manejo de situaciones muy espec&#237;ficas como ictus<span class="elsevierStyleSup">41</span>&#44; petici&#243;n de pruebas radiol&#243;gicas<span class="elsevierStyleSup">51</span>&#44; c&#225;ncer de mama<span class="elsevierStyleSup">52</span> o pr&#243;stata<span class="elsevierStyleSup">54</span>&#44; o ventilaci&#243;n mec&#225;nica<span class="elsevierStyleSup">47</span>&#46; Un grupo notable lo constituyen los SSDC orientados a unidades de cuidados intensivos<span class="elsevierStyleSup">36&#44;37&#44;47</span>&#46; </p>"
    "pdfFichero" => "2v122nSupl.1a13057545pdf001.pdf"
    "tienePdf" => true
    "PalabrasClave" => array:2 [
      "es" => array:1 [
        0 => array:4 [
          "clase" => "keyword"
          "titulo" => "Palabras clave"
          "identificador" => "xpalclavsec223785"
          "palabras" => array:3 [
            0 => "Sistemas de soporte a la decisi&#243;n cl&#237;nica"
            1 => "Revisi&#243;n"
            2 => "Estudios de evaluaci&#243;n"
          ]
        ]
      ]
      "en" => array:1 [
        0 => array:4 [
          "clase" => "keyword"
          "titulo" => "Keywords"
          "identificador" => "xpalclavsec223786"
          "palabras" => array:3 [
            0 => "Clinical decision support systems"
            1 => "Review"
            2 => "Evaluation studies"
          ]
        ]
      ]
    ]
    "tieneResumen" => true
    "resumen" => array:2 [
      "es" => array:1 [
        "resumen" => "La presente revisi&#243;n presenta la evoluci&#243;n hist&#243;rica y el fundamento metodol&#243;gico de los sistemas inform&#225;ticos de ayuda a la decisi&#243;n cl&#237;nica&#46; Tambi&#233;n se revisan las metodolog&#237;as de verificaci&#243;n&#44; validaci&#243;n y evaluaci&#243;n del impacto cl&#237;nico de dichos sistemas&#46; Entre otros factores&#44; la proactividad y la usabilidad de los sistemas condicionan su aceptaci&#243;n por parte de los profesionales sanitarios&#46; Las metodolog&#237;as de evaluaci&#243;n del impacto cl&#237;nico se describen con especial detalle y se actualiza la revisi&#243;n de los estudios de impacto cl&#237;nico llevada a cabo por Hunt et al en 1998&#46;"
      ]
      "en" => array:1 [
        "resumen" => "This review deals with the historical evolution and methodological basis of computerized medical decision support tools&#46; It also reviews the verification&#44; validation and impact evaluation methods of these systems&#46; The acceptability of them from the health professionals depends on the pro-activity and usefulness of the systems&#44; between other factors&#46; The clinical impact evaluation methods are described in deep detail and the Hunt et al review of 1998 is updated&#46;"
      ]
    ]
    "multimedia" => array:4 [
      0 => array:8 [
        "identificador" => "tbl1"
        "etiqueta" => "Fig. 1"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
        "tabla" => array:1 [
          "tablatextoimagen" => array:1 [
            0 => array:1 [
              "tablaImagen" => array:1 [
                0 => array:4 [
                  "imagenFichero" => "2v122nSupl.1-13057545tab01.gif"
                  "imagenAlto" => 361
                  "imagenAncho" => 379
                  "imagenTamanyo" => 7430
                ]
              ]
            ]
          ]
        ]
        "descripcion" => array:1 [
          "es" => "Algoritmo de decisi&#243;n en caso de acidosis&#46;"
        ]
      ]
      1 => array:6 [
        "identificador" => "tbl2"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
        "tabla" => array:1 [
          "tablatextoimagen" => array:1 [
            0 => array:1 [
              "tablaImagen" => array:1 [
                0 => array:4 [
                  "imagenFichero" => "2v122nSupl.1-13057545tab02.gif"
                  "imagenAlto" => 53
                  "imagenAncho" => 279
                  "imagenTamanyo" => 1931
                ]
              ]
            ]
          ]
        ]
      ]
      2 => array:5 [
        "identificador" => "tbl3"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
      ]
      3 => array:5 [
        "identificador" => "tbl4"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
      ]
    ]
    "bibliografia" => array:2 [
      "titulo" => "Bibliograf&#237;a"
      "seccion" => array:1 [
        0 => array:1 [
          "bibliografiaReferencia" => array:54 [
            0 => array:3 [
              "identificador" => "bib1"
              "etiqueta" => "1"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Reasoning foundations of medical diagnosis&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Ledley RS"
                            1 => "Lusted LB&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Science"
                        "fecha" => "1959"
                        "volumen" => "130"
                        "paginaInicial" => "9"
                        "paginaFinal" => "21"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/13668531"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            1 => array:3 [
              "identificador" => "bib2"
              "etiqueta" => "2"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Domain knowledge and hypothesis generation in diagnostic reasoning&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Joseph GM"
                            1 => "Patel VL&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Med Decis Making"
                        "fecha" => "1990"
                        "volumen" => "10"
                        "paginaInicial" => "31"
                        "paginaFinal" => "46"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/2182962"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            2 => array:3 [
              "identificador" => "bib3"
              "etiqueta" => "3"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "To err is human: building a safer health system. Washington DC: Committee on Quality of Health Care in America, Institute of Medicine, 2000."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "To err is human&#58; building a safer health system&#46; Washington DC&#58; Committee on Quality of Health Care in America&#44; Institute of Medicine&#44; 2000&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:4 [
                            0 => "Kohn LT"
                            1 => "Corrigan JM"
                            2 => "Donaldson MS"
                            3 => "editors&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            3 => array:3 [
              "identificador" => "bib4"
              "etiqueta" => "4"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Computer evaluation of acid-base disorders&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Bleich HL&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:2 [
                      "doi" => "10.1172/JCI106134"
                      "Revista" => array:6 [
                        "tituloSerie" => "J Clin Invest"
                        "fecha" => "1969"
                        "volumen" => "48"
                        "paginaInicial" => "1689"
                        "paginaFinal" => "96"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/4898409"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            4 => array:3 [
              "identificador" => "bib5"
              "etiqueta" => "5"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Mathematical approach to medical diagnosis&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:4 [
                            0 => "Warner HR"
                            1 => "Toronto AF"
                            2 => "Veasey LG"
                            3 => "Stephenson RA&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "JAMA"
                        "fecha" => "1961"
                        "volumen" => "177"
                        "paginaInicial" => "75"
                        "paginaFinal" => "81"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            5 => array:3 [
              "identificador" => "bib6"
              "etiqueta" => "6"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "A computer-assisted system for learning clinical diagnosis&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:3 [
                            0 => "De Dombal FT"
                            1 => "Hartley JR"
                            2 => "Sleeman DH&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Lancet"
                        "fecha" => "1969"
                        "volumen" => "1"
                        "paginaInicial" => "145"
                        "paginaFinal" => "8"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/2879979"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            6 => array:3 [
              "identificador" => "bib7"
              "etiqueta" => "7"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Pattern-based interactive diagnosis of multiple disorders&#58; the MEDAS system&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:5 [
                            0 => "Ben-Bassat M"
                            1 => "Carlson RW"
                            2 => "Puri VK"
                            3 => "Davenport MD"
                            4 => "Schriver JA&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:4 [
                        "tituloSerie" => "IEEE Trans Pattern Anal Mach Intel"
                        "fecha" => "1980"
                        "paginaInicial" => "PAM1"
                        "paginaFinal" => "2"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            7 => array:3 [
              "identificador" => "bib8"
              "etiqueta" => "8"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Differential diagnosis of hematological diseases aided by mechanical correlation of data&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Lipkin M"
                            1 => "Hardy JD&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Science"
                        "fecha" => "1957"
                        "volumen" => "125"
                        "paginaInicial" => "551"
                        "paginaFinal" => "2"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/13409006"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            8 => array:3 [
              "identificador" => "bib9"
              "etiqueta" => "9"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Heuristic methods for imposing structure on ill-structured problems&#58; the structuring of medical diagnostics&#46; En&#58; Szolovits P&#44; editor&#46; Artificial intelligence in medicine&#46; Boulder&#58; Westview Press"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Pople HE&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Libro" => array:4 [
                        "titulo" => "Heuristic methods for imposing structure on ill-structured problems&#58; the structuring of medical diagnostics&#46; En&#58; Szolovits P&#44; editor&#46; Artificial intelligence in medicine&#46; Boulder&#58; Westview Press"
                        "fecha" => "1982"
                        "paginaInicial" => "119"
                        "paginaFinal" => "90"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            9 => array:3 [
              "identificador" => "bib10"
              "etiqueta" => "10"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Computer-based medical consultations: MYCIN Artifical Intelligence Series. New York: Elsevier Computer Science Library, 1976."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Computer-based medical consultations&#58; MYCIN Artifical Intelligence Series&#46; New York&#58; Elsevier Computer Science Library&#44; 1976&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Shortliffe EH&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            10 => array:3 [
              "identificador" => "bib11"
              "etiqueta" => "11"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "The HELP hospital information system&#58; update 1998&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:3 [
                            0 => "Gardner RM"
                            1 => "Pryor TA"
                            2 => "Warner HR&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Int J Med Inf"
                        "fecha" => "1999"
                        "volumen" => "54"
                        "paginaInicial" => "169"
                        "paginaFinal" => "82"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            11 => array:3 [
              "identificador" => "bib12"
              "etiqueta" => "12"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Medical diagnostic decision support systems-past&#44; present&#44; and future&#58; a threaded bibliography and brief commentary&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Miller RA&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:7 [
                        "tituloSerie" => "J Am Med Inform Assoc"
                        "fecha" => "1994"
                        "volumen" => "1"
                        "paginaInicial" => "8"
                        "paginaFinal" => "27"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/7719792"
                            "web" => "Medline"
                          ]
                        ]
                        "itemHostRev" => array:3 [
                          "pii" => "S0140673600042586"
                          "estado" => "S300"
                          "issn" => "01406736"
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            12 => array:3 [
              "identificador" => "bib13"
              "etiqueta" => "13"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Effect of computerized physician order entry and a team intervention on prevention of serious medication errors&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:7 [
                            0 => "Bates DW"
                            1 => "Leape LL"
                            2 => "Cullen DJ"
                            3 => "Laird N"
                            4 => "Petersen LA"
                            5 => "Teich JM"
                            6 => "et al&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "JAMA"
                        "fecha" => "1998"
                        "volumen" => "280"
                        "paginaInicial" => "1311"
                        "paginaFinal" => "6"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/9794308"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            13 => array:3 [
              "identificador" => "bib14"
              "etiqueta" => "14"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "The Arden Syntax for medical logic modules&#58; introduction&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Hripcsak G&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Computers in Biology and Medicine"
                        "fecha" => "1994"
                        "volumen" => "24"
                        "paginaInicial" => "329"
                        "paginaFinal" => "30"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            14 => array:3 [
              "identificador" => "bib15"
              "etiqueta" => "15"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Evaluation of patient-care protocol use by various providers&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:4 [
                            0 => "Grimm RH Jr"
                            1 => "Shimoni K"
                            2 => "Harlan WR Jr"
                            3 => "Estes EH Jr&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:2 [
                      "doi" => "10.1056/NEJM197503062921005"
                      "Revista" => array:6 [
                        "tituloSerie" => "N Engl J Med"
                        "fecha" => "1975"
                        "volumen" => "292"
                        "paginaInicial" => "507"
                        "paginaFinal" => "11"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/235089"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            15 => array:3 [
              "identificador" => "bib16"
              "etiqueta" => "16"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Evaluation of computer based clinical decision support system and risk chart for management of hypertension in primary care&#58; randomised controlled trial&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:5 [
                            0 => "Montgomery AA"
                            1 => "Fahey T"
                            2 => "Peters TJ"
                            3 => "MacIntosh C"
                            4 => "Sharp DJ&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "BMJ"
                        "fecha" => "2000"
                        "volumen" => "320"
                        "paginaInicial" => "686"
                        "paginaFinal" => "90"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/10710578"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            16 => array:3 [
              "identificador" => "bib17"
              "etiqueta" => "17"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Evaluating information technology in health care&#58; barriers and challenges&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:3 [
                            0 => "Heathfield H"
                            1 => "Pitty D"
                            2 => "Hanka R&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "BMJ"
                        "fecha" => "1998"
                        "volumen" => "316"
                        "paginaInicial" => "1959"
                        "paginaFinal" => "61"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/9641938"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            17 => array:3 [
              "identificador" => "bib18"
              "etiqueta" => "18"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "A new approach to computerized medical knowledge assessment&#46; En&#58; K&#46;-P&#46; Adlassnig&#44; Grabner G&#44; Bensgton S&#44; Hansen R&#44; editors&#46; Medical Informatics Europe 1991&#46; Lecture Notes in Medical Informatics&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:5 [
                            0 => "Carb&#243; JM"
                            1 => "Sancho JJ"
                            2 => "Miravitlles MJ"
                            3 => "Gonz&#225;lez JC"
                            4 => "Sanz F&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Berlín:Springer-Verlag,"
                        "fecha" => "1991"
                        "volumen" => "45"
                        "paginaInicial" => "615"
                        "paginaFinal" => "9"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            18 => array:3 [
              "identificador" => "bib19"
              "etiqueta" => "19"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Feasibility of asthma critic&#44; a decision-support system for asthma and COPD which generates patient-specific feedback on routinely recorded data in general practice&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:7 [
                            0 => "Kuilboer MM"
                            1 => "Van Wijk MA"
                            2 => "Mosseveld M"
                            3 => "Van der Does E"
                            4 => "Ponsioen BP"
                            5 => "De Jongste JC"
                            6 => "et al&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Fam Pract"
                        "fecha" => "2002"
                        "volumen" => "19"
                        "paginaInicial" => "442"
                        "paginaFinal" => "7"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12356691"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            19 => array:3 [
              "identificador" => "bib20"
              "etiqueta" => "20"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Validation of the medical expert system PNEUMON-IA&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:5 [
                            0 => "Verdaguer A"
                            1 => "Patak A"
                            2 => "Sancho JJ"
                            3 => "Sierra C"
                            4 => "Sanz F&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Comp Biom Res"
                        "fecha" => "1992"
                        "volumen" => "25"
                        "paginaInicial" => "511"
                        "paginaFinal" => "26"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            20 => array:3 [
              "identificador" => "bib21"
              "etiqueta" => "21"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Validation of the medical expert system RENOIR&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:5 [
                            0 => "Hern&#225;ndez C"
                            1 => "Sancho JJ"
                            2 => "Belmonte MA"
                            3 => "Sierra C"
                            4 => "Sanz F&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Comp Biomed Res"
                        "fecha" => "1994"
                        "volumen" => "27"
                        "paginaInicial" => "456"
                        "paginaFinal" => "71"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            21 => array:3 [
              "identificador" => "bib22"
              "etiqueta" => "22"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Effect of computerised evidence based guidelines on management of asthma and angina in adults in primary care&#58; cluster randomised controlled trial&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:7 [
                            0 => "Eccles M"
                            1 => "McColl E"
                            2 => "Steen N"
                            3 => "Rousseau N"
                            4 => "Grimshaw J"
                            5 => "Parkin D"
                            6 => "et al&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "BMJ"
                        "fecha" => "2002"
                        "volumen" => "325"
                        "paginaInicial" => "941"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12399345"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            22 => array:3 [
              "identificador" => "bib23"
              "etiqueta" => "23"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Involving users in the design and usability evaluation of a clinical decision support system&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:6 [
                            0 => "Carroll C"
                            1 => "Marsden P"
                            2 => "Soden P"
                            3 => "Naylor E"
                            4 => "New J"
                            5 => "Dornan T&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Comput Methods Programs Biomed"
                        "fecha" => "2002"
                        "volumen" => "69"
                        "paginaInicial" => "123"
                        "paginaFinal" => "35"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12100792"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            23 => array:3 [
              "identificador" => "bib24"
              "etiqueta" => "24"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Evaluation of two new ecological interface approaches for the anesthesia workplace&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:4 [
                            0 => "Jungk A"
                            1 => "Thull B"
                            2 => "Hoeft A"
                            3 => "Rau G&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "J Clin Monit Comput"
                        "fecha" => "2000"
                        "volumen" => "16"
                        "paginaInicial" => "243"
                        "paginaFinal" => "58"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12578071"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            24 => array:3 [
              "identificador" => "bib25"
              "etiqueta" => "25"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Evaluating informatics applications-clinical decision support systems literature review&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Kaplan B&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Int J Med Inf"
                        "fecha" => "2001"
                        "volumen" => "64"
                        "paginaInicial" => "15"
                        "paginaFinal" => "37"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            25 => array:3 [
              "identificador" => "bib26"
              "etiqueta" => "26"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Evaluating informatics applications-some alternative approaches&#58; theory&#44; social interactionism&#44; and call for methodological pluralism&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Kaplan B&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Int J Med Inf"
                        "fecha" => "2001"
                        "volumen" => "64"
                        "paginaInicial" => "39"
                        "paginaFinal" => "56"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            26 => array:3 [
              "identificador" => "bib27"
              "etiqueta" => "27"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Evaluation methods in medical informatics. New York: Springer-Verlag, 1997."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Evaluation methods in medical informatics&#46; New York&#58; Springer-Verlag&#44; 1997&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Friedman CP"
                            1 => "Wyatt JC&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            27 => array:3 [
              "identificador" => "bib28"
              "etiqueta" => "28"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Randomised vs historical controls for clinical trials&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Sacks H&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Am J Med"
                        "fecha" => "1982"
                        "volumen" => "72"
                        "paginaInicial" => "233"
                        "paginaFinal" => "40"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/7058834"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            28 => array:3 [
              "identificador" => "bib29"
              "etiqueta" => "29"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Considering clustering&#58; a methodological review of clinical decision support system studies&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:3 [
                            0 => "Chuang JH"
                            1 => "Hripcsak G"
                            2 => "Jenders RA&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:4 [
                        "tituloSerie" => "Proc AMIA Symp"
                        "fecha" => "2000"
                        "paginaInicial" => "146"
                        "paginaFinal" => "50"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            29 => array:3 [
              "identificador" => "bib30"
              "etiqueta" => "30"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Methods for evaluating area-wide and organisation-based interventions in health and health care&#58; a systematic review&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:5 [
                            0 => "Ukoumunne OC"
                            1 => "Gulliford MC"
                            2 => "Chinn S"
                            3 => "Sterne JA"
                            4 => "Burney PG&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Health Technol Assess"
                        "fecha" => "1999"
                        "volumen" => "3"
                        "paginaInicial" => "III"
                        "paginaFinal" => "92"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/10982317"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            30 => array:3 [
              "identificador" => "bib31"
              "etiqueta" => "31"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Effects of computer-based clinical decision support systems on physician performance and patient outcomes&#58; a systematic review&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:4 [
                            0 => "Hunt DL"
                            1 => "Haynes RB"
                            2 => "Hanna SE"
                            3 => "Smith K&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "JAMA"
                        "fecha" => "1998"
                        "volumen" => "280"
                        "paginaInicial" => "1339"
                        "paginaFinal" => "46"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/9794315"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            31 => array:3 [
              "identificador" => "bib32"
              "etiqueta" => "32"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Implementation of physician order entry&#58; user satisfaction and self-reported usage patterns&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Lee F&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "J Am Med Inf Assoc"
                        "fecha" => "1996"
                        "volumen" => "3"
                        "paginaInicial" => "42"
                        "paginaFinal" => "55"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            32 => array:3 [
              "identificador" => "bib33"
              "etiqueta" => "33"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Multifaceted support to improve clinical decision making in diabetes care&#58; a randomised controlled trial in general practice&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:7 [
                            0 => "Frijling BD"
                            1 => "Lobo CM"
                            2 => "Hulscher ME"
                            3 => "Akkermans RP"
                            4 => "Braspenning JC"
                            5 => "Prins A"
                            6 => "et al&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Diabet Med"
                        "fecha" => "2002"
                        "volumen" => "19"
                        "paginaInicial" => "836"
                        "paginaFinal" => "42"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12358871"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            33 => array:3 [
              "identificador" => "bib34"
              "etiqueta" => "34"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Practice based&#44; longitudinal&#44; qualitative interview study of computerised evidence based guidelines in primary care&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:5 [
                            0 => "Rousseau N"
                            1 => "McColl E"
                            2 => "Newton J"
                            3 => "Grimshaw J"
                            4 => "Eccles M&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "BMJ"
                        "fecha" => "2003"
                        "volumen" => "326"
                        "paginaInicial" => "314"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12574046"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            34 => array:3 [
              "identificador" => "bib35"
              "etiqueta" => "35"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Development and preliminary evaluation of a clinical guidance programme for the decision about prophylactic oophorectomy in women undergoing a hysterectomy&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:5 [
                            0 => "Pell I"
                            1 => "Dowie J"
                            2 => "Clarke A"
                            3 => "Kennedy A"
                            4 => "Bhavnani V&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Qual Saf Health Care"
                        "fecha" => "2002"
                        "volumen" => "11"
                        "paginaInicial" => "32"
                        "paginaFinal" => "8"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12078367"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            35 => array:3 [
              "identificador" => "bib36"
              "etiqueta" => "36"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Application of a computerized nursing care plan system in one hostpial&#58; experiences of ICU nurses in Taiwan&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:3 [
                            0 => "Lee TT"
                            1 => "Yeh CH"
                            2 => "Ho LH&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "J adv Nurs"
                        "fecha" => "2002"
                        "volumen" => "39"
                        "paginaInicial" => "61"
                        "paginaFinal" => "7"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12074752"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            36 => array:3 [
              "identificador" => "bib37"
              "etiqueta" => "37"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Evaluation of the suitability of a patient data management system for ICUs on a general ward&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:7 [
                            0 => "Junger A"
                            1 => "Michel A"
                            2 => "Benson M"
                            3 => "Quinzio LA"
                            4 => "Hafer J"
                            5 => "Hartmann B"
                            6 => "et al&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Int J Med Inf"
                        "fecha" => "2001"
                        "volumen" => "64"
                        "paginaInicial" => "57"
                        "paginaFinal" => "66"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            37 => array:3 [
              "identificador" => "bib38"
              "etiqueta" => "38"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Integration of clinical decision support with on-line encounter documentation for well child care at the point of care&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Porcelli PJ"
                            1 => "Lobach DF&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:4 [
                        "tituloSerie" => "Proc AMIA Symp"
                        "fecha" => "1999"
                        "paginaInicial" => "599"
                        "paginaFinal" => "603"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            38 => array:3 [
              "identificador" => "bib39"
              "etiqueta" => "39"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Identification of design features to enhance utilization and acceptance of systems for Internet-based decision support at the point of care&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:3 [
                            0 => "Gadd CS"
                            1 => "Baskaran P"
                            2 => "Lobach DF&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:4 [
                        "tituloSerie" => "Proc AMIA Symp"
                        "fecha" => "1998"
                        "paginaInicial" => "91"
                        "paginaFinal" => "5"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            39 => array:3 [
              "identificador" => "bib40"
              "etiqueta" => "40"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Collaborative problem-solving in telemedicine and evidence interpretation on a complex clinical case&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:3 [
                            0 => "Farand L"
                            1 => "Lafrance JP"
                            2 => "Arocha JF&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Int J Med Inf"
                        "fecha" => "1998"
                        "volumen" => "51"
                        "paginaInicial" => "153"
                        "paginaFinal" => "67"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            40 => array:3 [
              "identificador" => "bib41"
              "etiqueta" => "41"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "The diffusion of an evidence-based disease guidance system for managing stroke&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:6 [
                            0 => "Lau F"
                            1 => "Penn A"
                            2 => "Wilson D"
                            3 => "Noseworthy T"
                            4 => "Vincent D"
                            5 => "Doze S&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Int J Med Inf"
                        "fecha" => "1998"
                        "volumen" => "51"
                        "paginaInicial" => "107"
                        "paginaFinal" => "16"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            41 => array:3 [
              "identificador" => "bib42"
              "etiqueta" => "42"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Primary care guidelines on consultation practices&#58; the effectiveness of computerized versus paper-based versions&#46; A cluster randomized controlled trial among newly qualified primary care physicians&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:5 [
                            0 => "Jousimaa J"
                            1 => "Makela M"
                            2 => "Kunnamo I"
                            3 => "MacLennan G"
                            4 => "Grimshaw JM&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Int J Technol Assess Health Care"
                        "fecha" => "2002"
                        "volumen" => "18"
                        "paginaInicial" => "586"
                        "paginaFinal" => "96"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12391951"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            42 => array:3 [
              "identificador" => "bib43"
              "etiqueta" => "43"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Lessons from a randomized controlled trial designed to evaluate computer decision support software to improve the management of asthma&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:6 [
                            0 => "McCowan C"
                            1 => "Neville RG"
                            2 => "Ricketts IW"
                            3 => "Warner FC"
                            4 => "Hoskins G"
                            5 => "Thomas GE&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Med Inform Internet Med"
                        "fecha" => "2001"
                        "volumen" => "26"
                        "paginaInicial" => "191"
                        "paginaFinal" => "201"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/11706929"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            43 => array:3 [
              "identificador" => "bib44"
              "etiqueta" => "44"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "A computerized reminder system to increase the use of preventive care for hospitalized patients&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:6 [
                            0 => "Dexter PR"
                            1 => "Perkins S"
                            2 => "Overhage JM"
                            3 => "Maharry K"
                            4 => "Kohler RB"
                            5 => "McDonald CJ&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:2 [
                      "doi" => "10.1056/NEJMsa010181"
                      "Revista" => array:6 [
                        "tituloSerie" => "N Engl J Med"
                        "fecha" => "2001"
                        "volumen" => "345"
                        "paginaInicial" => "965"
                        "paginaFinal" => "70"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/11575289"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            44 => array:3 [
              "identificador" => "bib45"
              "etiqueta" => "45"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "A randomized controlled trial of point-of-care evidence to improve the antibiotic prescribing practices for otitis media in children&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:6 [
                            0 => "Christakis DA"
                            1 => "Zimmerman FJ"
                            2 => "Wright JA"
                            3 => "Garrison MM"
                            4 => "Rivara FP"
                            5 => "Davis RL&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Pediatrics"
                        "fecha" => "2001"
                        "volumen" => "107"
                        "paginaInicial" => "E15"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/11158489"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            45 => array:3 [
              "identificador" => "bib46"
              "etiqueta" => "46"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Implementing clinical guidelines on the treatment of diabetes mellitus in general practice&#46; Evaluation of effort&#44; process&#44; and patient outcome related to implementation of a computer-based decision support system&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:6 [
                            0 => "Hetlevik I"
                            1 => "Holmen J"
                            2 => "Kruger O"
                            3 => "Kristensen P"
                            4 => "Iversen H"
                            5 => "Furuseth K&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Int J Technol Assess Health Care"
                        "fecha" => "2000"
                        "volumen" => "16"
                        "paginaInicial" => "210"
                        "paginaFinal" => "27"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/10815366"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            46 => array:3 [
              "identificador" => "bib47"
              "etiqueta" => "47"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Efficacy of computerized decision support for mechanical ventilation&#58; restuls of a prospective multi-center randomized trial&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:7 [
                            0 => "East TD"
                            1 => "Heermann LK"
                            2 => "Bradshaw RL"
                            3 => "Lugo A"
                            4 => "Sailors RM"
                            5 => "Ershler L"
                            6 => "et al&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:4 [
                        "tituloSerie" => "Proc AMIA Symp"
                        "fecha" => "1999"
                        "paginaInicial" => "251"
                        "paginaFinal" => "5"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            47 => array:3 [
              "identificador" => "bib48"
              "etiqueta" => "48"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Computer network home care demonstration&#58; a randomized trial in persons living with AIDS&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Flatley-Brennan P&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Comput Biol Med"
                        "fecha" => "1998"
                        "volumen" => "28"
                        "paginaInicial" => "489"
                        "paginaFinal" => "508"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/9861507"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            48 => array:3 [
              "identificador" => "bib49"
              "etiqueta" => "49"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Inmediate benefits realized following implementation of physician order entry at an academic medical center&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:7 [
                            0 => "Mekhjian HS"
                            1 => "Kumar RR"
                            2 => "Kuehn L"
                            3 => "Bentley TD"
                            4 => "Teater P"
                            5 => "Thomas A"
                            6 => "et al&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "J Am Med Inform Assoc"
                        "fecha" => "2002"
                        "volumen" => "9"
                        "paginaInicial" => "529"
                        "paginaFinal" => "39"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12223505"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            49 => array:3 [
              "identificador" => "bib50"
              "etiqueta" => "50"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Handheld technology to improve patient care&#58; evaluating a support system for preference-based care planning at the bedside&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Ruland CM&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "J Am Med Inform Assoc"
                        "fecha" => "2002"
                        "volumen" => "9"
                        "paginaInicial" => "192"
                        "paginaFinal" => "201"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/11861634"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            50 => array:3 [
              "identificador" => "bib51"
              "etiqueta" => "51"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "The effects on clinician ordering patterns of a computerized decision support system for neuroradiology imaging studies&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Sanders DL"
                            1 => "Miller RA&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:4 [
                        "tituloSerie" => "Proc AMIA Symp"
                        "fecha" => "2001"
                        "paginaInicial" => "583"
                        "paginaFinal" => "7"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            51 => array:3 [
              "identificador" => "bib52"
              "etiqueta" => "52"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "A before-after study using OncoDoc&#44; a guideline-based decision support-system on breast cancer management&#58; impact upon physician prescribing behaviour&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:5 [
                            0 => "Bouaud J"
                            1 => "Seroussi B"
                            2 => "Antoine EC"
                            3 => "Zelek L"
                            4 => "Spielmann M&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Medinfo"
                        "fecha" => "2001"
                        "volumen" => "10"
                        "paginaInicial" => "420"
                        "paginaFinal" => "4"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            52 => array:3 [
              "identificador" => "bib53"
              "etiqueta" => "53"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Clinicians&#39; response to computerized detection of infections&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:4 [
                            0 => "Rocha BH"
                            1 => "Christenson JC"
                            2 => "Evans RS"
                            3 => "Gardner RM&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "J Am Med Inform Assoc"
                        "fecha" => "2001"
                        "volumen" => "8"
                        "paginaInicial" => "117"
                        "paginaFinal" => "25"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/11230380"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            53 => array:3 [
              "identificador" => "bib54"
              "etiqueta" => "54"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Evaluation of a decision-support system for preoperative staging of prostate cancer&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:6 [
                            0 => "Chang PL"
                            1 => "Li YC"
                            2 => "Wang TM"
                            3 => "Huang ST"
                            4 => "Hsieh ML"
                            5 => "Tsui KH&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Med Decis Making"
                        "fecha" => "1999"
                        "volumen" => "19"
                        "paginaInicial" => "419"
                        "paginaFinal" => "27"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/10520680"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
          ]
        ]
      ]
    ]
  ]
  "idiomaDefecto" => "es"
  "url" => "/00257753/00000122000000S1/v0_201307292058/13057545/v0_201307292100/es/main.assets"
  "Apartado" => array:4 [
    "identificador" => "16884"
    "tipo" => "SECCION"
    "es" => array:2 [
      "titulo" => "T&#233;cnicas emergentes"
      "idiomaDefecto" => true
    ]
    "idiomaDefecto" => "es"
  ]
  "PDF" => "https://static.elsevier.es/multimedia/00257753/00000122000000S1/v0_201307292058/13057545/v0_201307292100/es/2v122nSupl.1a13057545pdf001.pdf?idApp=UINPBA00004N&text.app=https://www.elsevier.es/"
  "EPUB" => "https://multimedia.elsevier.es/PublicationsMultimediaV1/item/epub/13057545?idApp=UINPBA00004N"
]

Información del artículo

ISSN: 00257753
Idioma original: Español

Datos actualizados diariamente

año/Mes	Html	Pdf	Total

2024 Noviembre	13	5	18
2024 Octubre	405	116	521
2024 Septiembre	381	36	417
2024 Agosto	287	34	321
2024 Julio	249	30	279
2024 Junio	216	31	247
2024 Mayo	257	32	289
2024 Abril	210	39	249
2024 Marzo	251	41	292
2024 Febrero	325	74	399
2024 Enero	221	16	237
2023 Diciembre	157	24	181
2023 Noviembre	241	39	280
2023 Octubre	443	46	489
2023 Septiembre	186	11	197
2023 Agosto	160	40	200
2023 Julio	166	46	212
2023 Junio	223	184	407
2023 Mayo	315	57	372
2023 Abril	231	47	278
2023 Marzo	286	74	360
2023 Febrero	150	71	221
2023 Enero	109	10	119
2022 Diciembre	124	17	141
2022 Noviembre	172	62	234
2022 Octubre	129	40	169
2022 Septiembre	193	38	231
2022 Agosto	97	67	164
2022 Julio	75	17	92
2022 Junio	119	17	136
2022 Mayo	92	8	100
2022 Abril	127	39	166
2022 Marzo	146	37	183
2022 Febrero	115	13	128
2022 Enero	85	12	97
2021 Diciembre	72	17	89
2021 Noviembre	93	34	127
2021 Octubre	107	23	130
2021 Septiembre	109	28	137
2021 Agosto	85	24	109
2021 Julio	35	10	45
2021 Junio	58	13	71
2021 Mayo	107	31	138
2021 Abril	637	42	679
2021 Marzo	94	18	112
2021 Febrero	73	11	84
2021 Enero	45	17	62
2020 Diciembre	44	18	62
2020 Noviembre	32	15	47
2020 Octubre	10	4	14
2019 Marzo	3	0	3
2018 Diciembre	2	2	4
2018 Mayo	0	2	2
2018 Abril	1	0	1
2017 Diciembre	1	0	1
2017 Noviembre	19	1	20
2017 Octubre	101	7	108
2017 Septiembre	97	8	105
2017 Agosto	58	18	76
2017 Julio	160	12	172
2017 Junio	159	19	178
2017 Mayo	236	16	252
2017 Abril	146	7	153
2017 Marzo	234	28	262
2017 Febrero	368	10	378
2017 Enero	108	4	112
2016 Diciembre	113	9	122
2016 Noviembre	449	18	467
2016 Octubre	179	18	197
2016 Septiembre	163	16	179
2016 Agosto	83	16	99
2016 Julio	70	1	71
2016 Junio	120	19	139
2016 Mayo	161	14	175
2016 Abril	110	17	127
2016 Marzo	69	23	92
2016 Febrero	76	14	90
2016 Enero	65	22	87
2015 Diciembre	65	15	80
2015 Noviembre	99	21	120
2015 Octubre	85	17	102
2015 Septiembre	83	16	99
2015 Agosto	95	15	110
2015 Julio	97	8	105
2015 Junio	59	9	68
2015 Mayo	78	17	95
2015 Abril	90	63	153
2015 Marzo	104	13	117
2015 Febrero	183	7	190
2015 Enero	67	4	71
2014 Diciembre	126	5	131
2014 Noviembre	117	5	122
2014 Octubre	83	5	88
2014 Septiembre	72	4	76
2014 Agosto	48	3	51
2014 Julio	79	5	84
2014 Junio	82	6	88
2014 Mayo	60	3	63
2014 Abril	40	2	42
2014 Marzo	57	3	60
2014 Febrero	61	3	64
2014 Enero	78	2	80
2013 Diciembre	58	5	63
2013 Noviembre	74	2	76
2013 Octubre	51	2	53
2013 Septiembre	46	3	49
2013 Agosto	46	5	51
2013 Julio	46	4	50
2004 Febrero	1623	0	1623

Mostrar todo

Indexada en:

Síguenos:

Suscribirse:

Estadísticas

Indexada en:

Síguenos:

Suscribirse:

Estadísticas

Suscríbase a la newsletter