Publicado el 22nd Sep 2019

El medio de investigación francés Mediacités reveló recientemente cómo las fallas de diseño en la interfaz de usuario del software utilizado en el segundo hospital más grande del país ponen en peligro la vida de los pacientes. Dicho software se utiliza para recopilar los datos que alimentan los algoritmos de aprendizaje automático, generando preguntas sobre la eficiencia de las soluciones de inteligencia artificial en el sector de la salud y lo que significan para la salud de los pacientes.

El director del hospital público de Hyères, una ciudad de 60,000 habitantes en el sur de Francia, se quejó recientemente de fallas en el diseño del principal software de administración de información del hospital, llamado "fácilmente", informó Mediacités. La interfaz frontal del software está tan mal diseñada, escribió, que los nombres de ciertos medicamentos se truncan, lo que dificulta a las enfermeras ver qué producto exacto recetó el médico. El software también contenía errores de etiquetado para ciertos medicamentos, lo que aumenta el riesgo de que los pacientes reciban las dosis incorrectas. Estas fallas causaron al menos tres incidentes graves, agregó.

Fácilmente, el software en uso en Hyères, funciona cerca de 100 hospitales públicos en Francia. Cuando se informan problemas graves de usabilidad, no es raro que pase más de un año antes de que se solucione el problema.

El software mal programado puede ser fatal. En 2011, una paciente falleció después de recibir penicilina, a la que tenía una fuerte alergia. La información estaba en su archivo, pero el software del hospital no alertó al médico de guardia sobre esto, informó Le Parisien (el hospital luego fue condenado por homicidio involuntario).

El sector de la salud es una prioridad de la estrategia nacional de IA, en Francia y en otros países europeos. Si bien la toma de decisiones automatizada se limita actualmente a proyectos piloto en ciertos hospitales, el estado extremo del software de gestión de la información en Francia genera dudas sobre la calidad de los algoritmos de aprendizaje automático de datos sobre los que se puede construir.

Eclampsia: cuatro de cada cinco casos fueron falsos positivos

La columna vertebral de la información médica francesa se denomina sistema nacional de datos de salud (SNDS en sus siglas en francés). Se creó en 2016 y combina varias bases de datos creadas en la década de 1990, incluidas las historias de todos los pacientes y todos los procedimientos médicos realizados en los hospitales. Si bien SNDS tiene varios objetivos, el informe Villani (p.200 ff.), Entregado en 2017 al gobierno y que actúa como una especie de estrategia nacional de inteligencia artificial, exigió el uso de SNDS como la base de una futura ventanilla única que alimentaría datos a algoritmos de inteligencia artificial.

Pero los datos en SNDS tienen muchos problemas de calidad, y nadie sabe con precisión cuántos.

La Dra. Anne Chantry, investigadora del instituto nacional francés de investigación médica y de salud (Inserm), dirigió un estudio de eventos maternos graves en cuatro hospitales franceses con base en datos de 2006 y 2007. Ella demostró que algunas condiciones eran muy subregistrado en la base de datos central. Ella y sus colegas evaluaron la calidad de la tubería de datos comparando los puntos de datos almacenados en el sistema de gestión central con los archivos originales del hospital. No cuestionaron el diagnóstico original. Entre los 84 casos codificados como eclampsia (convulsiones o coma durante el embarazo o poco después del nacimiento), 67 fueron en realidad casos de preeclampsia, una condición de presión arterial alta (entre otros síntomas) que podría conducir a la eclampsia. Por el contrario, la hemorragia posparto había sido codificada correctamente 129 veces, pero 75 casos adicionales no.

Si bien algunas de las otras condiciones que se verificaron en este estudio mostraron tasas de error más bajas, sin embargo, demostró que los datos recopilados a nivel nacional podrían verse gravemente afectados por falsos negativos y falsos positivos. Las tasas de error también variaron significativamente entre los hospitales. En una entrevista telefónica, el Dr. Chantry señaló que, si bien la digitalización del mantenimiento de registros de un hospital estaba relacionada con menos errores de codificación, el efecto tenía "si y solo si" alguien con conocimiento experto revisaba los datos, especialmente en casos complejos.

Es preocupante que se hayan realizado muy pocas investigaciones para evaluar la calidad de los datos en SNDS. Es probable que un cambio en la forma en que se financian los hospitales empeore la calidad de los datos. Para romper el amiguismo que plagaba la financiación de la salud, el gobierno francés en la década de 2000 se alejó de la financiación a tanto alzado en favor de los pagos basados ??en procedimientos. Los pagos se realizan en función de los datos informados a SNDS, lo que genera un conflicto de intereses para los hospitales, divididos entre informar la verdad y los datos que maximizan los ingresos.

El Dr. Frédéric Pierru, un sociólogo de la salud en la universidad de Lille, explicó en una entrevista por correo electrónico que los hospitales participan en la "optimización de informes", que también llamó trampa generalizada, a veces mediante la contratación de contratistas externos que se especializan en aumentar los ingresos a través de informes creativos. La crueldad con la que se lleva a cabo dicha optimización es tal que en 2012, el hospital Saint-Malo, en Bretaña, despidió a un médico que se opuso a tales prácticas en bases éticas.

Basura dentro basura fuera

En la investigación de la eclampsia, le tomó a media docena de académicos varias semanas de trabajo manual para verificar 396 casos. Medio millón de casos nuevos ingresan al sistema cada semana, haciendo imposible la corrección manual post-hoc.

La automatización parece una solución mal adaptada al problema. Cuando la Dra. Chantry compartió sus hallazgos con los hospitales que investigó, se contactaron minuciosamente con todos los profesionales involucrados en el proceso de recopilación de datos uno por uno, dijo. Los hospitales llegaron a la conclusión de que no podían automatizar ninguna mejora en la calidad de los datos.

Un adagio ampliamente conocido de la informática dice que si la basura se ingresa en un algoritmo, la basura se generará. AlgorithmWatch contactó a las oficinas de prensa de IBM y Microsoft, que venden soluciones de inteligencia artificial a hospitales en Francia, para preguntarles si utilizaron datos de SNDS y si sabían de sus deficiencias. Microsoft, en particular, anunció en 2018 que se asoció con los hospitales públicos de Lyon para "dinamizar" herramientas como Easily con el fin de, por ejemplo, utilizar AI para asistencia de diagnóstico. Al atenuar estas audaces declaraciones, Antoine Denis de Microsoft France dijo que la compañía solo estaba proporcionando servicios de computación en la nube. IBM declinó hacer comentarios.

Los profesionales de la salud en Dinamarca ya señalaron los datos de capacitación de IBM Watson como la fuente de muchos errores, informó el semanario danés Ingeniøren. Después de un ensayo en el Rigshospitalet de Copenhague durante el cual la solución de diagnóstico automatizado de IBM no impresionó, los médicos mencionaron que la dependencia del software de los datos del centro oncológico Memorial Sloan Kettering de la ciudad de Nueva York, que no se ajustaba a la realidad de Dinamarca, podría ser la culpable.

Si bien la inteligencia artificial es el foco de mucha atención en la industria de la salud, ya sea disfrazado de salvador o de hombre del saco, los resultados que arroja dependen de la calidad de los datos subyacentes que utiliza para alimentar sus algoritmos. La buena calidad de los datos, a su vez, tiene mucho que ver con la interfaz de usuario del software con el que los profesionales de la salud interactúan en sus tareas cotidianas. Cualquier política de IA sólida debe tener en cuenta el meollo del software, como Easily, incluido el problema aparentemente mundano de los campos truncados.