Las máquinas cometen errores impredecibles en medicina, que difieren significativamente de los que cometen los humanos. Liu y sus colegas afirman que los errores cometidos por las herramientas de IA pueden tener consecuencias de gran alcance debido a las relaciones complejas y opacas entre el análisis y el resultado clínico. Dado que hay poco control humano sobre cómo una IA genera resultados y que el conocimiento clínico no es un requisito previo en el desarrollo de IA, existe el riesgo de que una IA aprenda correlaciones falsas que parecen válidas durante el entrenamiento pero que no son confiables cuando se aplican a situaciones del mundo real.
Lauren Oakden-Rayner y sus colegas analizaron el rendimiento de una IA en una variedad de características relevantes para la detección de fracturas de cadera. Esta auditoría algorítmica preclínica identificó barreras para el uso clínico, incluida una disminución de la sensibilidad en el punto de operación preespecificado. Este estudio destacó varios "modos de falla", que es la propensión de una IA a fallar recurrentemente en ciertas condiciones. Oakden-Rayner le dijo a The Lancet Digital Health que su estudio mostró que “los modos de falla de los sistemas de IA pueden parecer extraños desde una perspectiva humana. Tomemos, por ejemplo, en la auditoría de fractura de cadera (figura 5), ??el reconocimiento de que la IA no detectó una fractura extremadamente desplazada... el tipo de imagen que incluso una persona común reconocería como completamente anormal". Estos errores pueden afectar drásticamente la confianza del médico y del paciente en la IA. Otro ejemplo que demuestra la necesidad de auditoría se destacó el mes pasado en una investigación realizada por STAT y el Instituto de Tecnología de Massachusetts, que encontró que un algoritmo de salud EPIC utilizado para predecir el riesgo de sepsis en los EE. ·53 AUC, durante 10 años.
Este deterioro con el tiempo fue causado por cambios en el sistema de codificación del hospital, mayor diversidad y volumen de datos de pacientes y cambios en los comportamientos operativos de los cuidadores. Hubo poca o ninguna supervisión de la herramienta de inteligencia artificial una vez que salió al mercado, lo que podría causar daños a los pacientes en el hospital. Liu comentó: "sin la capacidad de observar y aprender de los errores algorítmicos, el riesgo es que continúe sucediendo y no hay responsabilidad por los daños que resulten".
La necesidad de una profunda auditoría
La auditoría de la IA médica es esencial; pero ¿de quién es la responsabilidad de garantizar que la IA sea segura de usar? Algunos expertos creen que los desarrolladores de IA son responsables de brindar orientación sobre la administración de sus herramientas, incluido cómo y cuándo verificar el rendimiento del sistema e identificar las vulnerabilidades que pueden surgir después de que se pongan en práctica. Otros argumentan que no toda la responsabilidad recae en los desarrolladores de IA, y los proveedores de salud deben probar los modelos de IA en otros datos para verificar su utilidad y evaluar las posibles vulnerabilidades. Liu dice: “Necesitamos equipos clínicos que comiencen a desempeñar un papel activo en la supervisión algorítmica de la seguridad. Están mejor posicionados para definir cómo se ve el éxito y el fracaso para su institución de salud y su cohorte de pacientes”.
Hay tres desafíos que superar para garantizar que la auditoría de IA se implemente con éxito. Primero, en la práctica, la auditoría requerirá profesionales con experiencia clínica y técnica para investigar y prevenir errores de IA y para interrogar cuidadosamente los errores antes y durante la implementación en el mundo real. Sin embargo, los expertos con conjuntos de habilidades computacionales y clínicas aún no son comunes. Los institutos de atención de la salud, las empresas de IA y los gobiernos deben invertir en mejorar las habilidades de los trabajadores de la salud para que estos expertos puedan convertirse en una parte integral del proceso de desarrollo de la IA médica.
En segundo lugar, los organismos reguladores clave deben hacer cumplir los estándares de toda la industria para monitorear las herramientas médicas de IA a lo largo del tiempo. Los investigadores están desarrollando herramientas para identificar cuándo un algoritmo está mal calibrado debido a cambios en los datos o el entorno, pero estas herramientas deben respaldarse de manera sostenida y estandarizada, dirigida por los reguladores, los sistemas de salud y los desarrolladores de IA.
En tercer lugar, el problema principal que puede exacerbar los errores en la IA es la falta de transparencia de los datos, el código y los parámetros debido a problemas de propiedad intelectual. Liu y sus colegas enfatizan que gran parte del beneficio que proporcionaría el software y el acceso a los datos se puede obtener a través de un portal web con la capacidad de probar el modelo con nuevos datos y recibir los resultados del modelo. Oakden-Rayner dijo: “Los desarrolladores de IA tienen la responsabilidad de facilitar la auditoría para los médicos, especialmente proporcionando detalles claros de cómo funciona su sistema y cómo se construyó”.
Fuente: The Lancet