IA en manos de usuarios imperfectos

npj Digital Medicine volumen 5, Número de artículo: 197 (2022) Citar este artículo

5965 Accesos

3 citas

35 Altmetric

Detalles de métricas

A medida que el uso de la inteligencia artificial y el aprendizaje automático (AI/ML) continúa expandiéndose en el cuidado de la salud, se ha prestado mucha atención a mitigar el sesgo en los algoritmos para garantizar que se empleen de manera justa y transparente. Se ha prestado menos atención a abordar el sesgo potencial entre los usuarios humanos de AI/ML o los factores que influyen en la confianza del usuario. Abogamos por un enfoque sistemático para identificar la existencia y los impactos de los sesgos de los usuarios al usar herramientas de IA/ML y solicitamos el desarrollo de características de diseño de interfaz integradas, aprovechando los conocimientos de la ciencia de la decisión y la economía del comportamiento, para empujar a los usuarios hacia una visión más crítica y reflexiva. toma de decisiones usando AI/ML.

El uso de la inteligencia artificial y el aprendizaje automático (AI/ML) continúa expandiéndose en el cuidado de la salud, con una gran promesa para mejorar la toma de decisiones clínicas personalizadas1. A medida que las herramientas de IA/ML se generalizan, se ha prestado mucha atención a mitigar el sesgo en los algoritmos para garantizar que se empleen de manera justa y transparente. Sin embargo, se ha prestado menos atención a la mitigación del sesgo potencial entre los usuarios humanos de IA. A medida que los sistemas automatizados se vuelvan más sofisticados en su capacidad para predecir, detectar o diagnosticar enfermedades, aumentará la tentación de confiar en ellos para la toma de decisiones clínicas2. Sin embargo, los factores que influyen en la confianza de los usuarios en la IA no se comprenden bien, y los profesionales de la salud carecen de pautas sobre el papel que la IA debería desempeñar en la toma de decisiones. Abogamos por un enfoque más sistemático para identificar la existencia y los impactos de los sesgos de los usuarios al usar herramientas de IA y sus efectos en la toma de decisiones clínicas y los resultados de los pacientes. Específicamente, solicitamos una mayor investigación empírica sobre cómo mitigar los sesgos con resultados negativos anticipados mediante el uso de funciones de diseño de interfaz integradas, aprovechando los conocimientos de la ciencia de decisiones y la economía del comportamiento, para empujar a los usuarios hacia una toma de decisiones más crítica y reflexiva utilizando herramientas de IA.

Reconociendo los daños potenciales de una dependencia excesiva de los sistemas de IA en el contexto de la toma de decisiones de alto riesgo, los reguladores y los formuladores de políticas parecen respaldar mantener a los humanos "al tanto" y centrar sus planes de acción y recomendaciones en mejorar la seguridad de los sistemas de IA/ML, como a través de precisión computacional mejorada3,4,5. Mientras tanto, los desarrolladores están innovando nuevas formas de abordar la confiabilidad, la responsabilidad y la explicabilidad de la IA/ML de "caja negra" que implica aprendizaje profundo o redes neuronales con importantes limitaciones de interpretación6,7. Estos objetivos parecen ser particularmente importantes cuando se usa IA/ML en la toma de decisiones clínicas, no solo porque los costos de las clasificaciones erróneas y el daño potencial para los pacientes son altos, sino también porque el escepticismo indebido o la falta de confianza pueden reducir la adopción de nuevas tecnologías prometedoras de IA por parte de las partes interesadas. e inhibir su uso y disponibilidad fuera de los entornos experimentales.

Sin embargo, uno de nosotros (SG en Babic et al.8) advirtió recientemente a los profesionales de la salud que desconfíen de las explicaciones que se les presentan sobre los modelos de IA/ML de caja negra.

AI/ML explicable... ofrece justificaciones post hoc generadas algorítmicamente de predicciones de caja negra, que no son necesariamente las razones reales detrás de esas predicciones o están relacionadas causalmente con ellas. En consecuencia, la aparente ventaja de la explicabilidad es un "oro de los tontos" porque es poco probable que las racionalizaciones post hoc de una caja negra contribuyan a nuestra comprensión de su funcionamiento interno. En cambio, es probable que nos quedemos con la falsa impresión de que lo entendemos mejor".

En consecuencia, en lugar de centrarse en la explicabilidad como una condición estricta para la IA/ML en el cuidado de la salud, los reguladores como la Administración de Drogas y Alimentos de los EE. UU. (FDA) deberían centrarse de manera más holística en aquellos aspectos de los sistemas de IA/ML que inciden directamente en su seguridad y eficacia: especialmente, cómo funcionan estos sistemas en manos de sus usuarios previstos. Si bien la FDA publicó recientemente su guía final que reconoce explícitamente los riesgos del sesgo de automatización9 y está trabajando en un nuevo marco regulatorio para las modificaciones al software basado en IA/ML como dispositivo médico (es decir, software que en sí mismo está clasificado como dispositivo médico en la sección 201(h)(1) de la Ley Federal de Alimentos, Medicamentos y Cosméticos de EE. UU.10), Babic et al. argumentan que los reguladores como la FDA también deberían, al menos en algunos casos, enfatizar los ensayos clínicos bien diseñados para evaluar los factores humanos y otros resultados del uso de la IA en entornos del mundo real. Gerke et al.11,12 argumentan de manera similar que se deben probar prospectivamente más herramientas algorítmicas para comprender su desempeño en una variedad de contextos de procedimiento que reflejan la configuración de uso previsto y las interacciones humano-IA. El tipo de prueba de usuario que sugieren estos académicos va más allá de las pruebas típicas de usabilidad y aceptabilidad que caracterizan la tubería desde la versión beta hasta una versión más finalizada de una herramienta de IA. Ese tipo de prueba se realiza con mayor frecuencia de forma heurística13, utilizando un pequeño grupo de evaluadores para examinar la interfaz y juzgar su conformidad con los principios de usabilidad relevantes (p. ej., interpretabilidad, utilidad percibida, navegabilidad, satisfacción con el uso, etc.). Si bien estas métricas a menudo son útiles para evaluar las experiencias de usuario próximas (es decir, pruebas de "UX") con la interfaz de una herramienta, se necesita un nivel más profundo de pruebas de usuario14 para ayudar a identificar y abordar posibles fuentes de sesgo "emergente" o "contextual"15 que surgen debido a desajustes entre el diseño de un producto y las características de sus usuarios, casos de uso o entornos de uso. Estos desajustes pueden ser más difíciles de predecir y explicar en el caso de las herramientas de IA que en el caso de los dispositivos médicos tradicionales o productos farmacéuticos cuyo rendimiento depende menos de las interacciones e interpretaciones del usuario12, o cuyos algoritmos adaptativos cambian continuamente16. La mitigación de estos desajustes solo se puede lograr ampliando nuestra noción de pruebas de usuario más allá de su enfoque actual en las métricas de rendimiento de la IA y la usabilidad próxima para examinar los factores humanos y sistémicos que dan forma a cómo los sistemas de IA se aplican en la práctica17,18 por parte de usuarios imperfectos en entornos imperfectos. Además, las pruebas no tienen que limitarse a simplemente observar cómo las personas en varios contextos interactúan con las herramientas de IA; también podemos probar la mejor manera de dar forma a esas interacciones utilizando los conocimientos existentes de las ciencias del comportamiento, como discutimos a continuación.

En esta etapa de la historia de las relaciones hombre-máquina, casi todo el mundo es un usuario imperfecto de la IA. Con esto queremos decir imperfectamente racional: nuestras interpretaciones e integración de información en la toma de decisiones, incluidos los conocimientos derivados de la IA, son susceptibles a formas bien documentadas de sesgo19,20. Sin embargo, no todos los sesgos son igualmente destacados o relevantes para el uso seguro, eficaz y responsable de la IA. Tanto desde la perspectiva legal como ética, los sesgos cognitivos más importantes son aquellos que afectan la medida en que los humanos confían en la IA en su toma de decisiones de manera que introducen riesgos. La confianza cae a lo largo de un espectro de rechazo total o escepticismo de la IA en un extremo a una confianza excesiva "ciega" o aceptación de las conclusiones derivadas de la IA en el otro. Ambos tipos de error pueden tener un impacto negativo en los resultados de los pacientes, y la falta de confianza puede conducir a errores de omisión y una confianza excesiva en los errores de comisión.

La ubicación de los tomadores de decisiones clínicas en este espectro depende de cuánto confíen en un sistema de IA. La literatura de la antropología y la psicología del desarrollo documenta los hallazgos de que la confianza humana está influenciada por la forma en que otras personas se comportan en contextos de reciprocidad e intercambio21, no solo de bienes y servicios sino también de comportamientos de apego22,23 (p. ej., afecto, crianza). La lealtad24, la integridad25 y la competencia26 juegan papeles importantes en la confianza entre humanos, cada vez más conceptualizada como una capacidad evolucionada para ayudarnos a navegar dinámicas sociales complejas y mitigar el riesgo personal al comprender en qué entidades y objetos se puede confiar bajo qué contingencias27,28,29. Si bien sabemos mucho sobre la confianza en las relaciones humanas, apenas estamos comenzando a comprender cómo y en qué circunstancias los humanos confían en las máquinas. La literatura sobre interacciones hombre-máquina, o investigación de "factores humanos", ha existido durante décadas en otros dominios, incluidos el militar, el aeroespacial y la robótica; pero solo en la última década las preguntas sobre las interacciones humanas con los sistemas autónomos (por ejemplo, el sesgo de automatización) comenzaron a animar el campo de la IA en general y la ética de la IA en particular2,11.

La confianza juega un papel particularmente crítico cuando las decisiones se toman en contextos de incertidumbre. La incertidumbre, por supuesto, es una característica central de la mayoría de las decisiones clínicas, particularmente para condiciones (p. ej., COVID-1930) o tratamientos (p. ej., estimulación cerebral profunda31 o terapias génicas32) que carecen de un largo historial de resultados observados. Como describen Wang y Busemeyer (2021)33, las situaciones de elección "inciertas" se pueden distinguir de las "arriesgadas" en que las decisiones arriesgadas tienen una gama de resultados con ventajas o probabilidades conocidas. Si lanzas una moneda, sabemos que tenemos un 50 % de posibilidades de que salga cara. Sin embargo, apostar a cara conlleva un alto nivel de riesgo, específicamente, un 50% de posibilidades de perder. Los escenarios de toma de decisiones inciertos, por otro lado, no tienen probabilidades de resultado bien conocidas o acordadas. Esto también hace que los contextos de toma de decisiones inciertos sean riesgosos, pero esos riesgos no se conocen lo suficiente como para permitir una toma de decisiones racional. En contextos de escasez de información, las decisiones críticas se toman necesariamente utilizando un razonamiento imperfecto o el uso de "heurísticas para llenar vacíos" que pueden conducir a varios sesgos cognitivos predecibles20. Los individuos pueden deferir a una figura de autoridad (sesgo de mensajero34, sesgo de autoridad35); pueden mirar para ver qué están haciendo los demás (efectos de "vagabundeo" y norma social35,36); o puede cometer errores de pronóstico afectivo, proyectando estados emocionales actuales sobre el yo futuro37. La urgencia percibida o real de las decisiones clínicas puede agregar más sesgos, como la aversión a la ambigüedad (preferencia por los riesgos conocidos frente a los desconocidos38) o el aplazamiento al statu quo o predeterminado39, y la aversión a las pérdidas (pesando más las pérdidas que las ganancias de la misma magnitud40). Estos sesgos están destinados a mitigar los riesgos de lo desconocido cuando se deben tomar decisiones rápidas, pero no siempre nos acercan a llegar al "mejor" curso de acción si se dispusiera de toda la información posible.

Una de las ventajas más convincentes de la IA para la atención médica es reducir esta incertidumbre, por ejemplo, al calcular una estimación personalizada de que la condición de un paciente empeorará después de X cantidad de tiempo o disfrutará de un beneficio de supervivencia de Y cantidad de años después de la intervención. Sin embargo, el hecho de que la IA contribuya con éxito a reducir la incertidumbre aún depende en gran medida de cómo se interpreten y actúen las estimaciones. Una pequeña cantidad de estudios que examinan los sesgos de decisión cuando se usa IA han identificado que los médicos de todos los niveles de experiencia a menudo no descartan los consejos inexactos generados por sistemas computarizados (sesgo de automatización41,42,43,44,45), pero también por humanos, lo que indica que las personas son generalmente susceptibles a las sugerencias. La tendencia a seguir incluso los malos consejos parece ser aún más frecuente entre los participantes con menos experiencia en el campo46,47. Recibir tales consejos de los sistemas de IA puede generar más peligros al involucrar potencialmente otros sesgos cognitivos, como los efectos de anclaje y el sesgo confirmatorio, en los que los usuarios están preparados para una determinada perspectiva y orientan su atención de manera desproporcionada hacia la información que la confirma48. Otros estudios han encontrado que los participantes son reacios a seguir los consejos algorítmicos cuando toman decisiones finales (sesgo algorítmico)49,50,51, pero este resultado es inconsistente con otros estudios, que muestran que las personas a veces prefieren el juicio algorítmico al humano46,47,52.

Dada la diversidad de sesgos cognitivos y contingencias bajo las cuales es probable que surjan, se necesita más investigación sistemática para documentar qué factores destacados dan forma a cómo integramos la IA en las decisiones y cuál es la mejor manera de calibrar la confianza para que coincida con lo que los sistemas de IA realmente pueden hacer ( ej., predecir algo con un grado dado de probabilidad y precisión). En robótica, la "calibración de confianza" deficiente entre humanos y máquinas se considera una vulnerabilidad central y un predictor clave de fallas en el rendimiento53,54. Del mismo modo, poner la IA en manos de los usuarios sin medir, controlar o intentar calibrar sistemáticamente la confianza probablemente exacerbe en lugar de reducir los ya altos niveles de incertidumbre que caracterizan estos contextos de toma de decisiones, con consecuencias potencialmente graves.

El impulso actual55,56,57 para mejorar la alfabetización de los profesionales de la salud en IA/ML destaca la necesidad de reemplazar la variación idiosincrásica con un razonamiento informado sobre el papel que debe desempeñar la IA en la toma de decisiones clínicas. Sin embargo, es difícil saber qué tipo de orientación deben recibir los profesionales de la salud cuando se han extraído tan pocas conclusiones empíricas sobre cómo se debe usar la IA en la toma de decisiones clínicas (o en cualquier otra). Tomando lecciones de las herramientas algorítmicas que han demostrado reproducir sesgos sociales negativos en la predicción de factores como la reincidencia criminal58, el estado de salud y la asegurabilidad1, y el riesgo de enfermedad (p. ej., cáncer de piel)59, muchos académicos argumentan60,61 que las herramientas de IA no deberían reemplazar ninguna decisión que se consideran "de alto riesgo": aquellos con impactos significativos relacionados con la salud o la justicia. En el entorno sanitario, algunos expertos recomiendan que incluso la IA con una capacidad bien demostrada para identificar y diagnosticar enfermedades de forma autónoma se confirme con pruebas dirigidas por humanos62,63. Se han llegado a conclusiones similares sobre los sistemas de armas autónomos (AWS) en aplicaciones militares64 y marítimas (p. ej., envíos no tripulados65), con debates en curso sobre si mantener a los humanos "en" el ciclo o "en" el ciclo, este último sugiere que los humanos pueden no es necesario que desempeñe un papel activo en la toma de decisiones, pero aún puede (y debe) intervenir o ser capaz de apelar a las inferencias de la IA cuando sus conclusiones contradigan las de AWS (si se detectan a tiempo).

Si estamos de acuerdo en que los humanos aún deben estar "dentro" o "en" el circuito, ¿cómo se debe esperar que los profesionales de la salud reaccionen a la información derivada de la IA? La recomendación de proceder con cautela, si bien está justificada, parece demasiado amplia para adaptarse a las necesidades de decisión de los médicos que utilizan una poderosa IA para informar decisiones médicas complejas. Existe un acuerdo cada vez mayor de que la competencia en IA (incluidas sus deficiencias relacionadas con el sesgo, la transparencia y la responsabilidad) debe ser parte de la educación médica, con sugerencias de que los estudiantes de medicina deben adquirir conocimientos suficientes de ciencia de datos, bioestadística, ciencia computacional e incluso IA de salud. ética66 para garantizar que puedan, entre otras cosas, separar la "información de la exageración" y evaluar críticamente los sistemas de IA57,67. Otros68 han argumentado que el aprendizaje de estrategias efectivas de reducción de sesgo y el cultivo de la conciencia de cómo las heurísticas pueden afectar la toma de decisiones clínicas deben priorizarse en todas las etapas de la educación médica. Sin embargo, aún no está claro qué sesgos deben tener más en cuenta los proveedores de atención médica; si los proveedores deben ser responsables de ser conscientes de sus propios sesgos, o si la mitigación de sesgos puede (o debe) integrarse en procesos estandarizados para implementar herramientas de IA en la toma de decisiones clínicas o en el diseño de las propias tecnologías.

Si bien es probable que los médicos necesiten cada vez más aprender a usar la IA de manera responsable para mantenerse al día con las innovaciones clínicas, también se deben explorar otros enfoques complementarios. Una opción prometedora es apoyar a los médicos en su probabilidad de demostrar las características específicas que valoramos en la toma de decisiones clínicas incorporando técnicas de mitigación de sesgos en las características de diseño de nuestros sistemas de IA e interfaces de usuario. Esta noción se basa en un trabajo de larga data en la ética informática69,70 y se conoce por varios términos, incluido el diseño sensible al valor (VSD71), Values ​​@ Play72, diseño reflexivo73, diseño contradictorio74 y práctica técnica crítica75, y fue iniciado originalmente por Friedman y Nissenbaum76 ,77 en la década de 1990 como una forma de fomentar un proceso reflexivo e iterativo para dar forma a las interacciones humano-computadora que priorizan la confianza y el bienestar del usuario. Sigue existiendo una gran variación en la forma en que se lleva a cabo el VSD, pero la suposición de motivación central detrás de este enfoque es que los enfoques de diseño reflexivo pueden ayudar a mitigar los sesgos del usuario para obtener resultados más favorables. Seguir las tres etapas principales de VSD implicaría identificar el rango y la diversidad de los valores de las partes interesadas y la mejor manera de equilibrarlos hacia un objetivo articulado (conceptual), observar los impactos de los valores y prácticas dados en los resultados relevantes (empíricos) y diseñar especificaciones técnicas para diseñar sistemas que reflejen o ayuden a dar forma al uso de un sistema para alinearse con los valores de las partes interesadas (técnico). Un ejemplo sería el diseño de sistemas interactivos de gestión de cookies del navegador web para reflejar los principios de privacidad, voluntariedad y derecho a la divulgación71. Los académicos han extendido un cuarto y continuo paso de monitoreo y evaluación del ciclo de vida específicamente a VSD para IA, dados los impactos a menudo imprevisibles y la naturaleza adaptativa de las herramientas de IA14,78.

Sobre la base de estos enfoques, argumentamos que un enfoque VSD no solo podría ayudar a incorporar valores en el diseño de las herramientas de IA, sino también a influir (empujar) activa y estratégicamente a los usuarios para que participen en una reflexión más ética y crítica en el uso de dichas herramientas. Tal enfoque requiere un compromiso crítico con la ética de empujar las decisiones de salud, así como la identificación del rango de valores objetivo que uno quiere que los médicos demuestren en la toma de decisiones. Empujar es una forma de paternalismo libertario en el que las decisiones se moldean activamente a través de estrategias como el marco de información, la estructuración de incentivos y otros medios para mejorar la aceptación de ciertos comportamientos79. Si bien la evidencia de la eficacia de este enfoque se remonta a casi dos décadas80, las tácticas de empujón han demostrado ser efectivas, por ejemplo, durante la pandemia de COVID-19 para fomentar el cumplimiento de comportamientos que promueven la salud pública, como el lavado de manos y el distanciamiento social81. Aunque no sin sus críticas (p. ej., que puede ser una forma de manipulación82,83), una razón central de empujar es preservar la elección individual mientras se guía a las personas hacia comportamientos con beneficios a nivel de población84. Sin embargo, determinar quién decide qué valores están comprometidos al servicio de tomar "buenas" decisiones cuando se usa una herramienta de IA es complejo y debe basarse en las perspectivas de múltiples y diversas partes interesadas, no solo las de los desarrolladores que diseñan estos sistemas. El Juramento Hipocrático establece como criterio fundamental que las decisiones de los médicos deben estar al servicio de lo que creen que es el mejor interés de los pacientes. Los criterios adicionales provienen de una rica literatura sobre la toma de decisiones y el apoyo a las decisiones clínicas85, lo que sugiere que las decisiones de "calidad" son aquellas que están informadas y generan resultados positivos que son congruentes con los valores del paciente. Es probable que otros valores objetivo, como la autonomía de decisión82, sean relevantes, y se debe tener en cuenta que los valores objetivo destacados pueden cambiar según la naturaleza de la herramienta de IA o los problemas éticos planteados por sus usuarios previstos o contextos de uso. Por ejemplo, una herramienta de IA diseñada para predecir y prevenir la aparición de enfermedades psiquiátricas en adolescentes plantea un conjunto particular de valores objetivo en la toma de decisiones (p. ej., autonomía de decisión, derecho de los pacientes a un futuro abierto), mientras que una herramienta para identificar la presencia y el pronóstico de el cáncer de pulmón en adultos puede generar otros (p. ej., evitar reacciones emocionales negativas, consideraciones de accionabilidad, derecho de los pacientes a no saber). Se necesita investigación para dilucidar qué valores objetivo para la toma de decisiones de "calidad" son los más destacados en qué escenarios clínicos.

Un valor objetivo que probablemente sea relevante en todas las tomas de decisiones clínicas que involucren a la IA es la necesidad de promover la reflexividad en la toma de decisiones para evitar las posibles consecuencias negativas de una dependencia excesiva de la IA. Una creciente literatura1,86 que demuestra los efectos potencialmente nocivos de la confianza excesiva en los algoritmos de IA destaca la importancia de la reflexividad y la deliberación como principios rectores para el despliegue de IA. Estas exploraciones y observaciones informan las etapas conceptuales y empíricas del enfoque VSD, dejando el desafío técnico de diseñar interfaces que ayudarán a dar forma al uso deliberativo y reflexivo de los sistemas de IA de manera que se alinee con los intereses de los usuarios. La investigación ha demostrado que las formas en que se presenta la información pueden influir en la probabilidad de que los usuarios participen en un pensamiento reflexivo o crítico. Por ejemplo, un estudio realizado por Zhang et al.87 empleó un simple empujón de interfaz para alentar la reflexión al pedirles a los participantes que respondieran preguntas breves que aclaraban sus propias opiniones frente a lo que consideraban razones que impulsaban perspectivas alternativas. Weinmann88 desarrolló una interfaz en línea con preguntas similares para mejorar la "deliberación interna" al hacer preguntas que alentaron el razonamiento sobre perspectivas alternativas. Otra investigación de Harbach et al.89 demuestra la efectividad de usar elementos de diseño de interfaz para inspirar la reflexión al ilustrar las consecuencias de las elecciones del usuario (p. ej., recordar a los usuarios los impactos potenciales al seleccionar ciertos parámetros de privacidad del usuario). Menon et al.90 exploraron de manera similar cómo la modificación de "empujones de interfaz" en relación con sesgos cognitivos específicos (p. ej., efectos de anclaje y deseabilidad social) influía en la deliberación y las respuestas del usuario. Estos estudios destacan cómo el diseño de interfaz estratégica puede ayudar a mejorar la reflexión y reducir la recepción pasiva de información.

Por ejemplo, específicos de las interfaces del sistema de IA, los elementos de diseño pueden variar según el tipo de parte interesada. Una interfaz diseñada para reducir la confianza excesiva de los médicos en un modelo de IA que estima la supervivencia de un paciente a 1 año después de la intervención podría incluir preguntas breves o una lista de verificación que aliente a los médicos a documentar qué otros factores clínicos, psicosociales o ambientales u opiniones de expertos adicionales han consultado en para corroborar (o desafiar) la estimación de la IA. De manera complementaria, una interfaz orientada al paciente para la misma herramienta puede contextualizar la estimación numérica de la supervivencia dentro de un ejercicio de clarificación de valores más holístico que pide a los pacientes que encierren en un círculo uno o más objetivos de tratamiento que influyan en sus decisiones, fomentando una toma de decisiones reflexiva y basada en valores. Construir tales métricas de reflexividad no solo podría ayudar a alejar a los usuarios de la dependencia excesiva de las herramientas de IA, sino también evaluar los impactos en la toma de decisiones clínicas en la práctica, tanto dentro como fuera de los contextos de ensayos clínicos.

Sin embargo, las interfaces no son las únicas herramientas disponibles con esta capacidad. Conceptualizar cómo un sistema de IA podría encajar en el flujo clínico de manera que fomente la deliberación entre los equipos clínicos también puede ayudar a reducir el potencial de exceso de confianza91. Se podrían considerar factores situacionales y logísticos, como el entorno (p. ej., el uso colectivo de una herramienta de IA durante la junta de revisión médica versus individualmente en el consultorio de un médico), el momento (antes o después de la candidatura al tratamiento) y el acceso a la información (directo a -comunicación privilegiada de los resultados entre el paciente y el médico). La integración de la IA con otras tecnologías clínicas existentes también puede alterar los resultados del uso de herramientas de IA al ampliar la información que se integra en la toma de decisiones92. Los aspectos organizativos pueden incluir la formación, la supervisión, el traspaso y el flujo de información entre los miembros del equipo clínico91.

Estos conocimientos discutidos anteriormente representan solo la punta del iceberg de los factores que pueden coordinarse potencialmente para influir positivamente en la calidad de las decisiones y los resultados utilizando IA. Se han identificado y, a menudo, se han discutido ampliamente en campos tan diversos como la ciencia de las decisiones, la economía del comportamiento, los factores humanos, la psicología, las ciencias políticas, la robótica y otros. Sin embargo, pocos de estos conocimientos aún se han integrado en el diseño de sistemas de IA o se han probado sistemáticamente en ensayos clínicos para dar forma proactiva a cómo se usa la IA.

Nos hacemos eco de los llamados de otros de que antes de que las herramientas de IA se "lancen a la naturaleza", debemos comprender mejor sus resultados e impactos en manos de actores humanos imperfectos probando al menos algunos de ellos de acuerdo con un enfoque basado en el riesgo en ensayos clínicos que reflejan su configuración de uso prevista. Avanzamos en esta propuesta llamando la atención sobre la necesidad de identificar y probar empíricamente cómo los sesgos específicos de los usuarios y los contextos de decisión dan forma a cómo se utilizan las herramientas de IA en la práctica e influyen en los resultados de los pacientes. Proponemos que VSD se puede utilizar para crear estrategias de interfaces hombre-máquina de manera que fomente la reflexión crítica, mitigue el sesgo y reduzca la dependencia excesiva de los sistemas de IA en la toma de decisiones clínicas. Creemos que este enfoque puede ayudar a reducir algunas de las cargas de los médicos para descubrir por sí mismos (solo con capacitación o conocimientos básicos sobre IA) el papel óptimo de las herramientas de IA en la toma de decisiones al incorporar un grado de mitigación de sesgos directamente en los sistemas de IA. e interfaces.

Obermeyer, Z. & Emanuel, EJ Predecir el futuro: big data, aprendizaje automático y medicina clínica. N. ingl. J.Med. 375, 1216 (2016).

Artículo Google Académico

Klugman, CM & Gerke, S. El auge de la bioética IA: ¿maldición o bendición? Soy. J. Bioeth. 22, 35–37 (2022).

Artículo Google Académico

Administración de Drogas y Alimentos de los Estados Unidos. Software basado en inteligencia artificial/aprendizaje automático (AI/ML) como plan de acción para dispositivos médicos (SaMD). (2021).

Comisión E. Por la que se establecen normas armonizadas sobre inteligencia artificial (Ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión. Comisión Europea (Bruselas, 21.4.2021).

Jobin, A., Ienca, M. y Vayena, E. El panorama global de las pautas éticas de la IA. Nat. Mach. Intel. 1 , 389–9 (2019).

Artículo Google Académico

Chen T, Guestrin C. Actas de la 22.ª conferencia internacional ACM SIGKDD sobre descubrimiento de conocimientos y minería de datos. 2016.

Markus, AF, Kors, JA y Rijnbeek, PR El papel de la explicabilidad en la creación de una inteligencia artificial confiable para el cuidado de la salud: un estudio exhaustivo de la terminología, las opciones de diseño y las estrategias de evaluación. J. Biomédica. Informar. 113, 103655 (2021).

Artículo Google Académico

Babic, B., Gerke, S., Evgeniou, T. & Cohen, IG Cuidado con las explicaciones de la IA en el cuidado de la salud. Ciencia 373, 284–286 (2021).

Artículo CAS Google Académico

Administración de Drogas y Alimentos de los Estados Unidos. Software de soporte de decisiones clínicas: orientación para el personal de la industria y la administración de alimentos y medicamentos. (2022).

Administración de Drogas y Alimentos de los Estados Unidos. Ley Federal de Alimentos, Medicamentos y Cosméticos de EE. UU. (2018).

Gerke, S. Health ¿IA para el bien y no para el mal? la necesidad de un nuevo marco regulatorio para dispositivos médicos basados ​​en IA. Yale J. Health Policy, Law, Ethics 20, 433 (2021).

Google Académico

Gerke, S., Babic, B., Evgeniou, T. & Cohen, IG La necesidad de una visión del sistema para regular el software basado en inteligencia artificial/aprendizaje automático como dispositivo médico. Dígito NPJ. Medicina. 3, 1–4 (2020).

Artículo Google Académico

Nielsen, J. & Molich, R. Evaluación heurística de interfaces de usuario. proc. Conferencia SIGCHI. Tararear. factores Computar. sist. 1990, 249–256 (1990).

Google Académico

Wu, E. et al. Cómo se evalúan los dispositivos médicos de IA: limitaciones y recomendaciones de un análisis de las aprobaciones de la FDA. Nat. Medicina. 27, 582–584 (2021).

Artículo CAS Google Académico

Precio WN II. IA médica y sesgo contextual. Harvard Journal of Law and Technology 33, 2019.

Babic, B., Gerke, S., Evgeniou, T. & Cohen, IG Algorithms on regulator lockdown in medicine. Ciencia 366, 1202–1204 (2019).

Artículo CAS Google Académico

Ansell, DA & McDonald, EK Bias, vidas negras y medicina académica. N. ingl. J.Med. 372, 1087–1089 (2015).

Artículo CAS Google Académico

Kostick-Quenet, KM et al. Mitigar el sesgo racial en el aprendizaje automático. J. Derecho Med. Ética 50, 92–100 (2022).

Artículo Google Académico

Blumenthal-Barby, JS Buena ética y malas elecciones: la relevancia de la economía del comportamiento para la ética médica. (Prensa del MIT, 2021).

Kahneman D., Slovic SP, Slovic P. & Tversky A. Juicio bajo incertidumbre: heurística y sesgos. (Prensa de la Universidad de Cambridge, 1982).

Pillutla, MM, Malhotra, D. & Murnighan, JK Atribuciones de confianza y cálculo de reciprocidad. Exp. J. Soc. psicol. 39, 448–455 (2003).

Artículo Google Académico

Corriveau, KH et al. La confianza de los niños pequeños en los reclamos de su madre: vínculos longitudinales con la seguridad del apego en la infancia. Desarrollo infantil 80, 750–761 (2009).

Artículo Google Académico

Fett, A.-K. et al. Aprender a confiar: confianza y apego en la psicosis temprana. psicol. Medicina. 46, 1437-1447 (2016).

Artículo Google Académico

Butler, JK Jr. & Cantrell, RS Un enfoque basado en la teoría de la decisión conductual para modelar la confianza diádica en superiores y subordinados. psicol. Rep. 55, 19–28 (1984).

Artículo Google Académico

Mayer, RC, Davis, JH & Schoorman, FD Un modelo integrador de confianza organizacional. Academia Administrar Rev. 20, 709–734 (1995).

Artículo Google Académico

Grover, SL, Hasel, MC, Manville, C. y Serrano-Archimi, C. Reacciones de los seguidores ante las violaciones de confianza del líder: una teoría fundamentada de los tipos de violación, la probabilidad de recuperación y el proceso de recuperación. EUR. Administrar J. 32, 689–702 (2014).

Artículo Google Académico

Banaji MR & Gelman SA Navegando por el mundo social: lo que pueden enseñarnos los bebés, los niños y otras especies. (Prensa de la Universidad de Oxford; 2013).

Fawcett, C. Los niños prestan atención al intercambio de saliva para inferir relaciones sociales. Ciencia 375, 260–261 (2022).

Artículo CAS Google Académico

Kaufmann, L. & Clément, F. Conectados para la sociedad: conocer caminos hacia la sociedad y la cultura. Topoi 33, 459–75. (2014).

Artículo Google Académico

Vickery, J. et al. Desafíos para la toma de decisiones basada en evidencia en el contexto de pandemias: estudio cualitativo de las perspectivas del asesor de políticas COVID-19. Globo BMJ. Salud 7, e008268 (2022).

Artículo Google Académico

Muñoz, KA et al. Cuestiones éticas apremiantes al considerar la estimulación cerebral profunda pediátrica para el trastorno obsesivo-compulsivo. Estímulo cerebral. 14, 1566-1572. (2021).

Artículo Google Académico

Hampson, G., Towse, A., Pearson, SD, Dreitlein, WB y Henshall, C. Terapia génica: evidencia, valor y asequibilidad en el sistema de atención médica de EE. UU. J.Comp. efectivo Res. 7, 15–28 (2018).

Artículo Google Académico

Wang, ZJ & Busemeyer, JR Modelado de elección cognitiva. (Prensa del MIT, 2021).

Menon, T. & Blount, S. El sesgo del mensajero: un modelo relacional de valoración del conocimiento. Res. Organo. Comportamiento 25, 137–186 (2003).

Google Académico

Howard, J. Efecto Bandwagon y sesgo de autoridad. Errores cognitivos y errores de diagnóstico. 21–56 (Springer; 2019).

Slovic, P. La construcción de la preferencia. Soy. psicol. 50, 364 (1995).

Artículo Google Académico

Levine, LJ, Lench, HC, Karnaze, MM & Carlson, SJ Sesgo en la emoción predicha y recordada. actual Opinión Comportamiento ciencia 19, 73–77 (2018).

Artículo Google Académico

Christman, J. La política de las personas: autonomía individual y yo sociohistórico. (Prensa de la Universidad de Cambridge, 2009).

Samuelson, W. & Zeckhauser, R. Sesgo de status quo en la toma de decisiones. J. Riesgo Incierto. 1, 7–59 (1988).

Artículo Google Académico

Hardisty, DJ, Appelt, KC & Weber, EU Bueno o malo, lo queremos ahora: el sesgo presente de costos fijos para ganancias y pérdidas explica las asimetrías de magnitud en la elección intertemporal. J. Comportamiento. Decir Mak. 26, 348–361 (2013).

Artículo Google Académico

Alon-Barkat, S. & Busuioc, M. Tomadores de decisiones que procesan el asesoramiento algorítmico de inteligencia artificial: sesgo de automatización versus adherencia selectiva. https://arxiv.org/ftp/arxiv/papers/2103/2103.02381.pdf (2021).

Bond, RR et al. Sesgo de automatización en medicina: la influencia de los diagnósticos automatizados en la precisión e incertidumbre del intérprete al leer electrocardiogramas. J. Electrocardiol. 51, T6–T11 (2018).

Artículo Google Académico

Cummings, sesgo de automatización de ML en sistemas inteligentes de soporte de decisiones críticas en el tiempo. Toma de decisiones en aviación. 289–294 (Routledge, 2017).

Jussupow, E., Spohrer, K., Heinzl, A. & Gawlitza, J. ¿Aumento de las decisiones de diagnóstico médico? Una investigación sobre el proceso de toma de decisiones de los médicos con inteligencia artificial. información sist. Res. 32, 713–735 (2021).

Artículo Google Académico

Skitka, LJ, Mosier, KL y Burdick, M. ¿La automatización sesga la toma de decisiones? En t. J. Hum. computar Semental. 51, 991–1006 (1999).

Artículo Google Académico

Dijkstra, JJ, Liebrand, WB & Timminga, E. Capacidad de persuasión de los sistemas expertos. Comportamiento información Tecnología 17, 155–163 (1998).

Artículo Google Académico

Logg, JM, Minson, JA & Moore, DA Apreciación del algoritmo: la gente prefiere el juicio algorítmico al humano. Organo. Comportamiento Tararear. Decir Proceso. 151, 90–103 (2019).

Artículo Google Académico

Furnham, A. & Boo, HC Una revisión de la literatura sobre el efecto de anclaje. J. Socio-Econ. 40, 35–42 (2011).

Artículo Google Académico

Diab, DL, Pui, SY, Yankelevich, M. y Highhouse, S. Percepciones laicas de las ayudas para la toma de decisiones de selección en muestras de EE. UU. y fuera de EE. UU. En t. J. Sel. Evaluar. 19, 209–216 (2011).

Artículo Google Académico

Dietvorst, BJ, Simmons, JP & Massey, C. Aversión a los algoritmos: las personas evitan los algoritmos por error después de verlos errar. Exp. J. psicol. Génesis 144, 114 (2015).

Artículo Google Académico

Promberger, M. & Baron, J. ¿Los pacientes confían en las computadoras? J. Comportamiento. Decir Mak. 19, 455–468 (2006).

Artículo Google Académico

Gaube, S. et al. Haga lo que dice la IA: susceptibilidad en el despliegue de ayudas para la toma de decisiones clínicas. Dígito NPJ. Medicina. 4, 1–8 (2021).

Artículo Google Académico

Mosier, K. L, Skitka, LJ, Burdick, MD & Heers, ST Sesgo de automatización, responsabilidad y conductas de verificación. Actas de la Reunión Anual de la Sociedad de Ergonomía y Factores Humanos. págs. 204–208 (Publicaciones SAGE Sage CA, Los Ángeles, CA, 1996).

Wickens, CD, Clegg, BA, Vieane, AZ & Sebok, AL Complacencia y sesgo de automatización en el uso de la automatización imperfecta. Tararear. Factores 57, 728–739 (2015).

Artículo Google Académico

Li, D., Kulasegaram, K. y Hodges, BD Por qué no debemos temer a las máquinas: oportunidades para la medicina en un mundo de aprendizaje automático. Academia Medicina. 94, 623–625 (2019).

Artículo Google Académico

Paranjape, K., Schinkel, M., Panday, RN, Car, J. y Nanayakkara, P. Introducción a la capacitación en inteligencia artificial en la educación médica. JMIR Med. Educ. 5, e16048 (2019).

Artículo Google Académico

Park, SH, Do, K.-H., Kim, S., Park, JH y Lim, Y.-S. ¿Qué deben saber los estudiantes de medicina sobre la inteligencia artificial en medicina? J. Educ. Eval. Salud Prof. 16, 18 (2019).

Artículo Google Académico

Leavy, S., O'Sullivan, B. & Siapera, E. Datos, poder y sesgo en inteligencia artificial. https://arxiv.org/abs/2008.07341 (2020).

Goyal, M., Knackstedt, T., Yan, S. & Hassanpour, S. Métodos de clasificación de imágenes basados ​​en inteligencia artificial para el diagnóstico del cáncer de piel: desafíos y oportunidades. computar Biol. Medicina. 127, 104065 (2020).

Artículo Google Académico

Loftus, TJ y col. Inteligencia artificial y toma de decisiones quirúrgicas. Cirugía JAMA. 155, 148–158 (2020).

Artículo Google Académico

Rudin, C. Deje de explicar los modelos de aprendizaje automático de caja negra para decisiones de alto riesgo y utilice modelos interpretables en su lugar. Nat. Mach. Intel. 1, 206–215 (2019).

Artículo Google Académico

Kelly, CJ, Karthikesalingam, A., Suleyman, M., Corrado, G. y King, D. Desafíos clave para generar impacto clínico con inteligencia artificial. BMC Med. 17, 1–9 (2019).

Artículo CAS Google Académico

Yu, K.-H., Beam, AL & Kohane, IS Inteligencia artificial en el cuidado de la salud. Nat. biomedicina Ing. 2, 719–731 (2018).

Artículo Google Académico

Cowen MBCrRW. ¿Es Human-On-the-Loop la mejor respuesta para respuestas rápidas y relevantes? 2021. https://www.japcc.org/essays/is-human-on-the-loop-the-best-answer-for-rapid-relevant-responses/ (consultado el 23 de agosto de 2022).

Man, Y., Lundh, M. & Porathe, T. Buscando la armonía en el manejo de barcos no tripulados en tierra: desde la perspectiva de los factores humanos, ¿cuál es la diferencia en la que debemos centrarnos entre estar a bordo y en tierra? Factores Humanos en el Transporte. 81–90 (CRC Press, 2016).

Katznelson, G. & Gerke, S. La necesidad de una ética de IA en salud en la educación de las escuelas de medicina. Adv. Ciencias de la Salud Educ. 26, 1447–1458 (2021).

Artículo Google Académico

Grunhut, J., Marques, O. & Wyatt, AT Necesidades, desafíos y aplicaciones de la inteligencia artificial en el currículo de educación médica. JMIR Med. Educ. 8, e35587 (2022).

Artículo Google Académico

Doherty, TS & Carroll, AE Creer en la superación de los sesgos cognitivos. AMA J. Ética 22, 773–778 (2020).

Artículo Google Académico

Friedman, B. & Nissenbaum, H. Bias en sistemas informáticos. Ética informática. 215–232 (Routledge, 2017).

Introna, LD & Nissenbaum, H. Dando forma a la web: por qué es importante la política de los motores de búsqueda. información Soc. 16, 169–185 (2000).

Artículo Google Académico

Friedman B., Kahn PH, Borning A. y Huldtgren A. Diseño sensible al valor y sistemas de información. Compromiso temprano y nuevas tecnologías: abriendo el laboratorio. 55–95 (Springer, 2013).

Flanagan, M., Howe, DC y Nissenbaum, H. Valores en juego: compensaciones de diseño en el diseño de juegos de orientación social. proc. Conferencia SIGCHI. Tararear. factores Computar. sist. 2005, 751–760 (2005).

Artículo Google Académico

Sengers, P., Boehner, K., David, S. y Kaye, JJ Diseño reflectante. proc. 4to decenio Conf. crítico Comput.: sensibilidad sensorial 2005, 49–58 (2005).

Google Académico

DiSalvo C. Diseño adversario: Mit Press; 2015.

Agre, P. & Agre, PE Computación y experiencia humana. (Prensa de la Universidad de Cambridge, 1997).

Friedman, B. & Kahn, PH Jr. Agencia humana y computación responsable: implicaciones para el diseño de sistemas informáticos. Sistema J. suave 17, 7–14 (1992).

Artículo Google Académico

Nissenbaum, H. Rendición de cuentas en una sociedad informatizada. ciencia Ing. Ética 2, 25–42 (1996).

Artículo Google Académico

Floridi, L., Cowls, J., King, TC y Taddeo, M. Cómo diseñar IA para el bien social: siete factores esenciales. ciencia Ing. Ética 26, 1771–1796 (2020).

Artículo Google Académico

Dolan, P. et al. Influir en el comportamiento: la forma del espacio mental. J. psicología económica. 33, 264–277 (2012).

Artículo Google Académico

Kosters, M. & Van der Heijden, J. Del mecanismo a la virtud: evaluación de la teoría del empujón. Evaluación 21, 276–291 (2015).

Artículo Google Académico

Smith, HS et al. Una revisión del marco MINDSPACE para impulsar la promoción de la salud durante las primeras etapas de la pandemia de COVID-19. Gestión de la Salud de la Población, 2022.

Blumenthal-Barby, JS Entre la razón y la coerción: influencia éticamente permisible en contextos de políticas de salud y atención médica. Instituto Kennedy Ética J. 22, 345–366 (2012).

CAS Google Académico

Hausman, DM & Welch, B. Debate: empujar o no empujar. J. Polit. Filosofía 18, 123–36. (2010).

Artículo Google Académico

Sunstein CR ¿Por qué empujar?: La política del paternalismo libertario: Yale University Press; 2014.

Witteman, HO et al. Desarrollo sistemático de ayudas para la decisión del paciente: una actualización de la colaboración IPDAS. Medicina. Decir Mak. 41, 736–754 (2021).

Artículo Google Académico

Dressel, J. y Farid, H. La precisión, la equidad y los límites de la predicción de la reincidencia. ciencia Adv. 4, eaao5580 (2018).

Artículo Google Académico

Zhang, W., Yang, T. & Tangi Perrault, S. Empujoncito para la reflexión: algo más que un canal hacia el conocimiento político. proc. Conferencia CHI 2021. Tararear. Cálculo de factores. sist. 2021, 1–10 (2021).

Google Académico

Weinmann, C. Medición del pensamiento político: desarrollo y validación de una escala para la "deliberación interna". Polit. psicol. 39, 365–380 (2018).

Artículo Google Académico

Harbach, M., Hettig, M., Weber, S. & Smith, M. Uso de ejemplos personales para mejorar la comunicación de riesgos para decisiones de seguridad y privacidad. proc. Conferencia SIGCHI. Tararear. factores Computar. sist. 2014, 2647–2656 (2014).

Artículo Google Académico

Menon, S., Zhang, W. & Perrault, ST Nudge para la deliberación: cómo las características de la interfaz influyen en el discurso en línea. proc. Conferencia CHI 2020. Tararear. Cálculo de factores. sist. 2020, 1–13 (2020).

Google Académico

Sujan M., Furniss D., Hawkins RD & Habli, I. Factores humanos del uso de inteligencia artificial en el cuidado de la salud: desafíos que se extienden a través de las industrias. Simposio sobre sistemas críticos para la seguridad: York; 2020.

Sujan, M. et al. Retos de los factores humanos para el uso seguro de la inteligencia artificial en la atención al paciente. Informe de atención médica de BMJ. 26, e100081 (2019).

Descargar referencias

KK-Q. informa subvenciones del Centro Nacional para el Avance de las Ciencias Traslacionales de los Institutos Nacionales de Salud (1R01TR004243-01) y los Institutos Nacionales de Salud Mental (n.º 3R01MH125958-02S1). SG informa subvenciones de la Unión Europea (Acuerdo de subvención n.º 101057321 y 101057099), el Instituto Nacional de Imágenes Biomédicas y Bioingeniería (NIBIB) de los Institutos Nacionales de Salud (Acuerdo de subvención n.º 3R01EB027650-03S1) y el Instituto de Ética Rock en Universidad Estatal de Pensilvania.

Centro de Ética Médica y Políticas de Salud, Baylor College of Medicine, Houston, TX, EE. UU.

Kristin M. Kostick-Quenet

Penn State Dickinson Law, Carlisle, Pensilvania, EE. UU.

sarah gerke

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

Ambos autores contribuyeron igualmente conceptualmente a este artículo. KK-Q. contribuyó con un primer borrador y SG contribuyó con la redacción de borradores posteriores.

Correspondencia a Kristin M. Kostick-Quenet.

Los autores declaran no tener conflictos de intereses.

Nota del editor Springer Nature se mantiene neutral con respecto a los reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Acceso abierto Este artículo tiene una licencia internacional Creative Commons Attribution 4.0, que permite el uso, el intercambio, la adaptación, la distribución y la reproducción en cualquier medio o formato, siempre que se otorgue el crédito correspondiente al autor o autores originales y a la fuente. proporcionar un enlace a la licencia Creative Commons e indicar si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la regulación legal o excede el uso permitido, deberá obtener el permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Kostick-Quenet, KM, Gerke, S. AI en manos de usuarios imperfectos. npj Dígito. Medicina. Rev. 5, 197 (2022). https://doi.org/10.1038/s41746-022-00737-z

Descargar cita

Recibido: 24 agosto 2022

Aceptado: 29 de noviembre de 2022

Publicado: 28 diciembre 2022

DOI: https://doi.org/10.1038/s41746-022-00737-z

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, un enlace para compartir no está disponible actualmente para este artículo.

Proporcionado por la iniciativa de intercambio de contenido Springer Nature SharedIt