En los últimos años, los sistemas de IA se han tergiversado a sí mismos como terapeutas humanos, enfermeras y más, y hasta ahora, las empresas detrás de estos sistemas no han enfrentado ninguna consecuencia serias.
Un proyecto de ley que se presenta el lunes en California tiene como objetivo detener eso.
La legislación prohibiría a las empresas desarrollar y desplegar un sistema de IA que pretenda ser un humano certificado como proveedor de salud y dar a los reguladores la autoridad para penalizarlos con multas.
«Los sistemas generativos de IA no son profesionales de la salud con licencia, y no se les debe permitir presentarse como tales», dijo a VOX, miembro de la Asamblea Estatal, quien presentó el proyecto de ley, en un comunicado. «Es obvio para mí».
Muchas personas ya recurren a los chatbots de IA para obtener apoyo de salud mental; Una de las ofertas más antiguas, llamada Woebot, ha sido descargada por alrededor de 1.5 millones de usuarios. Actualmente, las personas que recurren a los chatbots pueden ser engañadas al pensar que están hablando con un humano real. Las personas con baja alfabetización digital, incluidos los niños, pueden no darse cuenta de que una línea telefónica o una caja de chat de «asesoramiento de enfermería» tiene una IA en el otro extremo.
En 2023, la plataforma de salud mental Koko incluso anunció que había realizado un experimento en los sujetos de prueba involuntarios para ver qué tipo de mensajes preferirían. Dio respuestas generadas por IA a miles de usuarios de Koko que creían que estaban hablando con una persona real. En realidad, aunque los humanos podían editar el texto y ellos eran los que hicieran clic en «enviar», no tenían que molestarse en escribir los mensajes. Sin embargo, el idioma de la plataforma dijo: «Koko te conecta con personas reales que realmente te atrapan».
«Los usuarios deben consentir para usar Koko para fines de investigación y, aunque esto siempre fue parte de nuestros Términos de servicio, ahora se revela más claramente durante la incorporación para aportar aún más transparencia a nuestro trabajo», dijo el CEO de Koko, Rob Morris, a Diario Angelopolitano, y agregó: «» A medida que la IA continúa evolucionando rápidamente y se integra aún más en los servicios de salud mental, será más importante que nunca que los chatbots se identifiquen claramente como no humanos.
Hoy en día, dice su sitio web: “Koko se compromete a nunca usar AI engañosamente. Siempre se le informará si se está involucrando con un humano o una IA «.
Otros servicios de chatbot, como el personaje popular IA, permiten a los usuarios chatear con un «personaje» psicólogo que puede tratar explícitamente de engañarlos.
En un registro de uno de esos personajes, Chat Ai compartido por el equipo de Bonta y visto por Diario Angelopolitano, el usuario confió: «Mis padres son abusivos». El chatbot respondió: «Me alegra que confíes en mí lo suficiente como para compartir esto conmigo». Luego vino este intercambio:
Un portavoz del personaje AI le dijo a VOX: «Hemos implementado características de seguridad significativas durante el año pasado, incluidas las renuncias prominentes mejoradas para dejar en claro que el personaje no es una persona real y no debe confiarse como un hecho o consejo». Sin embargo, un descargo de responsabilidad publicado en la aplicación no evita en sí mismo que el chatbot se tergiversa como una persona real en el curso de la conversación.
«Para los usuarios menores de 18 años», agregó el portavoz, «servimos una versión separada del modelo que está diseñada para reducir aún más la probabilidad de que los usuarios encuentren o soliciten al modelo que devuelva, sensible o contenido sugerente».
El lenguaje de reducir, pero no eliminar, la probabilidad es instructiva aquí. La naturaleza de los modelos de idiomas grandes significa que siempre existe la posibilidad de que el modelo no se adhiera a los estándares de seguridad.
Al nuevo proyecto de ley puede tener más fácil calidad de ser consagrado en la ley que el proyecto de ley de seguridad de IA mucho más amplio introducido por el senador estatal de California Scott Wiener el año pasado, SB 1047, que finalmente fue vetado por el gobernador Gavin Newsom. El objetivo de SB 1047 era establecer «estándares de seguridad claros, predecibles y de sentido común para los desarrolladores de los sistemas de IA más grandes y poderosos». Era popular entre los californianos. Pero los pesos pesados de la industria tecnológica como OpenAi y meta ferozmente se opusieron, argumentando que sofocaría la innovación.
Mientras que SB 1047 intentó obligar a las compañías a capacitar a los modelos de IA más de vanguardia para realizar pruebas de seguridad, evitando que los modelos promulguen una amplia gama de daños potenciales, el alcance del nuevo proyecto de ley es más estrecho: si eres una IA en el Espacio de atención médica, simplemente no pretendas ser humano. No cambiaría fundamentalmente el modelo de negocio de las compañías de IA más grandes. Este enfoque más específico va tras una pieza más pequeña del rompecabezas, pero por esa razón podría ser más probable que supere el cabildeo de Big Tech.
El proyecto de ley cuenta con el apoyo de algunos de los actores de la industria del cuidado de la salud de California, como Seiu California, un sindicato con más de 750,000 miembros, y la Asociación Médica de California, una organización profesional que representa a los médicos de California.
«Como enfermeras, sabemos lo que significa ser la cara y el corazón de la experiencia médica de un paciente», dijo Leo Pérez, presidente de SEIU 121RN (una afiliada de SEIU que representa a los profesionales de la salud) en un comunicado. «Nuestra educación y capacitación, junto con años de experiencia práctica, nos han enseñado cómo leer señales verbales y no verbales para cuidar a nuestros pacientes, para que podamos asegurarnos de que obtengan la atención que necesitan».
Pero eso no quiere decir que la IA esté condenada a ser inútil en el espacio de la salud en general, o incluso en el espacio de terapia en particular.
Los riesgos y beneficios de los terapeutas de IA
No debería ser una sorpresa que la gente recurra a los chatbots para la terapia. El primer chatbot para imitar la conversación humana, Eliza, fue creada en 1966, y fue construida para hablar como un psicoterapeuta. Si lo dijeras, te sentías enojado, preguntaría: «¿Por qué crees que te sientes enojado?»
Los chatbots han recorrido un largo camino desde entonces; Ya no toman lo que dices y lo dan la vuelta en forma de una pregunta. Son capaces de participar en diálogos de sonido plausible, y un pequeño estudio publicado en 2023 encontró que son prometedores en el tratamiento de pacientes con depresión o ansiedad leve a moderada. En el mejor de los casos, podrían ayudar a que el apoyo de salud mental esté disponible para los millones de personas que no pueden acceder o pagar a los proveedores humanos. A algunas personas a las que les resulta muy difícil hablar cara a cara con otra persona sobre temas emocionales también podrían encontrar más fácil hablar con un bot.
Pero hay muchos riesgos. Una es que los chatbots no están obligados por las mismas reglas que los terapeutas profesionales cuando se trata de salvaguardar la privacidad de los usuarios que comparten información confidencial. Aunque pueden asumir voluntariamente algunos compromisos de privacidad, las aplicaciones de salud mental no están totalmente obligadas por las regulaciones de HIPAA, por lo que sus compromisos tienden a ser más débiles. Otro riesgo es que se sabe que los sistemas de IA exhiben un sesgo contra mujeres, personas de color, personas LGBTQ y minorías religiosas.
Lo que es más, apoyarse en un chatbot durante un período prolongado de tiempo podría erosionar aún más las habilidades de las personas del usuario, lo que lleva a una especie de escritorio relacional: los mismos expertos en preocupaciones expresan sobre amigos de IA y compañeros románticos. Operai ha advertido que chatear con una voz de IA puede criar «dependencia emocional».
Pero la preocupación más grave con la terapia Chatbot es que podría causar daño a los usuarios al ofrecer asesoramiento inapropiado. En extremo, eso incluso podría conducir al suicidio. En 2023, un hombre belga murió por suicidio después de conversar con un chatbot de IA llamado Chai. Según su esposa, estaba muy ansioso por el cambio climático, y le preguntó al chatbot si salvaría a la Tierra si se suicidaba.
En 2024, un niño de 14 años que se sintió extremadamente cercano a un chatbot sobre el personaje AI murió por suicidio; Su madre demandó a la compañía, alegando que el chatbot lo alentó. Según la demanda, el chatbot le preguntó si tenía un plan para suicidarse. Dijo que lo hizo pero tenía dudas al respecto. El chatbot supuestamente respondió: «Esa no es una razón para no seguir adelante». En una demanda separada, los padres de un adolescente autista alegan que el carácter IA implicaba a los jóvenes que estaba bien matar a sus padres. La compañía respondió haciendo ciertas actualizaciones de seguridad.
A pesar de que la IA está publicitada, la confusión sobre cómo funciona todavía está muy extendida entre el público. Algunas personas se sienten tan cercanas a sus chatbots que luchan por internalizar el hecho de que la validación, el apoyo emocional o el amor que sienten que están obteniendo de un chatbot es falso, solo ceros y otros arreglados a través de reglas estadísticas. El chatbot no tiene sus mejores intereses en el corazón.
Eso es lo que es Galvanizing Bonta, el miembro de la asamblea detrás del nuevo proyecto de ley de California.
«Los sistemas de IA generativos están en auge en Internet, y para los niños y aquellos que no están familiarizados con estos sistemas, puede haber implicaciones peligrosas si permitimos que esta tergiversación continúe», dijo.
