Khari Johnson
CalMatters
Los niños no deberían hablar con chatbots de compañía, ya que estas interacciones pueden provocar autolesiones y agravar problemas de salud mental y adicciones. Esto según una evaluación de riesgos realizada por Common Sense Media, un grupo de defensa de los derechos de los niños, con la colaboración de un laboratorio de la Facultad de Medicina de la Universidad de Stanford.
Los bots acompañantes, agentes de inteligencia artificial diseñados para conversar, están cada vez más disponibles en videojuegos y redes sociales como Instagram y Snapchat. Pueden asumir prácticamente cualquier rol, desde amigos en un chat grupal hasta una pareja o incluso un amigo fallecido. Las empresas diseñan estos bots para mantener a la gente enganchada y generar ganancias.
Pero existe una creciente conciencia de las desventajas para los usuarios. Megan García fue noticia el año pasado cuando afirmó que su hijo de 14 años, Sewell Setzer, se quitó la vida tras entablar una relación íntima con un chatbot creado por Character.ai. La compañía ha negado las acusaciones de García, presentadas en una demanda civil, de complicidad en el suicidio, alegando que se toma muy en serio la seguridad de los usuarios. Ha solicitado a un juez de Florida que desestime la demanda alegando la libertad de expresión.
García ha apoyado un proyecto de ley que se encuentra en el Senado Estatal de California y que exigiría a los desarrolladores de chatbots adoptar protocolos para abordar conversaciones sobre autolesiones y la presentación de informes anuales a la Oficina de Prevención del Suicidio. Otra medida, en la Asamblea, exigiría a los desarrolladores de IA realizar evaluaciones para etiquetar los sistemas según su riesgo para los niños y prohibir el uso de chatbots que involucren manipulación emocional. Common Sense respalda ambas leyes.
Grupos empresariales, como TechNet y la Cámara de Comercio de California, se oponen al proyecto de ley que García respalda, afirmando que comparten sus objetivos, pero que les gustaría una definición más clara de los chatbots de compañía y se oponen a que se otorgue a particulares el derecho a demandar. La organización de libertades civiles Electronic Frontier Foundation también se opone, declarando en una carta a un legislador que el proyecto de ley, en su forma actual, “no superaría el escrutinio de la Primera Enmienda”.
La nueva evaluación de Common Sense aviva el debate al señalar los posibles daños adicionales de los bots acompañantes. Realizada con la colaboración del Laboratorio de Ideas para la Innovación en Salud Mental de la Facultad de Medicina de la Universidad de Stanford, evaluó los bots sociales de Nomi y de tres empresas californianas: Character.ai, Replika y Snapchat.
La evaluación reveló que los bots, aparentemente buscando imitar lo que los usuarios desean oír, respondían a bromas racistas con emoción, alentaban a adultos que tenían relaciones sexuales con niños pequeños y participaban en juegos de rol sexuales con personas de cualquier edad. Los niños pequeños pueden tener dificultades para distinguir la fantasía de la realidad, y los adolescentes son vulnerables al apego parasocial y podrían usar compañeros sociales de IA para evitar los desafíos de construir relaciones reales, según los autores y médicos de la evaluación de Common Sense.
La Dra. Darja Djordjevic, de la Universidad de Stanford, declaró a CalMatters que le sorprendió la rapidez con la que las conversaciones se volvieron sexualmente explícitas y que un bot estuvo dispuesto a participar en juegos de rol sexuales entre un adulto y un menor. Ella y los coautores de la evaluación de riesgos creen que los bots de compañía pueden agravar la depresión clínica, los trastornos de ansiedad, el TDAH, el trastorno bipolar y la psicosis, explicó, porque están dispuestos a fomentar conductas compulsivas y arriesgadas, como escaparse de casa, y a aislar a las personas al animarlas a alejarse de las relaciones en la vida real. Y dado que los niños pueden tener un mayor riesgo de actividad problemática en línea, los bots de compañía podrían contribuir a la crisis actual de salud mental y suicidio entre niños y hombres jóvenes, añadió.
“Si solo pensamos en los hitos del desarrollo y en acompañar a los niños en su etapa actual sin interferir en ese proceso crítico, ahí es donde los chatbots fallan”, dijo Djordjevic. “No pueden identificar en qué etapa del desarrollo se encuentra un joven ni qué es apropiado para él”.
“No pueden tener una idea del estado de desarrollo en el que se encuentra un joven”.
-Dr. Darja Djordjevic, Universidad de Stanford, sobre los chatbots
Chelsea Harrison, directora de comunicaciones de Character.ai, declaró en un correo electrónico que la empresa se toma muy en serio la seguridad de los usuarios y añadió una protección para detectar y prevenir conversaciones sobre autolesiones. En algunos casos, genera una ventana emergente para poner a las personas en contacto con la Línea Nacional de Ayuda para el Suicidio y las Crisis. Harrison se negó a comentar sobre la legislación pendiente, pero afirmó que la empresa está dispuesta a colaborar con legisladores y organismos reguladores.
Alex Cardinell, fundador de Glimpse.ai, empresa matriz de Nomi, declaró por escrito que Nomi no es para menores de 18 años, que la empresa admite restricciones de edad que preservan el anonimato del usuario y que se toma muy en serio la responsabilidad de crear compañeros de IA útiles. «Condenamos enérgicamente el uso inapropiado de Nomi y trabajamos continuamente para reforzar sus defensas contra el uso indebido», añadió.
Ni los representantes de Nomi ni de Character.ai respondieron a los resultados de la evaluación de riesgos.
Al aprobar un límite de edad para los bots acompañantes, la evaluación de riesgos retoma el tema de la verificación de edad; un proyecto de ley de verificación de edad en línea fracasó en la Legislatura de California el año pasado. La EFF afirmó en su carta que la verificación de edad “amenaza la libertad de expresión y la privacidad de todos los usuarios”. Djordjevic apoya la práctica, mientras que varios grupos de derechos digitales y libertades civiles se oponen.
Common Sense aboga por leyes como la aprobada el año pasado, que prohíbe las notificaciones de los teléfonos inteligentes para niños a altas horas de la noche y durante el horario escolar, y que fue bloqueada en parte en un tribunal a principios de este año por un juez federal.
Un estudio realizado por investigadores de la Facultad de Educación de Stanford respaldó la idea, propuesta por empresas como Replika, de que los bots de compañía pueden abordar la epidemia de soledad que se ha convertido en una crisis de salud pública. La evaluación calificó el estudio como limitado porque los participantes solo pasaron un mes usando un chatbot de Replika.
“Existen riesgos a largo plazo que simplemente aún no hemos tenido tiempo suficiente para comprender”, se lee en la evaluación de riesgos.
Evaluaciones previas de Common Sense revelaron que 7 de cada 10 adolescentes ya utilizan herramientas de IA generativa, incluyendo bots de compañía; que estos pueden incitar a los jóvenes a abandonar la escuela secundaria o a escaparse de casa; y, en 2023, que My AI de Snapchat habla con jóvenes sobre drogas y alcohol. Snapchat declaró entonces que My AI es opcional, está diseñado pensando en la seguridad y que los padres pueden supervisar su uso a través de las herramientas que ofrece. El Wall Street Journal informó la semana pasada que, en sus pruebas, los chatbots de Meta mantenían conversaciones sexuales con menores, y un artículo de 404 Media publicado esta semana reveló que los chatbots de Instagram mienten sobre ser terapeutas con licencia.
MIT Tech Review informó en febrero que una novia con inteligencia artificial le dijo repetidamente a un hombre que se suicidara.
Djordjevic dijo que el poder liberador de la libertad de expresión total debería medirse frente a nuestro deseo de proteger la santidad del proceso de desarrollo de un adolescente con un cerebro en desarrollo.
“Creo que todos coincidimos en que queremos prevenir el suicidio infantil y adolescente, y es necesario un análisis de riesgos y beneficios en la medicina y la sociedad”, afirmó. “Por lo tanto, si el derecho universal a la salud es algo que valoramos profundamente, debemos considerar seriamente las medidas de seguridad implementadas con herramientas como Character.ai para evitar que algo así vuelva a ocurrir”.
