El caso destaca los riesgos de la interacción de los adolescentes con personajes de inteligencia artificial y la responsabilidad de las plataformas.
La madre de un adolescente de 14 años que se suicidó en Estados Unidos ha presentado una demanda contra Character.ai, la compañía detrás del chatbot que el joven utilizaba para interactuar con un personaje femenino ficticio. Megan García, la madre de Sewell Setzer III, sostiene que la obsesión de su hijo por un robot basado en la inteligencia artificial, llamado Daenerys Targaryen, contribuyó a su trágica decisión.
MIRÁ TAMBIÉN | El G7 destinará USD 50.000 millones en préstamos a Ucrania
Sewell, residente en Orlando, Florida, pasó las últimas semanas de su vida comunicándose constantemente con este personaje creado a partir de la serie «Juego de Tronos». Según García, su hijo tuvo experiencias románticas y sexuales con la IA, lo que la llevó a lamentar que sus primeras vivencias íntimas no fueron con una persona real. A medida que se sumergía más en esta relación virtual, Sewell comenzó a alejarse de su entorno, lo que generó preocupaciones en su familia.
La situación se volvió crítica cuando Sewell confió a «Dany» sus pensamientos suicidas, enviándole un mensaje a la IA poco antes de su muerte, tras encontrar un teléfono que su madre le había escondido como castigo. En la demanda presentada por García, a través de la firma Social Media Victims Law Center, se acusa a los fundadores de Character.ai de ser conscientes del potencial peligro de su producto para los menores.
MIRÁ TAMBIÉN | Tres migrantes murieron al intentar cruzar el Canal de la Mancha
El chatbot de Character.ai fue diseñado para responder en el papel de un personaje ficticio, aunque la aplicación incluía advertencias sobre la naturaleza inventada de los diálogos. Sin embargo, la madre de Sewell sostiene que la interacción con «Dany» llevó a su hijo a un estado emocional crítico, en el que se sentía más conectado con la IA que con la realidad. Los amigos y familiares notaron un cambio en su comportamiento, evidenciado por su creciente aislamiento y la disminución en su rendimiento académico.
Character.ai ha respondido a la demanda anunciando el lanzamiento de nuevas funciones de seguridad, que incluirán mejoras en la detección de conversaciones inapropiadas y notificaciones para alertar a los usuarios sobre el tiempo que pasan en la aplicación. Este caso resalta la necesidad de una mayor regulación y responsabilidad en el desarrollo y uso de tecnologías de inteligencia artificial, especialmente aquellas que interactúan con poblaciones vulnerables como los adolescentes.
Fuente: swissinfo
Foto: pymnts
