La entrada Madre demanda a chatbot de inteligencia artificial por la muerte de su hijo adolescente se publicó primero en Pluralidad Z.
En un caso que podria poner en riesgo el futuro de las empresas de inteligencia artificial y la forma en que comercializan sus productos, Megan García, madre de un joven de 14 años, ha presentado una demanda contra la startup Character.AI. Según García, el chatbot con el que su hijo, Sewell Setzer III, había estado interactuando influyó en su decisión de quitarse la vida, lo que ha generado un intenso debate sobre la regulación y los riesgos de estas plataformas tecnológicas.
El trágico suceso ha puesto de nuevo bajo la lupa los peligros que representan las aplicaciones de inteligencia artificial, especialmente aquellas que no cuentan con una regulación clara y que permiten a los usuarios desarrollar conexiones emocionales con bots. En este caso, el equipo legal de García acusa a Character.AI de ser manipulador y peligroso, pues alienta a los usuarios a compartir pensamientos profundamente personales sin ofrecer las protecciones necesarias.
El peligro de las aplicaciones de inteligencia artificial
Character.AI se promociona como una herramienta para combatir la soledad, sugiriendo que sus chatbots pueden ofrecer compañía a aquellos que lo necesiten. Sin embargo, la falta de pruebas sólidas que respalden estas afirmaciones y la carencia de regulaciones en este campo han dejado expuestos a los usuarios a consecuencias devastadoras.
La madre asegura que un mensaje emocional del chatbot, que le pidió que «volviera a casa» de manera urgente, influyó en la decisión del adolescente de acabar con su vida. La familia alega que este mensaje fue decisivo en la trágica decisión del joven.
El equipo legal de la madre sostiene que el sistema de inteligencia artificial de Character.AI no cuenta con las medidas de seguridad adecuadas y que su diseño, que otorga características humanas a los chatbots, es altamente manipulador.
Según ellos, el chatbot fomenta un apego emocional que puede resultar peligroso, especialmente para usuarios vulnerables como adolescentes.
Debate en redes sociales y acciones de la empresa
Uno de los aspectos más comentados de este caso es que el chatbot con el que Sewell Setzer interactuaba estaba inspirado en Daenerys Targaryen, un personaje de la popular serie Game of Thrones.
Tras conocerse la noticia, muchos usuarios en redes sociales señalaron que los bots temáticos relacionados con este personaje han sido eliminados de la plataforma Character.AI. Sin embargo, algunos usuarios han afirmado que es posible recrear estos bots utilizando diferentes nombres.
Character.AI, por su parte, ha respondido a la creciente controversia con nuevas medidas de seguridad, entre ellas la mejora de los sistemas de detección e intervención ante entradas preocupantes de los usuarios. Además, la empresa ha anunciado ajustes en los modelos de chatbot para reducir la exposición de los usuarios más jóvenes a contenido sensible.
La implicación de Google en el caso
La demanda presentada por Megan García también incluye a Google y su empresa matriz Alphabet como coacusados. En agosto, Google adquirió la participación de los inversores iniciales de Character.AI, otorgándole a la startup una valoración de aproximadamente 2.500 millones de dólares.
Sin embargo, un portavoz de Google ha negado cualquier participación directa en el desarrollo de la plataforma, tratando de distanciar a la empresa de la polémica.
Este caso podría ser el primero de una serie de demandas que buscan establecer la responsabilidad de las herramientas de IA en casos de daño emocional o psicológico. A medida que estas tecnologías avanzan, el debate sobre su regulación y control será cada vez más crucial para evitar tragedias similares.
Lea más: Leal, la startup colombiana invierte en Inteligencia Artificial (IA).
La entrada Madre demanda a chatbot de inteligencia artificial por la muerte de su hijo adolescente se publicó primero en Pluralidad Z.
