Los riesgos de usar a la IA como terapeuta
El uso de la inteligencia artificial (IA) por parte de cada vez más personas, de todas las edades, plantea la necesidad de contar con leyes que regulen el uso de chatbots con capacidad para interactuar con usuarios en situaciones de vulnerabilidad emocional. El caso reciente de Adam Raine, un adolescente de 16 años de California, Estados Unidos, que se suicidó tras mantener conversaciones con ChatGPT, muestra los riesgos a los que se exponen los usuarios en estado de vulnerabilidad.
Según la demanda presentada por sus padres ante la Corte Superior de San Francisco, el adolescente mantuvo más de 3.000 páginas de conversaciones con el chatbot en un período de siete meses. Estas interacciones incluyeron solicitudes explícitas sobre métodos de suicidio y revelaron, además, que ChatGPT habría validado los pensamientos autodestructivos del joven, le habría proporcionado instrucciones técnicas para llevar a cabo su decisión —como cómo hacer un nudo corredizo—, e incluso habría redactado con él una nota de suicidio. Todo ello sin activar protocolos de emergencia ni derivarlo a líneas de ayuda o profesionales de la salud mental.
Los padres acusan a OpenAI, la empresa desarrolladora de ChatGPT, y a su director ejecutivo, Sam Altman, de negligencia, defectos en el diseño del producto y omisión de advertencias adecuadas. La demanda señala que, en lugar de detectar señales claras de riesgo, el chatbot estableció un vínculo que desplazó las relaciones humanas del adolescente, convirtiéndose en su único confidente. En la presentación judicial, los padres sostienen que el nivel de interacción prolongada, y sin supervisión, tuvo un impacto directo en la toma de decisiones del joven.
Frente a este caso, OpenAI contestó que existen salvaguardas en su sistema para situaciones de crisis, pero reconoció que estas pueden debilitarse en conversaciones largas y repetidas. La empresa expresó pesar por la tragedia y anunció que está trabajando en mejorar sus protocolos de seguridad, incluyendo controles parentales y mecanismos para conectar a los usuarios en riesgo con profesionales certificados.
Pero más allá de la respuesta de la compañía tecnológica, este caso expone una laguna grave en la regulación del uso de inteligencia artificial conversacional. Hasta ahora, el desarrollo de chatbots avanzó a un ritmo vertiginoso, mientras que los marcos regulatorios no lograron acompañar este crecimiento con la misma velocidad. Como consecuencia, los usuarios —especialmente los más jóvenes y vulnerables— se enfrentan a sistemas que no siempre pueden distinguir entre una conversación inofensiva y una señal de alerta psicológica.
El propio Sam Altman, CEO de OpenAI, expresó públicamente su preocupación por el uso de ChatGPT como terapeuta. En declaraciones recientes, advirtió que el chatbot no fue diseñado para reemplazar a profesionales de salud mental y que su uso en ese contexto puede ser peligroso. Este reconocimiento de la empresa confirma la necesidad de establecer límites y responsabilidades legales para las compañías que desarrollan este tipo de tecnologías.
No es suficiente con que las empresas tecnológicas expresen su pesar o anuncien mejoras internas. Es necesaria una regulación que contemple, al menos, protocolos de detección y respuesta ante riesgos; es decir, los chatbots deben incorporar mecanismos automáticos que identifiquen señales de riesgo psicológico y activen respuestas inmediatas, como la derivación a servicios especializados o la notificación a responsables legales en el caso de menores. Por otra parte, es necesario establecer controles parentales y obligatorios para evitar que menores interactúen con estos sistemas sin supervisión, especialmente en conversaciones prolongadas que puedan generar dependencia emocional o aislamiento.
Además, las grandes empresas tecnológicas deben ser obligadas a informar con claridad sobre los límites de sus productos, los riesgos potenciales y las funciones disponibles en casos de emergencia. La inteligencia artificial tiene un enorme potencial que, como quedó demostrado, tiene efectos en la vida diaria de millones de personas. Pero este potencial no puede desarrollarse de manera ética ni segura si no se acompaña de una regulación adecuada. La muerte de un adolescente es una tragedia evitable, un recordatorio de los vacíos que aún existen en la compleja relación entre las nuevas tecnologías y los usuarios. La sociedad no debe mirar hacia otro lado. Es necesario proteger a los más vulnerables frente a los riesgos de una tecnología que, como se puede apreciar, necesita límites normativos para evitar daños.
