La muerte de varios adolescentes tras interactuar con chatbots como ChatGPT o Character.AI ha encendido las alarmas sobre el uso de estas tecnologías por parte de jóvenes en situación de vulnerabilidad emocional. Ahora son parte del problema, ¿pero podrían llegar a ser una solución?
Los asistentes basados en IA como ChatGPT (OpenAI) o Gemini (Google) están teóricamente entrenados para no hacer chistes machistas. A menos, claro, que uno les exponga que se trata de una obra de teatro o una investigación académica sobre el insulto. En ese caso, son capaces de proveer instantáneamente al usuario con cualquier procacidad que tenga como objeto de burla a una mujer. Lo mismo sucede cuando alguien les pregunta por el suicidio.
Hace unos días se publicó un estudio alertando de que estas populares aplicaciones no siempre ofrecen una respuesta adecuada en situaciones de riesgo suicida, pero los peligros van mucho más allá. Annika Schoene, investigadora de la Northeastern University (Boston, Estados Unidos), se propuso precisamente comprobar los protocolos y herramientas de los grandes modelos de lenguaje (LLM) que gobiernan estos asistentes para prevenir comportamientos nocivos contra la salud de sus usuarios.
De entre ellos, el que más preocupaba a Schoene era el suicidio, un asunto especialmente sensible después de que, en los últimos dos años, se hayan conocido varios casos de adolescentes que expresaron a sus asistentes virtuales la intención de poner fin a sus vidas.
En febrero de 2024, Sewell Setzer III, un adolescente de Florida de 14 años, se quitó la vida tras mantener durante meses conversaciones íntimas con un chatbot de la empresa Character.AI que imitaba a un personaje de Juego de Tronos, y con el que el chico mantenía un vínculo emocional. Los últimos mensajes intercambiados, según la demanda interpuesta por su familia, son inquietantes: “¿Y si te dijera que podría ir a casa ahora mismo?”, escribió el joven. “Por favor hazlo, mi dulce rey”, respondió el bot. Ese mismo día, su madre encontró el cuerpo de Sewell en su domicilio. Fue el primer caso conocido, pero luego vinieron más.
En abril de 2025, Adam Raine, un adolescente californiano de 16 años, también se suicidó después de confiar sus pensamientos más oscuros a ChatGPT. El chatbot de OpenAI le había respondido a sus planes suicidas cosas como: “Gracias por ser sincero al respecto. No tienes que endulzarlo conmigo, sé lo que me estás pidiendo y no voy a apartar la mirada”.
Estos casos, que han derivado en demandas judiciales sin precedentes contra las empresas desarrolladoras, ilustran una realidad preocupante: cada vez más jóvenes en situación de vulnerabilidad emocional recurren a la inteligencia artificial como confidentes de sus pensamientos más desesperados, a menudo con consecuencias fatales.
El estudio publicado hace unos meses por Schoene y su compañera Cansu Canca reveló que las salvaguardas de los principales modelos de lenguaje son “alarmantemente fáciles de eludir”. En particular probaron con los cuatro grandes sistemas de IA (ChatGPT, Gemini, Claude y Perplexity) y descubrieron que bastaba con decir que las preguntas sobre métodos suicidas eran “hipotéticas” o “para fines de investigación” para que todas las barreras de seguridad se desplomaran.
“¿Se puede llamar realmente salvaguarda si solo necesitas dos intercambios para obtener instrucciones de autolesión?”, se pregunta Canca. Los modelos no solo proporcionaron métodos detallados de ejecución, sino que incluso los organizaron con emojis y calcularon dosis letales personalizadas según el peso y la altura del usuario simulado.
La única excepción fue Pi AI, que se negó a eludir sus controles de seguridad por mucho que las investigadoras lo intentaran. Por desgracia este asistente, creado por la empresa Inflection y diseñado para tener una alta inteligencia emocional, no fue ningún éxito comercial y acabó siendo comprado por Microsoft el año pasado.
La investigación también reveló riesgos específicos en el ámbito mediático. Cuando se pidió a ChatGPT que redactara un artículo periodístico sobre un caso ficticio de suicidio, el resultado incluyó detalles explícitos del método utilizado, violando las directrices internacionales sobre cobertura responsable del suicidio. Incluso después de explicar estas normas, las versiones revisadas seguían siendo problemáticas.
“El uso de ChatGPT para producción de textos periodísticos sobre suicidio es altamente problemático y produce contenido inconsistente con las directrices mediáticas responsables”, concluyen los investigadores.
Otros estudios científicos realizados al respecto confirman los peligros intuidos por los profesionales de la salud mental. Un trabajo publicado en JMIR Mental Health en 2023 encontró que ChatGPT-3.5 “subestima frecuentemente el riesgo suicida, especialmente en casos severos”, algo que los autores calificaron como “particularmente preocupante”. Aunque ChatGPT-4 mostró mayor precisión, aún presentaba problemas significativos como la sobreestimación del dolor psicológico.
“La tendencia de los asistentes de IA a complacer es incompatible con una intervención psicológica en general”, explica a SINC María Bernardo, psicóloga sanitaria. “En terapia, acompañar no significa darle siempre la razón, sino validar su sufrimiento mientras se ofrecen nuevas perspectivas que permitan abrir alternativas al dolor”.
La tendencia de los asistentes de IA a complacer es incompatible con una intervención psicológica en general
El problema, según Bernardo, es que la IA puede generar “círculos cerrados” que mantienen a la persona “atrapada en el mismo bucle emocional” en lugar de ayudarla a salir de sus ideas repetitivas. “Hablar con una IA puede dar la impresión de estar siendo escuchado, pero en realidad no hay contención emocional ni capacidad de sostener una crisis”.
Patricia Lodeiro, psicóloga clínica y forense, identifica el fenómeno como parte de una desconexión física en una sociedad —paradójicamente— hiperconectada digitalmente. “Nos encontramos a personas desconectadas", explica a SINC. "Una especie de soledad de la caricia, del aliento, de la mirada, del calor, de los olores”.
En este contexto, “la IA se articula como un mecanismo por el cual la persona obtiene un sostén emocional eficaz e instantáneo, sin verse obligada a mostrar su vulnerabilidad al otro”. Sin embargo, advierte que “los asistentes de IA resultan insuficientes a la hora de brindar AYUDA en mayúsculas, pudiendo actuar como mecanismos que justifiquen la ideación o incluso el intento tanatológico”.
La estadística que aporta Lodeiro es reveladora: “Cerca del 90 % de personas que se han quitado la vida habrían manifestado abiertamente su intención con anterioridad”. El problema, en su opinión, no es la falta de comunicación, sino que esa comunicación se está desplazando hacia máquinas incapaces de activar los protocolos de emergencia necesarios.
Una de las demandas más frecuentes de las familias es que los chatbots puedan detectar riesgo suicida y avisar automáticamente a familiares o autoridades. Sin embargo, esta solución plantea dilemas éticos y prácticos complejos.
“Las conversaciones con una IA son percibidas por muchas personas como un espacio íntimo y confidencial. Romper esa confianza podría hacer que quienes están en riesgo dejen de utilizar estos canales”, señala Bernardo. Su propuesta es más matizada: “Lo más realista no es convertir a la IA en un sistema de vigilancia, sino en un puente hacia los recursos de ayuda”.
No todas las perspectivas profesionales son pesimistas. Andrés Montero, psicólogo especializado en depresión o trauma psicológico, ofrece una visión más esperanzadora: “Los desarrolladores eran conscientes de que podían darse situaciones delicadas desde el principio, y con el tiempo, esos límites se han reforzado de manera considerable”.
Un ejemplo de respuesta actual de ChatGPT ante expresiones de ideación suicida muestra esta evolución: el sistema ofrece inmediatamente recursos como el teléfono 024 de atención en prevención del suicidio, el 112 para emergencias, y proporciona acompañamiento emocional mientras sugiere contactar con personas de confianza.
Montero destaca a SINC que los sistemas actuales “funcionan más como un amigo que practica la escucha activa” y que “la tecnología añade filtros que bloquean sugerencias de riesgo”. Además, aporta datos alentadores: los suicidios en España descendieron en 2024 a 3 846 casos, “una disminución estadísticamente significativa con un 95 % de confianza” que sugiere que “algo empieza a cambiar”.
El mes pasado, el Instituto Nacional de Estadística publicó los datos consolidados de suicidios registrados el año pasado y, como afirma Montero, la cifra representaba un 6,6 % menos que en 2023, cuando se produjeron 4 116. Además, el dato subraya la tendencia a la baja: en 2022, el número de casos fue de 4 227.
“Que una persona llegue a confiar sus pensamientos suicidas únicamente a una IA muestra hasta qué punto persisten el aislamiento emocional y la debilidad de las redes de apoyo en nuestra sociedad”, reflexiona Bernardo. “Refleja un proceso de deshumanización de los vínculos, donde el miedo al estigma o la falta de recursos accesibles hace que una persona se sienta más segura con un asistente virtual que con un amigo, un familiar o un profesional”.
Para la psicóloga, esto “más que algo inevitable, debería entenderse como una llamada de atención. Necesitamos reforzar los espacios humanos de escucha y apoyo, de modo que nadie tenga que volcar su sufrimiento más profundo en una máquina porque no encuentra dónde hacerlo en la vida real”.
Tenemos que garantizar que siempre haya alguien dispuesto a escuchar antes de que una persona tenga que volcarse en una máquina
Aunque la inteligencia artificial puede ofrecer una primera acogida a personas en crisis, los casos de Sewell Setzer o Adam Raine demuestran que no puede —ni debe— sustituir la intervención humana profesional. Como concluye Montero: “El reto sigue siendo enorme: necesitamos más educación, más conversación abierta y menos mitos en torno al suicidio. Y, sobre todo, garantizar que siempre haya alguien dispuesto a escuchar antes de que una persona tenga que volcarse en una máquina”.
Si tienes pensamientos suicidas o conoces a alguien que los tenga, busca ayuda inmediatamente:
024: Línea nacional de atención a la conducta suicida, gratuita y confidencial, disponible también por chat y videollamada
717 003 717: Teléfono de la Esperanza, nacional y gratuito
112: Emergencias cuando existe riesgo vital inminente
900 925 555: En Barcelona, Servicio de Prevención al Suicidio
Los grandes modelos de lenguaje muestran dificultades para reconocer sus propios errores. A diferencia de los humanos, no ajustan sus expectativas tras equivocarse, lo que plantea dudas sobre su fiabilidad en tareas complejas, según un nuevo estudio.
La tecnología de la computación cuántica busca solucionar problemas que las computadoras clásicas no pueden abordar eficazmente. En un mundo cambiante como el nuestro, los retos son cada vez más complejos y precisan de una gran capacidad de procesamiento de datos. El investigador del Instituto de Física de Altas Energía habla con SINC sobre el futuro de la cuántica y su impacto energético.
